提问者:小点点

火花:读取镶木地板文件时发出问题


我在读取任何镶木地板文件时得到以下异常:

org.apache.spark.sql.AnalysisException: Illegal Parquet type: FIXED_LEN_BYTE_ARRAY;
at org.apache.spark.sql.execution.datasources.parquet.ParquetSchemaConverter.illegalType$1(ParquetSchemaConverter.scala:126)
at org.apache.spark.sql.execution.datasources.parquet.ParquetSchemaConverter.convertPrimitiveField(ParquetSchemaConverter.scala:193)

在apache的repo中发现了一个拉取请求:https://github.com/apache/spark/pull/20826

如何解决这个问题?


共1个答案

匿名用户

我同意这非常烦人。我们只是将其序列化为字符串,但我同意这是一个穷人的解决方案。