如果我将以下代码放在扩展App trait的对象中并使用Idea的run命令运行它，则可以毫无问题地运行它。

但是，当我尝试从工作表运行它时，我会遇到以下情况之一：

1-如果第一行存在，我得到：

任务不可序列化：java.io。NotSerializableException：A$A34$A$A34

2-如果第一行被注释掉，我得到：

无法为内部类A$A35$A$A35$A12生成编码器，但无法访问定义此类的范围。

//First line!
org.apache.spark.sql.catalyst.encoders.OuterScopes.addOuterScope(this)

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types.{IntegerType, StructField, StructType}

case class AClass(id: Int, f1: Int, f2: Int)
val spark = SparkSession.builder()
  .master("local[*]")
  .appName("Test App")
  .getOrCreate()
import spark.implicits._

val schema = StructType(Array(
  StructField("id", IntegerType),
  StructField("f1", IntegerType),
  StructField("f2", IntegerType)))

val df = spark.read.schema(schema)
  .option("header", "true")
  .csv("dataset.csv")

// Displays the content of the DataFrame to stdout
df.show()
val ads = df.as[AClass]

//This is the line that causes serialization error
ads.foreach(x => println(x))

该项目是使用Idea的Scala插件创建的，这是我的build. sbt：

   ...
   scalaVersion := "2.10.6"
   scalacOptions += "-unchecked"
   libraryDependencies ++= Seq(
       "org.apache.spark" % "spark-core_2.10" % "2.1.0",
       "org.apache.spark" % "spark-sql_2.10" % "2.1.0",
       "org.apache.spark" % "spark-mllib_2.10" % "2.1.0"
       )

我尝试了这个答案中的解决方案。但它不适用于我正在使用的Idea Ultimate 2017.1，而且，当我使用工作表时，如果可能的话，我不喜欢在工作表中添加额外的对象。

如果我在数据集对象上使用收集（）方法并获得一个“Aclass”实例数组，也不会再有错误。它正试图直接与导致错误的DS一起工作。