我有一个spark时间序列数据框。我想把它分成80-20个部分（列车测试）。由于这是一个时间序列数据帧，我不想进行随机分割。为了将第一个数据帧传递到列车中，并将第二个数据帧传递到测试中，我该如何做？
您可以使用pyspark.sql.functions.percent_rank（）获取按时间戳/日期列排序的DataFrame的百分比排名。然后选择所有具有排名的列
例如，如果您有以下数据帧：
df.show(truncate=False)
#+---------------------+---+
#|date |x |
#+---------------------+---+
#|2018-01-01 00:00:00.0|0 |
#|2018-01-02 00:00:00.0|1 |
#|2018-01-03 00:00:00.0|2 |
#|2018-01-04 00:00:00.0|3 |
#|2018-01-05 00:00:00.0|4 |
#+---------------------+---+
您需要在培训集中的前4行和培训集中的最后一行。首先添加列排名：
from pyspark.sql.functions import percent_rank
from pyspark.sql import Window
df = df.withColumn("rank", percent_rank().over(Window.partitionBy().orderBy("date")))
现在使用rank将数据分为train和test：
train_df = df.where("rank <= .8").drop("rank")
train_df.show()
#+---------------------+---+
#|date |x |
#+---------------------+---+
#|2018-01-01 00:00:00.0|0 |
#|2018-01-02 00:00:00.0|1 |
#|2018-01-03 00:00:00.0|2 |
#|2018-01-04 00:00:00.0|3 |
#+---------------------+---+
test_df = df.where("rank > .8").drop("rank")
test_df.show()
#+---------------------+---+
#|date |x |
#+---------------------+---+
#|2018-01-05 00:00:00.0|4 |
#+---------------------+---+
