Spark教程

Spark sortByKey

Spark sortByKey函数

在 Spark 中,sortByKey 函数维护元素的顺序。它接收键值对(K, V) 作为输入,按升序或降序对元素进行排序并按顺序生成数据集。

sortByKey 函数示例

在这个例子中,我们按升序和降序排列数据集的元素。
要在 Scala 模式下打开 Spark,请按照以下命令进行操作。
$ spark-shell
Spark sortByKey Function 使用并行化集合创建 RDD。
scala> val data = sc.parallelize(Seq(("C",3),("A",1),("D",4),("B",2),("E",5)))
现在,我们可以使用以下命令读取生成的结果。
scala> data.collect
Spark sortByKey Function
对于升序,
应用 sortByKey() 函数忽略重复元素。
scala> val sortfunc = data.sortByKey()
现在,我们可以使用以下命令读取生成的结果。
scala> sortfunc.collect
Spark sortByKey Function
在这里,我们得到了想要的输出。
对于降序,
应用 sortByKey() 函数并传递布尔类型作为参数。
scala> val sortfunc = data.sortByKey(false)
现在,我们可以使用以下命令读取生成的结果。
scala> sortfunc.collect
Spark sortByKey Function
在这里,我们得到了想要的输出。
昵称: 邮箱:
Copyright © 2022 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4