Spark cogroup
Spark cogroup 函数
在 Spark 中，cogroup 函数在不同的数据集上执行，比方说(K, V) 和(K, W) 并返回一个数据集(K ,(可迭代
, 可迭代
)) 元组。此操作也称为 groupWith。
cogroup函数示例
在这个示例中，我们执行groupWith操作。
要在 Scala 模式下打开 Spark，请按照以下命令进行操作。
使用并行化集合创建 RDD。
scala> val data1 = sc.parallelize(Seq(("A",1),("B",2),("C",3)))
现在，我们可以使用以下命令读取生成的结果。
使用并行化集合创建另一个 RDD。
scala> val data2 = sc.parallelize(Seq(("B",4),("E",5)))
现在，我们可以使用以下命令读取生成的结果。
应用 cogroup() 函数对值进行分组。
scala> val cogroupfunc = data1.cogroup(data2)
现在，我们可以使用以下命令读取生成的结果。
scala> cogroupfunc.collect
在这里，我们得到了想要的输出。
