Spark教程

Spark cartesian

Spark cartesian函数

在 Spark 中,笛卡尔函数生成两个数据集的笛卡尔积并返回所有可能的对组合。在这里,一个数据集的每个元素都与另一个数据集的每个元素配对。

笛卡尔函数示例

在此示例中,我们生成两个的笛卡尔积数据集。
要在 Scala 模式下打开 Spark,请按照以下命令进行操作。
$ spark-shell
Spark笛卡尔函数 使用并行化集合创建 RDD。
scala> val data1 = sc.parallelize(List(1,2,3))
现在,我们可以使用以下命令读取生成的结果。
scala> data1.collect
Spark笛卡尔函数 使用并行化集合创建另一个 RDD。
scala> val data2 = sc.parallelize(List(3,4,5))
现在,我们可以使用以下命令读取生成的结果。
scala> data2.collect
Spark笛卡尔函数 应用 cartesian() 函数返回元素的笛卡尔积。
scala> val cartesianfunc = data1.cartesian(data2)
现在,我们可以使用以下命令读取生成的结果。
scala> cartesianfunc.collect
Spark Cartesian Function
在这里,我们得到了想要的输出。
昵称: 邮箱:
Copyright © 2022 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4