Spark filter

Spark filter函数

在 Spark 中，过滤器函数返回一个新数据集，该数据集是通过选择函数返回 true 的源元素而形成的。所以，它只检索满足给定条件的元素。

在这个例子中，我们过滤给定的数据并检索所有值除了 35、

要在 Scala 模式下打开 spark，请按照以下命令进行操作。

$ spark-shell

使用并行化集合创建 RDD。

scala> val data = sc.parallelize(List(10,20,35,40))

现在，我们可以使用以下命令读取生成的结果。

scala> data.collect

应用过滤器功能并传递执行所需的表达式。

scala> val filterfunc = data.filter(x => x!=35)

现在，我们可以使用以下命令读取生成的结果。

scala> filterfunc.collect

在这里，我们得到了想要的输出。

找工作要求35岁以下，35岁以上的程序员都干什么去了？

长久以来，一直有一个问题困扰着技术人——如何打破“程序员的35岁职业魔咒”，这一天迟早会到来，或早或晚。

昵称：邮箱：