Pig教程

Pig FILTER

Apache Pig FILTER 运算符

Apache Pig FILTER 运算符用于删除关系中的重复元组。最初,Pig 对给定的数据进行排序,然后消除重复项。

FILTER 运算符示例

在此示例中,我们消除了重复的元组。

执行 FILTER 运算符的步骤

在本地计算机上创建一个文本文件并为其提供一些值。
$ nano pfilter.txt
Apache Pig FILTER Operator 检查写入文本文件中的值。
$ cat pfilter.txt
Apache Pig FILTER Operator 上传特定目录下 HDFS 上的文本文件。
$ hdfs dfs-put pfilter.txt /pigexample
开启猪 MapReduce 运行模式。
$ pig
加载包含数据的文件。
grunt> A = LOAD '/pigexample/pfilter.txt' USING PigStorage(',') AS (a1:int,a2:int);
现在,执行并验证数据
grunt> DUMP A;
Apache Pig FILTER Operator 让我们执行 FILTER 运算符来消除重复的元组。
grunt> Result = FILTER A BY a2==8;
现在,执行并验证数据。
grunt> DUMP Result;
Apache Pig FILTER Operator
在这里,我们得到了想要的输出。
昵称: 邮箱:
Copyright © 2022 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4