Pig教程

Pig DISTINCT

Apache Pig DISTINCT 运算符

Apache Pig DISTINCT 运算符用于删除关系中的重复元组。最初,Pig 对给定的数据进行排序,然后消除重复项。

DISTINCT 运算符示例

在本例中,我们消除了重复的元组。

执行 DISTINCT 运算符的步骤

在本地计算机上创建一个文本文件并为其提供一些值。
$ nano pdistinct.txt
Apache Pig DISTINCT Operator 检查写入文本文件中的值。
$ cat pdistinct.txt
Apache Pig DISTINCT Operator 上传特定目录下 HDFS 上的文本文件。
$ hdfs dfs-put pdistinct.txt /pigexample
开启猪 MapReduce 运行模式。
$ pig
加载包含数据的文件。
grunt> A = LOAD '/pigexample/pdistinct.txt' USING PigStorage(',') as (a1:int,a2:int,a3:int);
现在,执行并验证数据。
grunt> DUMP A;
Apache Pig DISTINCT Operator 让我们执行 DISTINCT 运算符来消除重复的元组。
grunt> Result = DISTINCT A;
现在,执行并验证数据。
grunt> DUMP Result;
Apache Pig DISTINCT Operator
在这里,我们得到了想要的输出。
昵称: 邮箱:
Copyright © 2022 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4