Pig教程

Pig 运行模式

Apache Pig 运行模式

Apache Pig 以两种模式执行: 本地模式和 MapReduce 模式。
Apache Pig Run Modes

本地模式

它在单个 JVM 中执行,用于开发实验和原型设计。 在这里,使用本地主机安装和运行文件。 本地模式适用于本地文件系统。存储在本地文件系统中的输入和输出数据。
本地模式grunt shell的命令:
$ pig-x local  

MapReduce 模式

MapReduce 模式也称为 Hadoop 模式。 这是默认模式。 在此 Pig 中,将 Pig Latin 渲染为 MapReduce 作业并在集群上执行它们。 它可以针对半分布式或完全分布式的 Hadoop 安装执行。 此处,输入和输出数据存在于 HDFS 上。
Map reduce 模式的命令:
$ pig  
或者,
$ pig-x mapreduce

Pig 程序的执行方式

以下是在本地和 MapReduce 模式下执行 Pig 程序的方式:-
交互模式-在这种模式下,Pig 在 Grunt shell 中执行。要调用 Grunt shell,请运行 pig 命令。一旦 Grunt 模式执行,我们就可以在命令行中以交互方式提供 Pig Latin 语句和命令。 批处理模式-在此模式下,我们可以运行扩展名为 .pig 的脚本文件。这些文件包含 Pig Latin 命令。 嵌入式模式-在这种模式下,我们可以定义自己的功能。这些函数可以称为 UDF(用户定义函数)。在这里,我们使用 Java 和 Python 等编程语言。
昵称: 邮箱:
Copyright © 2022 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4