MapReduce教程

MapReduce Hadoop管理

本章介绍 Hadoop 管理,包括 HDFS 和 MapReduce 管理。
HDFS 管理包括监控 HDFS 文件结构、位置和更新的文件。 MapReduce 管理包括监控应用程序列表、节点配置、应用程序状态等。

HDFS 监控

HDFS(Hadoop 分布式文件系统)包含用户目录、输入文件和输出文件。使用 MapReduce 命令 putget 进行存储和检索。
通过在"/$HADOOP_HOME/sbin"上传递命令"start-all.sh"启动Hadoop框架(守护进程)后,将以下URL传递给浏览器"http://localhost:50070"。你应该在浏览器上看到以下屏幕。
下面的截图展示了如何浏览HDFS。
HDFS 监控
以下屏幕截图显示了 HDFS 的文件结构。它显示了"/user/hadoop"目录中的文件。
HDFS 文件
以下屏幕截图显示了集群中的 Datanode 信息。在这里您可以找到一个节点及其配置和容量。
Datanoda 信息

MapReduce 作业监控

MapReduce 应用程序是一组作业(Map 作业、Combiner、Partitioner 和 Reduce 作业)。必须监控和维护以下内容-
配置适合应用的数据节点。 每个应用程序使用的数据节点和资源的数量。
为了监控所有这些事情,我们必须有一个用户界面。通过在"/$HADOOP_HOME/sbin"上传递命令"start-all.sh"启动Hadoop框架后,将以下URL传递给浏览器"http://localhost:8080"。你应该在你的浏览器。
作业监控
在上面的屏幕截图中,手形指针位于应用程序 ID 上。只需单击它即可在浏览器上找到以下屏幕。它描述了以下内容-
当前应用程序在哪个用户上运行 应用名称 该应用程序的类型 当前状态,最终状态 应用程序启动时间,已用时间(完成时间),如果在监控时已完成 此应用程序的历史记录,即日志信息 最后是节点信息,即参与运行应用程序的节点。
以下屏幕截图显示了特定应用程序的详细信息-
应用程序 ID
以下截图描述了当前运行的节点信息。这里,截图只包含一个节点。手形指针显示正在运行的节点的本地主机地址。
所有节点
昵称: 邮箱:
Copyright © 2022 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4