Flume教程

Flume 环境

我们在上一章已经讨论了 Flume 的架构。在本章中,让我们看看如何下载和设置 Apache Flume。
在继续之前,您的系统中需要有一个 Java 环境。因此,首先,请确保您的系统中安装了 Java。对于本教程中的一些示例,我们使用了 Hadoop HDFS(作为接收器)。因此,我们建议您将 Hadoop 与 Java 一起安装。要收集更多信息,请点击链接-http://www.lidihuo.com/hadoop/hadoop_enviornment_setup.htm

安装Flume

首先从网站 https://flume 下载最新版本的Apache Flume软件.apache.org/.

步骤 1

打开网站。点击主页左侧的 下载链接。它将带您进入 Apache Flume 的下载页面。
安装Flume

步骤 2

在下载页面中,您可以看到 Apache Flume 的二进制文件和源文件的链接。点击链接 apache-flume-1.6.0-bin.tar.gz
您将被重定向到一个镜像列表,您可以在其中单击这些镜像中的任何一个来开始下载。同理,点击apache-flume-1.6.0-src.tar.gz.

步骤 3

HadoopHBase等软件的安装目录下创建一个名为Flume的目录(如果你已经安装过)如下图。
$ mkdir Flume 

步骤 4

解压下载的 tar 文件,如下所示。
$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

步骤 5

将 apache- flume-1.6.0-bin.tar 文件的内容移动到之前创建的 Flume 目录如下所示。 (假设我们已经在名为 Hadoop 的本地用户中创建了 Flume 目录。)
$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

配置Flume

要配置Flume,我们需要修改三个文件,分别是 flume-env.sh、flumeconf.properties、bash.rc

设置路径/类路径

.bashrc文件中,设置Flume的home文件夹、路径和类路径,如下所示。
设置路径

conf 文件夹

如果您打开Apache Flume的 conf文件夹,您将拥有以下四个文件-
flume-conf.properties.template, flume-env.sh.template, flume-env.ps1.template 和 log4j.properties。 conf 文件夹
现在重命名
flume-conf.properties.template 文件为 flume-conf.properties flume-env.sh.template 作为 flume-env.sh

flume-env.sh

打开 flume-env.sh 文件并将 JAVA_Home 设置为系统中安装 Java 的文件夹。
flume-env.sh

验证安装

通过浏览 bin 文件夹并输入以下命令来验证 Apache Flume 的安装。
$ ./flume-ng
如果你已经成功安装了 Flume,你会得到如下所示的 Flume 帮助提示。
验证安装
昵称: 邮箱:
Copyright © 2022 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4