Flume 环境
我们在上一章已经讨论了 Flume 的架构。在本章中,让我们看看如何下载和设置 Apache Flume。
在继续之前,您的系统中需要有一个 Java 环境。因此,首先,请确保您的系统中安装了 Java。对于本教程中的一些示例,我们使用了 Hadoop HDFS(作为接收器)。因此,我们建议您将 Hadoop 与 Java 一起安装。要收集更多信息,请点击链接-http://www.lidihuo.com/hadoop/hadoop_enviornment_setup.htm
安装Flume
首先从网站 https://flume 下载最新版本的Apache Flume软件.apache.org/.
步骤 1
打开网站。点击主页左侧的
下载链接。它将带您进入 Apache Flume 的下载页面。
步骤 2
在下载页面中,您可以看到 Apache Flume 的二进制文件和源文件的链接。点击链接 apache-flume-1.6.0-bin.tar.gz
您将被重定向到一个镜像列表,您可以在其中单击这些镜像中的任何一个来开始下载。同理,点击apache-flume-1.6.0-src.tar.gz.
步骤 3
在
Hadoop、
HBase等软件的安装目录下创建一个名为Flume的目录(如果你已经安装过)如下图。
步骤 4
解压下载的 tar 文件,如下所示。
$ cd Downloads/
$ tar zxvf apache-flume-1.6.0-bin.tar.gz
$ tar zxvf apache-flume-1.6.0-src.tar.gz
步骤 5
将 apache-
flume-1.6.0-bin.tar 文件的内容移动到之前创建的
Flume 目录如下所示。 (假设我们已经在名为 Hadoop 的本地用户中创建了 Flume 目录。)
$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/
配置Flume
要配置Flume,我们需要修改三个文件,分别是
flume-env.sh、flumeconf.properties、和
bash.rc。
设置路径/类路径
在
.bashrc文件中,设置Flume的home文件夹、路径和类路径,如下所示。
conf 文件夹
如果您打开Apache Flume的
conf文件夹,您将拥有以下四个文件-
flume-conf.properties.template,
flume-env.sh.template,
flume-env.ps1.template 和
log4j.properties。
现在重命名
flume-conf.properties.template 文件为 flume-conf.properties 和
flume-env.sh.template 作为 flume-env.sh
flume-env.sh
打开
flume-env.sh 文件并将
JAVA_Home 设置为系统中安装 Java 的文件夹。
验证安装
通过浏览
bin 文件夹并输入以下命令来验证 Apache Flume 的安装。
如果你已经成功安装了 Flume,你会得到如下所示的 Flume 帮助提示。
