Tajo 配置设置
Tajo 的配置基于 Hadoop 的配置系统。本章详细介绍了 Tajo 配置设置。
基本设置
Tajo 使用以下两个配置文件-
catalog-site.xml-目录服务器的配置。
tajo-site.xml-其他 Tajo 模块的配置。
分布式模式配置
分布式模式设置在 Hadoop 分布式文件系统 (HDFS) 上运行。让我们按照步骤配置 Tajo 分布式模式设置。
tajo-site.xml
该文件位于
/path/to/tajo/conf 目录下,用作其他 Tajo 模块的配置。以分布式模式访问 Tajo,对
"tajo-site.xml" 应用以下更改。
<property>
<name>tajo.rootdir</name>
<value>hdfs://hostname:port/tajo</value>
</property>
<property>
<name>tajo.master.umbilical-rpc.address</name>
<value>hostname:26001</value>
</property>
<property>
<name>tajo.master.client-rpc.address</name>
<value>hostname:26002</value>
</property>
<property>
<name>tajo.catalog.client-rpc.address</name>
<value>hostname:26005</value>
</property>
主节点配置
Tajo 使用 HDFS 作为主要存储类型。配置如下,需要添加到
"tajo-site.xml"。
<property>
<name>tajo.rootdir</name>
<value>hdfs://namenode_hostname:port/path</value>
</property>
目录配置
如果要自定义目录服务,请将
$path/to/Tajo/conf/catalogsite.xml.template 复制到
$path/to/Tajo/conf/catalog-site .xml 并根据需要添加以下任何配置。
例如,如果您使用
"Hive catalog store" 访问 Tajo,则配置应如下所示-
<property>
<name>tajo.catalog.store.class</name>
<value>org.apache.tajo.catalog.store.HCatalogStore</value>
</property>
如果您需要存储
MySQL 目录,则应用以下更改-
<property>
<name>tajo.catalog.store.class</name>
<value>org.apache.tajo.catalog.store.MySQLStore</value>
</property>
<property>
<name>tajo.catalog.jdbc.connection.id</name>
<value><mysql user name></value>
</property>
<property>
<name>tajo.catalog.jdbc.connection.password</name>
<value><mysql user password></value>
</property>
<property>
<name>tajo.catalog.jdbc.uri</name>
<value>jdbc:mysql://<mysql host name>:<mysql port>/<database name for tajo>
?createDatabaseIfNotExist = true</value>
</property>
同样,您可以在配置文件中注册其他 Tajo 支持的目录。
人工配置
默认情况下,TajoWorker 将临时数据存储在本地文件系统上。它在"tajo-site.xml"文件中定义如下-
<property>
<name>tajo.worker.tmpdir.locations</name>
<value>/disk1/tmpdir,/disk2/tmpdir,/disk3/tmpdir</value>
</property>
要增加每个工作器资源的运行任务的容量,请选择以下配置-
<property>
<name>tajo.worker.resource.cpu-cores</name>
<value>12</value>
</property>
<property>
<name>tajo.task.resource.min.memory-mb</name>
<value>2000</value>
</property>
<property>
<name>tajo.worker.resource.disks</name>
<value>4</value>
</property>
要使 Tajo 工作器以专用模式运行,请选择以下配置-
<property>
<name>tajo.worker.resource.dedicated</name>
<value>true</value>
</property>