logo图片
Tajo教程

Tajo 教程

Apache Tajo 是一个用于 Hadoop 的开源分布式数据仓库框架。Tajo 最初由韩国一家基于 Hadoop 的基础设施公司 Gruter 创立。后来,来自 Intel、Etsy、NASA、Cloudera、Hortonworks 的专家也为该项目做出了贡献。Tajo在韩语中是鸵鸟的意思。2014 年 3 月,Tajo 获得顶级开源 Apache 项目。本教程将探索 Tajo 的基础知识并继续前进,它将解释集群设置、Tajo shell、SQL 查询、与其他大数据技术的集成,最后以一些示例结束。

分布式数据仓库系统

数据仓库是一种关系型数据库,设计用于查询和分析,而不是用于事务处理。它是面向主题的、集成的、随时间变化的、非易失性的数据集合。这些数据可帮助分析师在组织中做出明智的决策,但关系数据量却每天都在增加。
为了克服这些挑战,分布式数据仓库系统跨多个数据存储库共享数据,以实现在线分析处理 (OLAP)。每个数据仓库可能属于一个或多个组织。它执行负载平衡和可伸缩性。元数据被复制并集中分布。
Apache Tajo 是一个分布式数据仓库系统,它使用 Hadoop分布式文件系统(HDFS)作为存储层,拥有自己的查询执行引擎,而不是MapReduce框架。

Hadoop 上的 SQL 概述

Hadoop 是一个开源框架,允许在分布式环境中存储和处理大数据。它非常快速和强大。但是,Hadoop 的查询能力有限,因此在 Hadoop 上的 SQL 的帮助下可以使其性能更好。这允许用户通过简单的 SQL 命令与 Hadoop 交互。
SQL on Hadoop 应用程序的一些示例是 Hive、Impala、Drill、Presto、Spark、HAWQ 和 Apache Tajo。

什么是 Apache Tajo

Apache Tajo 是一个关系型分布式数据处理框架。它专为低延迟和可扩展的即席查询分析而设计。
Tajo 支持标准 SQL 和各种数据格式。大多数 Tajo 查询无需任何修改即可执行。 Tajo 通过失败任务的重启机制和可扩展的查询重写引擎具有容错 Tajo 执行必要的 ETL(提取转换和加载过程) 操作来汇总存储在 HDFS 上的大型数据集。它是 Hive/Pig 的替代选择。
最新版本的 Tajo 与 Java 程序和第三方数据库(如 Oracle 和 PostGreSQL)的连接性更强。

Apache Tajo 的特性

Apache Tajo 具有以下功能-
卓越的可扩展性和优化的性能 低延迟 用户定义的函数 行/列存储处理框架。 与 HiveQL 和 Hive MetaStore 的兼容性 简单的数据流和易于维护。

Apache Tajo 的好处

Apache Tajo 具有以下优势-
易于使用 简化的架构 基于成本的查询优化 向量化查询执行计划 快速交货 简单的 I/O 机制并支持各种类型的存储。 容错

Apache Tajo 的用例

以下是 Apache Tajo 的一些用例-

数据仓库和分析

韩国的 SK 电信公司针对 1.7 TB 的数据运行 Tajo,发现它可以比 Hive 或 Impala 更快地完成查询。

数据发现

韩国音乐流媒体服务 Melon 使用 Tajo 进行分析处理。 Tajo 执行 ETL(提取-转换-加载过程)作业的速度比 Hive 快 1.5 到 10 倍。

日志分析

Bluehole Studio 是一家韩国公司,开发了 TERA — 一款奇幻多人在线游戏。该公司使用 Tajo 进行游戏日志分析并找出服务质量中断的主要原因。

存储和数据格式

Apache Tajo 支持以下数据格式-
JSON Text file(CSV) Parquet Sequence File AVRO Protocol Buffer Apache Orc
Tajo 支持以下存储格式-
HDFS JDBC Amazon S3 Apache HBase Elasticsearch
昵称: 邮箱:
Copyright © 2020 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4