Hadoop教程
HBase
Hive
Pig
Sqoop
Spark

HDFS功能和目标

Hadoop分布式文件系统(HDFS)是一个分布式文件系统。它是Hadoop的核心部分,用于数据存储。它设计为可在商用硬件上运行。
与其他分布式文件系统不同,HDFS具有高度的容错能力,可以部署在低成本硬件上。它可以轻松处理包含大数据集的应用程序。
让我们看一下HDFS的一些重要功能和目标。

HDFS的功能

高度可扩展- HDFS具有高度可扩展性,因为它可以扩展单个群集中的数百个节点。 复制-由于某些不利条件,包含数据的节点可能会丢失。因此,为克​​服此类问题,HDFS始终在另一台计算机上维护数据副本。 容错-在HDFS中,容错表示发生故障时系统的稳定性。 HDFS具有高度的容错能力,如果任何一台计算机发生故障,包含该数据副本的另一台计算机将自动处于活动状态。 分布式数据存储-这是HDFS最重要的功能之一,它使Hadoop非常强大。在这里,数据被分为多个块并存储到节点中。 便携式- HDFS的设计使其可以轻松地从平台移植到另一个平台。

HDFS的目标

处理硬件故障- HDFS包含多台服务器计算机。无论如何,如果有任何计算机发生故障,HDFS的目标是迅速恢复它。 流数据访问- HDFS应用程序通常在通用文件系统上运行。此应用程序需要对其数据集进行流式访问。 一致性模型-在HDFS上运行的应用程序需要遵循"一次写入多次就绪"方法。因此,一旦创建文件就无需更改。但是,可以将其附加和截断。
昵称: 邮箱:
Copyright © 2022 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4