logo图片
OBIEE教程

OBIEE 数据仓库

在当今竞争激烈的市场中,大多数成功的公司都会对市场变化和机遇做出快速反应。快速响应的要求是有效和高效地使用数据和信息。 "数据仓库"是按类别组织的数据中央存储库,以支持组织的决策者。一旦数据存储在数据仓库中,就可以访问以进行分析。
"数据仓库"一词最早由比尔·英蒙 (Bill Inmon) 于 1990 年发明。据他介绍,"数据仓库是一种面向主题、集成、时变且非易失性的数据集合,用于支持管理层的决策制定过程."
Ralph Kimball 根据其功能提供了数据仓库的定义。他说:"数据仓库是交易数据的副本,专门用于查询和分析。"
数据仓库(DW 或 DWH)是用于分析数据和报告目的的系统。它们是存储来自一个或多个异构数据源的数据的存储库。它们存储当前和历史数据并用于创建分析报告。 DW 可用于为高级管理人员创建交互式仪表板。
例如,分析报告可以包含公司销售报告的季度比较或年度比较数据。
DW 中的数据来自多个运营系统,如销售、人力资源、营销、仓库管理等。它包含来自不同交易系统的历史数据,但也可以包含来自其他来源的数据。 DW 用于将数据处理和分析工作负载与事务工作负载分开,并能够整合来自多个数据源的数据。

对数据仓库的需求

例如-您有一个房屋贷款机构,其中的数据来自多个 SAP/非 SAP 应用程序,例如营销、销售、ERP、HRM 等。这些数据被提取、转换并加载到 DW。如果您必须对产品进行季度/年度销售比较,则不能使用操作数据库,因为这会挂起交易系统。这就是需要使用 DW 的地方。

数据仓库的特征

DW 的一些关键特征是-
用于报告和数据分析。 它提供了一个中央存储库,其中包含从一个或多个来源集成的数据。 它存储当前和历史数据。

数据仓库与交易系统

以下是数据仓库和操作数据库(事务系统)之间的一些区别-
事务系统专为已知的工作负载和事务而设计,例如更新用户记录、搜索记录等。但是,DW 事务更复杂,并且呈现出一般形式的数据。 事务系统包含组织的当前数据,而 DW 通常包含历史数据。 交易系统支持多笔交易的并行处理。需要并发控制和恢复机制来保持数据库的一致性。 操作数据库查询允许读取和修改操作(删除和更新),而 OLAP 查询只需要对存储的数据进行只读访问(select 语句)。 DW 涉及数据清理、数据集成和数据整合。
DW 具有三层架构-数据源层、集成层和表示层。下图展示了数据仓库系统的通用架构。
数据仓库架构

数据仓库系统的类型

以下是 DW 系统的类型-
数据集市 在线分析处理 (OLAP) 在线事务处理 (OLTP) 预测分析

数据集市

数据集市是 DW 的最简单形式,它通常侧重于单个功能领域,例如销售、财务或营销。因此,数据集市通常只从少数数据源获取数据。
源可以是内部交易系统、中央数据仓库或外部数据源应用程序。反规范化是该系统中数据建模技术的规范。
数据集市

在线分析处理 (OLAP)

OLAP 系统包含较少数量的事务,但涉及复杂的计算,例如使用聚合-总和、计数、平均值等。

什么是聚合?

我们保存包含汇总数据的表格,例如每年(1 行)、每季度(4 行)、每月(12 行),现在我们要比较数据,例如每年仅处理 1 行。但是,在未聚合的数据中,将处理所有行。
OLAP 系统通常将数据存储在多维模式中,如星型模式、星系模式(事实表和维度表以逻辑方式连接)。
在 OLAP 系统中,执行查询的响应时间是一种有效性度量。 OLAP 应用程序被数据挖掘技术广泛用于从 OLAP 系统中获取数据。 OLAP 数据库以多维模式存储聚合的历史数据。 OLAP 系统的数据延迟只有几个小时,而数据集市的延迟通常接近几天。

在线事务处理 (OLTP)

OLTP 系统以插入、更新、删除等大量短在线事务而闻名。OLTP 系统提供快速查询处理,并负责在多访问环境中提供数据完整性。
对于 OLTP 系统,有效性是通过每秒处理的事务数来衡量的。 OLTP 系统通常只包含当前数据。用于存储事务数据库的模式是实体模型。归一化用于OLTP系统中的数据建模技术。

OLTP 与 OLAP

下图显示了 OLTP 和 OLAP 系统之间的主要区别。
OLTP vs OLAP
索引-在 OLTP 系统中,只有很少的索引,而在 OLAP 系统中,有很多用于性能优化的索引。
Joins-在 OLTP 系统中,大量的连接和数据被规范化;然而,在 OLAP 系统中,连接和非规范化较少。
聚合-在 OLTP 系统中,数据未聚合,而在 OLAP 数据库中使用更多聚合。
昵称: 邮箱:
Copyright © 2020 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4