OLAP(OnLine Analytical Processing,在线分析处理)
OLAP是面向分析查询数据库的统称 (多异构数据源,周期性的长事物,比如每天跑一次数据)
-
OLAP目标是全局多维度数据查询,探索数据的规律并挖掘数据价值,作为企业高层进行决策的参考,
-
数据分析的体系建设往往是在初次进行信息化建设后某个时间开始.
-
OLAP不应该对OLTP产生任何影响,(理想情况下)OLTP应该完全感觉不到OLAP的存在。
OLAP的准则和特性
E.F.Codd提出了关于OLAP的12条准则:
准则1 OLAP模型必须提供多维度概念视图
准则2 透明性准则
准则3 存取能力准则
准则4 稳定的报表能力
准则5 客户/服务器体系结构
准则6 维度的等同性准则
准则7 动态的稀疏矩阵处理准则
准则8 多用户支持能力准则
准则9 非受限的跨维度操作
准则10 直观的数据操纵
准则11 灵活的报表生成
准则12 不受限的维度与聚集层次
OLAP常见的数据库有:
支持SQL的
ODPS,https://www.aliyun.com/product/odps
是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案,现在已更名为MaxCompute,MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
Sparksql https://spark.apache.org/sql/
Druid https://druid.apache.org/
Clickhouse https://clickhouse.tech/docs/zh
Presto https://prestodb.github.io
Kylin https://pingcap.com/docs-cn
Impala https://impala.apache.org/
Greeplum https://greenplum.org
阿里云 AnalyticDB for MySQL(OLAP型分布式mysql) https://help.aliyun.com/document_detail/93776.html