OLTP与OLAP数据库的区别与应用场景

mysql终究是一个关系型数据库,mysql承载的数据是有上限的,互联网场景中,一个用户的数据可能就有几百mb甚至上g的数据

只能将数据水平垂直拆封,应对不断增大的数据变化

问题来了,针对于TP,PB级别的数据,传统的mysql数据库已经力不从心,尤其是以数据分析这种典型全盘扫描的统计业务,大规模扫盘已经让mysql不堪重负,为了解决这类问题,从数据应用场景角度分为OLTP与OLAP、

OLTP

  • 全程Online Transaction Processing,联机事务处理系统,就是对数据增伤改查等操作
  • 存储的是业务数据,来记录某类业务事件的发生,比如下单 ,支付,注册等等
  • 典型代表有mysql,oracle等数据库,对应的网站系统应用后端数据库
  • 针对事务进行操作,对响应时间要求高,面相前台应用的,应用比较简单的数据量相对较少的,是GB级别的
  • 面相群体业务人员

当数据累计到一定的程度,需要对过去发生的事情做一个总结分析时,就需要把过去一段时间内产生的数据拿出来进行统计分析,从中获取想要的新信息,为公司决策提供支持,这个就是做OLAP了。

OLAP

  • 全程Online Analystical Processing 联机分析处理系统
  • 存储的是历史数据,对应的风控平台,BI平台,数据可视化等系统就属于
  • OLAP是数据仓系统的主要应用,支持复杂的分析操作,侧重决策,并且提供只管易懂的查询结果
  • 典型代表有hive,ClickHouse
  • 针对基于查询的分析系统,基础数据源于产生系统中的操作数据,数据量非常大 ,常规是TB级别的
  • 面向群体:分析决策人员

OLAP的基本多维分析操作有钻取(Roll Up和Drill Down)、切片(Slice)和切块(Dice)、以及旋转(Pivot)、Drill Across、Drill Through等。

钻取是改变维的层次,变换分析的粒度。它包括向上钻取(Roll Up)和向下钻取(Drill Down)。Roll Up是在某一维上将低层次的细节数据概括到高层次的汇总数据,或者减少维数;而Drill Down则相反,它从汇总数据深入到细节数据进行观察或增加新维。

切片和切块是在一部分维上选定值后,关心度量数据在剩余维上的分布。如果剩余的维只有两个,则是切片;如果有三个,则是切块。

旋转是变换维的方向,即是在表格中重新安排维的放置(例如行列互换)

分类

MOLAP(Multi-dimensional OLAP)以多维数组模型存储数据,它的特点是数据需要预计算(pre-computaion),然后把预计算之后的结果(cube)存在多维数组里。因为cube包含所有维度的聚合结果,所以查询速度非常快。但查询灵活度比较低,需要提前设计维度模型,查询分析的内容仅限于这些指定维度,增加维度需要重新计算。

ROLAP(Relational OLAP)以关系模型存储数据,一般要求事实表(fact table)和维度表(dimensition table)按一定关系设计,它不需要预计算,使用标准SQL就可以根据需要即时查询不同维度数据。它的扩展性强,适用于维度数量多的模型。但因为是即时计算,查询响应时间一般比预计算的MOLAP长。

不管是MOLAP的多维数据模型,还是ROLAP的关系模型,它们都需要预先设计好模型后才可以使用。

与BI的关系

BI包括数据采集、数据准备、数据分析和数据共享等环节,数据分析又包括报表、OLAP、数据挖掘、数据可视化等多种分析技术。所以说,OLAP只是BI的一部分,是BI中一种数据分析技术。因为OLAP需要预先建模,所以在BI中主要是用于“描述发生了什么?”,它和报表、仪表盘一样,是属于“静态”的一种分析技术,用于构建信息门户或监控数据。

透视分析是最常用的一款OLAP分析工具,可以快速分类汇总、比较大量的数据,并且可以根据用户的业务需求,快速变换统计分析维度来查看统计结果。透视分析不仅综合了数据排序、筛选、组合及分类汇总等数据分析方法的优点,而且汇总的方式更灵活多变,并能以不同方式显现数据。

但是,基于OLAP的透视分析需要复杂的数据加工过程,需要cube,需要建立维度表、事实表、定维度层次、聚合指标等等,数据查询需要写SQL语句。

所以,我们需要对“静态”的透视分析进行改良,让它成为“动态”的一种分析工具,让用户可以对数据进行自由地探索。让它不仅能够“描述发生了什么?”,而且还能够“分析为什么会发生?”。

例如,Smartbi的透视分析工具采用“类Excel数据透视表”的设计,多维分析不再需要建立模型,就能够组合维度、汇总计算、切片、钻取,洞察数据。不仅如此,任何字段都可直接作为输出字段或筛选条件,轻松实现对数据的查询与探索。

Last modification:November 17, 2023
如果觉得我的文章对你有用,请随意赞赏