数据智能

Tableau 157亿收购背后,50页深度报告看清BI的未来

《爱分析·中国BI商业智能行业报告》正式发布

2019年08月10日
  • 企业服务
  • 数据智能

报告摘要

BI商业智能的核心在于体现决策价值

• 企业数字化转型的本质是经验驱动决策向数据驱动决策的转变。

• BI平台成为数据产生价值的主要方式。以BI建设为中心的数据中台服务,逐渐成为海量数据处理与分析的核心平台。

• 在企业中提供更深刻的业务洞察力,是管理层依赖BI平台进行决策的基础。

• BI业务的发展使得业务人员进行数据分析的门槛大幅降低。

向数据和分析两端发展 一体化平台成为趋势

• 企业不再满足于一般的报表与敏捷式仪表盘,企业的BI需求变得更加灵活和高效。以云BI平台为基础的一站式大数据平台,成为新的趋势。

• 在数据管理方面,现代BI平台既需要利用传统BI的数仓资产,还需具有更强数据源管理能力和深度分析功能。

• 在易用性方面,增强分析技术、语义搜索与嵌入式分析技术将大幅降低现代BI平台的使用门槛。

技术平台更加灵活 场景融合成为关键

• 随着微服务架构及容器技术的发展,更多的BI一体化云平台采用松耦合架构,基础平台具有更好的灵活性和业务适应性。

• BI系统在实施过程中,需要深入挖掘企业需求,重新梳理企业管理方法、流程和管理体系,这个过程技术平台与垂直行业场景的融合成为关键。


目录

一. BI商业智能行业概览

二. BI商业智能的价值

三. BI商业智能的重要应用场景分析

四. BI市场规模测算与分析

五. BI商业智能的未来趋势

六. BI商业智能厂商竞争分析及典型厂商介绍

结语

关于爱分析


1.商业智能行业概览

2019年,国际商业智能行业格局巨变。6月6日,Google以26亿美元现金收购商业情报软件和数据分析平台Looker;4天之后,更具爆炸性的新闻爆出,SaaS第一股Salesforce以157亿美元的价格收购BI领导者Tableau,成为Salesforce历史上最大的一笔收购案。

国际巨头通过收购进行产业整合并不新鲜,但如此密集的BI类并购在历史上并不是首次,12年前就已经发生。2007年,Oracle33亿美元收购Hyperion,SAP 68亿美元收购Business Objects(BO),IBM 50亿美元收购Cognos。这不禁让人发问,IT巨头为何热衷于收购BI企业?

在互联网C端市场,流量入口始终是商家必争之地,而BI软件则是数据分析领域最重要的入口之一。BI与分析领域的产品和技术,是所有用户尤其是大客户的刚需。2019年,云计算进入2.0时代,大数据为BI提供了海量数据分析需求,业务复杂性和数据复杂性带来的双重挑战,成为新一轮BI并购潮主要推动力。

1.1 BI商业智能发展历程

BI(Business Intelligence, 商业智能或商务智能)源自企业对业务数据进行价值挖掘与展现的需求。1989年,BI概念由Howard Dresner定义而广泛传播,此时的BI定义为由数据仓库、查询报表、数据分析、数据挖掘和数据维护等部分功能组成,以帮助企业决策为目的的技术应用。

图1: 1968年-1989年传统BI企业成立时间轴

数据来源:爱分析

商业智能不仅是一种技术,更是一种企业集成数据解决方案。这包括了ETL(Extract-Transform-Load,抽取-转换-加载)、数据仓库、DM(DataMining,数据挖掘)、OLAP、数据可视化等多种工具。1968年到1989年,传统BI的厂商如Cognos、SAP、Oracle、Teradata、MicroStrategy等陆续成立。

2013年之前,传统BI产品一直是市场的主流,但这并不是一个很好的市场。根据IBM的统计数据,实施传统BI的项目失败率在60%-70%,大量的BI系统并没有得到有效的使用。传统BI产品,通常只能由技术人员在设计好的维度模型上建立数据仓库。这造成了两个问题,技术人员难以完全理解业务人员的需求,数据仓库不能满足不断变化的业务需要。

敏捷BI为了解决上述两个问题而出现。敏捷BI,又称自助式BI,是指由业务人员自助式建模,能够实现快速部署、数据源集成、高性能计算、探索式分析的BI可视化产品。由于业务人员自行建模,摆脱了数据无法体现业务需求,技术人员不懂业务需求的困境。让数据直接反映业务,成为敏捷BI的一大特点,典型的敏捷BI厂商有Tableau、永洪科技等。

表1: 传统BI产品与敏捷BI产品

数据来源:爱分析搜集

1.2 BI商业智能技术架构和演进路线分析

传统BI商业智能体系结构主要由数据源、数据存储与管理、OLAP引擎和前端工具组成。数据仓库、数据集市与OLAP引擎是传统BI体系的核心。传统BI技术体系对海量数据计算与动态业务的支持均不足,系统搭建、建模过程均需技术人员完成。

BI商业智能从传统BI阶段向敏捷BI的发展过程中,数据源与数据管理、增强性分析、交互易用性,是BI技术架构快速演变的主要方向。具体表现为传统数仓向海量混合存储与高效治理演进、离线数据分析向增强性实时分析演进、静态报表向自助图表和智能交互演进。

图2: 传统BI的体系结构

数据来源:爱分析搜集

1.2.1 传统数仓向海量混合存储与高效治理演进

传统数据仓库和OLAP引擎不适用于当今BI业务对数据存储和查询效率的需求。随着业务数据的快速增长,传统不的数据仓库不能满足存储和计算的需求。一方面数据ETL的效率快速下降,原本在一个小时内可以准备好的数据通常延迟到一天后才能进行分析;另一方面数据查询效率快速下降,实现秒级的查询变得越来越困难。

MPP或大数据平台成为应对海量数据的主要解决方案。MPP(Massively Parallel Processing,大规模并行处理系统)不同于事务处理数据库,更适于OLAP场景。采用MPP方案的典型案例是领先的数据仓库企业Teradata,其在1990年就发布了第一款MPP数据库产品,目前MPP架构仍是处理高质量结构化关系型数据的首选方案。国产BI软件中,永洪科技数据集市产品同样采用了MPP架构。

Hadoop经过几年的高速发展,近两年虽略显疲软,但仍是主流的大数据平台。Spark、Flink等分布式计算引擎与分布式数据库、分布式存储等新兴技术快速补足大数据平台生态的缺口。目前,大数据平台已经能够适用结构化、半结构化和非结构化数据处理,目前敏捷型BI产品一般都具有Hive、Spark SQL等大数据平台查询接口。

动态的业务需求对BI商业智能数据治理的要求更加严格。传统BI成功的关键在于元数据的良好定义,元数据一旦定义,修改成本将十分高昂,但由于技术人员有限的业务理解和多变的业务形态,良好的元数据定义通常难以实现。数据治理即为了解决元数据标准不统一,数据质量管控、数据集成效率低等问题出现相关工具和方法。IBM、Qlik等BI企业都已在其产品提供或者加强了数据治理功能。

1.2.2 离线数据分析向增强性实时分析演进

传统BI的离线数据分析难以满足实时/准实时需求。通常当天业务结束后,BI系统进行统一的查询、计算、分析和展现。客户不能实时获取当天的分析结果,难以满足快消、物流、航空等实效性要求较高的业务对BI的需求。

实时/准实时BI分析目的是实现秒级的查询响应。目前,实时BI产品有三个发展方向,采用MPP/大数据架构(Presto/Impala/SparkSQL/Drill)优化查询性能、采用分布式搜索引擎架构(Elasticsearch、Solr)和预计算分布式OLAP引擎(Druid/Kylin)。

上述三种方案,采用了内存计算、并行计算、分布式计算和分布式通信等多种方式提高响应速度,除此之外现有的BI厂商还通过库内计算技术,将开销大的计算直接在数据存储的地方计算,大大减少了数据移动,降低了通讯负担,提高的数据分析性。

除实时性要求外,随着AI技术的快速发展,利用自然语言处理与机器学习技术进行增强性分析成为BI系统的刚需。微软、Tableau、ThoughtSpot、MicroStrategy都推出了相关产品。未来,数据预测和数据挖掘的将变得更加智能,自动化的数据准备、基于模型的扩展分析、预测式分析等增强分析技术将成为主流。

1.2.3 静态报表式表现向自助图表和智能交互演进

传统BI的前端为静态类报表,业务人员不能直接调整报表;业务需求变更时,需由技术人员配合变更。在部分场景下,如月度财务会计场景,这类静态报表在效率和准确性上具有优势,但在动态业务场景下,静态报表已经不能满足现代企业对数据分析的需求。

敏捷BI为业务人员提供探索式分析与自助图表工具。在已有的数据指标和维度不能够满足业务分析的需求,传统BI往往无能为力;而业务人员使用敏捷BI,可以通过拖拽的方式,自定义新的指标和维度,进行探索式分析。这一过程不需要技术人员长期参与,大大缩短了业务人员与数据之间的距离。在海量存储和高效查询的技术支撑下,敏捷BI可以利用自助图表实时展现自定义指标,从而快速满足业务需求。

由智能问答技术支撑的智能交互成为新的BI表现形式。无论是传统BI还是敏捷BI都在往智能化BI的方向发展。利用自然语言理解进行自然语句查询、利用知识图谱实现业务预警、利用专家系统提供业务咨询成为商务智能新的发展方向。

除自助式表现与智能交互成为新的BI表现形式外,嵌入式分析也成为主要发展方向。利用嵌入式分析,不同的系统的相关报告可以实时整合到一个图表,从而形式上避免了数据孤岛的产生。

1.3 BI商业智能的业务流程及主要商业模式

1.3.1 业务流程

BI商业智能的业务流程从传统BI和敏捷BI两个角度,可分为两种。两种BI业务流程在适用场景、部署方式、部署/使用成本上都各有不同。

传统BI业务流程,分为业务需求定义、BI平台建立与部署、BI使用及维护三步,其中BI平台建立及部署又可分为建立数仓模型、数据抽取-转换-加载、构建分析主题以及分析报表和仪表盘制作。在传统BI业务流程中,BI平台的使用和业务需求的定义主要由业务人员完成,而BI平台的构建与部署主要由技术人员完成。

图3: 传统BI业务流程

数据来源:爱分析

传统BI业务流程经过长时间检验,具有成熟的建模方法,能够很好的整合业务数据。建立数仓的过程通常也是企业业务流程梳理和数据价值提炼过程,因此,从数据仓库中获取的数据通常是精炼有序的业务数据。

同时,传统BI的构建过程十分复杂,因此业务需求方、使用方与平台的构建方是分离的。因此造成传统BI流程,部署成本高、部署周期长、业务需求与平台功能不一致、报表刚性难以调整,业务人员难以根据需要制作报表、IT部门负担重等缺点。

因此传统BI流程适用于基础性、大容量,需求和数据框架稳定的数据分析业务。

敏捷BI业务流程,通过敏捷型的BI工具或者平台实现的。在敏捷BI业务流程中,技术实现与业务分析实现了分离,因此敏捷BI业务流程中主要以业务人员自助式实现数据源连接、指标集定义、探索式分析和自助的报表制作和仪表盘展示。

图4: 敏捷BI业务流程

数据来源:爱分析

敏捷BI业务流程具有快速部署、灵活变更、高效查询和自助式分析的特点,所以部署成本和使用成本低于传统BI。同时,因为敏捷BI是由业务人员主导的,因此敏捷BI的业务流程更接近业务分析的需要。

但是,敏捷BI业务流程中并无复杂的数据建模过程,也无法提供高级的数据管理功能。因此,敏捷BI业务流程在实施过程中同样需要借助传统BI中建立的数据仓库,通常敏捷BI的数据源连接过程还会连接如Hadoop平台、Excel等其他多数据源数据。因此,敏捷BI业务流程并不能完全替代传统BI的业务过程。

1.3.2 商业模式

BI商业智能主要为两种商业模式,产品/SaaS模式和服务模式,其中服务模式又包括IT服务型和业务服务型两种。

产品/SaaS模式,是将BI产品或者SaaS交付给客户,并由客户自行实施。Tableau是该模式的典型代表,其主要以Tableau Desktop和Server版本为主,同时也提供嵌入式开发和SaaS服务。除咨询服务外,Tableau的使用主要由业务人员根据实际需要自行完成。除Tableau外,MicroStrategy和大部分敏捷BI厂商及SaaS服务提供商都属于该模式。

产品/SaaS模式提供给客户灵活敏捷的BI产品,客户能够及时应对业务变化的需要,但是单一的产品通常难以满足客户业务定制化的需要。

服务模式,是以IT服务或者业务服务的方式为为客户提供基于BI的整体解决方案。

提供IT服务模式的企业主要以Oracle、SAP、IBM、SAS等传统BI企业为主。这类企业主要以搭建BI信息系统为主,但在搭建数据仓库过程中需要与业务人员进行充分配合,涉及大量业务咨询与梳理过程。传统BI厂商都建立有自身的BI实施方法论。以SAPBW为例,其实施过程大概分为项目计划和准备、设计阶段、开发阶段、测试和部署阶段以及系统上线阶段等。

IT服务模式虽然充分结合的业务需求和技术实现,但其主要以传统BI流程为主,通常涉及多个部门的协调配合,同时其高昂的部署成本难以灵活的适应现代企业的需要。

业务服务模式,基于一站式大数据分析平台构建敏捷型BI产品,并以服务的方式支撑企业的业务分析需求。业务服务型厂商既要具备建立数据湖的能力,而不仅仅是建立数据仓库,以便数据整合;通常以SaaS方式提供多样化的服务。

1.4 BI商业智能行业图谱

BI商业智能行业图谱从BI组件和整体解决方案两个维度列举了现有的BI­产品和BI厂家。BI组件以产品为主或者厂家主要产品所处的领域,BI组件中包含大量开源产品,通常为自建BI平台厂商采用。整体解决方案主要从国内和国外两个领域列举了主要的供应商,从事整体解决方案的方案企业一般能够提供完整的BI组件,不一一列出。

BI组件主要分为ETL工具、数据仓库/数据集市、元数据管理、OLAP Tools/Server以及前端的查询、分析与挖掘、报表和可视化等组件构成。BI组件可以分为商业产品和开源产品两类,商业组件多集中在分析/挖掘报表、报表、可视化、ETL等领域,这些领域通常是性能要求高或者对业务变化比较敏感的部分。

BI组件开源产品中Apache系Hadoop、Impala、Hive、Drill、Atlas、Kylin、Superset几乎涵盖从存储到分析的大部分模块,此外Cloudera、Airbnb、Pivotal、Hitachi等企业也贡献大量开源力量,由中国团队主导的Druid和Kylin目前已经成为主流的OLAP开源工具。但开源产品主要应用于互联网公司(如快手、美团等),如果没有专业维护团队,开源产品并不能满足业务部门的需要。

图5: BI商业智能行业图谱

数据来源:爱分析

BI整体解决方案厂商,也可以成为一体化平台厂商。传统BI厂商的产品中如Oracle OBIEE、SAP BO、IBMCognos、MicroStrategy是传统的四大BI厂商,其特点是具有从ETL到可视化的整套组件,并提供业务建模咨询服务。而Pentaho是目前主流的BI开源解决方案。

敏捷BI厂商与传统BI厂商相比,通常为具有数据源融合与管理能力的可视化产品。以敏捷BI的鼻祖Tableau来讲,其不仅支持传统BI的OLAP数据,还可以从AWS、AZURE、Dropbox、Excel等不同类型的数据库和文件中获取数据。国内领先的敏捷BI厂商永洪科技,目前支持的数据源多达27种。