数据智能

以AI赋能数据分析,一站式数据分析平台仍是国内主流打法

用心打磨产品,实现对客户承诺,国内工具厂商还有很大机会。

2018年04月28日
  • 数据智能

以AI赋能数据分析,一站式数据分析平台仍是国内主流打法

近日,爱分析在京举办了2018·中国大数据高峰论坛。针对数据分析平台这一大数据行业重要细分领域,爱分析邀请了九章云极创始人方磊、观远数据创始人苏春园和日志易创始人陈军三位创始人进行圆桌讨论。

会上,三位创始人就分析平台的智能化趋势,分析平台应该选择通用性还是垂直性发展路线,分析平台如何突破工具软件天花板以及中国厂商是否应该效仿Splunk等国外厂商发展路径等问题展开讨论。

现将圆桌论坛的实录分享。

圆桌论坛实录

爱分析:开始讨论前,还请三位先简单介绍下各自的公司。

以AI赋能数据分析,一站式数据分析平台仍是国内主流打法

方磊:在国内来看,九章云极其实是一家非常早就定位数据科学平台的厂商。

通过提供软件产品,为大客户建立训练模型。数据分析在过去几年经历了很大的变化,从以前的可视化更多地往模型转变,这也是数据科学平台的定位和价值所在,就是让我们的企业可以更容易的像使用EXCEL一样构建模型,使用模型。

以AI赋能数据分析,一站式数据分析平台仍是国内主流打法

陈军:日志易是对IT系统的日志和指标数据进行实时采集、分析、可视化的产品。主要是用在IT的运维监控,运维分析,业务分析,还有安全审计等方面。

那现在也切入智能运维领域,帮助大型企业打造智能日志中心,把机器学习等AI技术用在日志、指标数据等机器数据上,从而对其进行智能分析。

以AI赋能数据分析,一站式数据分析平台仍是国内主流打法

苏春园:观远数据是做新一代的BI,专注于BI和AI的结合,做企业经营的数据分析和决策。

过去的BI就是强调的看数据,更多倾向于可视化,但是我们更多的强调看数据,到最后更智能的决策,有一个完整的路径,从BI到AI整体的规划。目前布局的行业是零售、金融、互联网等行业。

数据分析平台智能化是趋势,但人在决策中作用依然重要

苏春园:上个月的今天,我们观远数据在上海做了2018年产品发布会,分享了我们从智能化这个方向上对市场的解读。

因为我们在BI领域,刚才也提到我们看的方向是BI和AI怎么结合,但是这两者的结合需要一个路径,为此我们提出了“5A”的理念。

做数据分析,第一步要解决的问题是“敏捷化(Agile)”,就是能基于企业已有的大量数据资产快速形成指标体系。

第二步就是场景化(Accurate)。比如零售行业,便利店是我们切的一个场景。单点分析应该怎么分析,它可能慢慢的就不仅是敏捷工具的概念,更进一步是一个场景化。我们提供的思路就是给他一系列的场景分析的模版,可以套用这个行业最好的分析实践。

第三步是自动化(Automated)。有了前两步的工作后,我们希望实现自动化。比如数据的自动关联、自动告警等等。

第四个就是行动化(Actionable),指根据现有信息对未来拟采取措施给出建议和指导,最后辅助业务人员作出可行动的决策。

最后一步就是算法和业务的深度融入,我们称之为增强化(Augmented),意为增强的应用。比如智能订货,或者是更精准的预测和路线的规划。

所以大体上我们觉得智能化的趋势是毫无疑问的,如何实现智能化值得我们做更深入的探讨。

以AI赋能数据分析,一站式数据分析平台仍是国内主流打法

陈军:数据分析必然要智能化的,所以对于日志这种机器数据来讲,我们现在做的智能化主要是智能运维(AIOps)。在AIOps方面,也是前年刚刚提出来的,概念就是把机器学习、人工智能用在运维领域,大大提升运维的效率。今年工信部下的一个组织在组织业界编写智能运维技术白皮书,BAT、360、华为等都有参与,日志易也是成员单位,负责编写其中的一部分章节。

智能运维在日志领域落地的主要有两点。

一个是故障的自动发现。因为以前发生故障的时候运维工程师根据经验发现故障,现在可以通过机器学习和历史数据来进行自动的发现。

还有一个是故障的根因检测分析。我们发现有一些客户出了IT故障之后几周才能到根源,因此,我们希望用人工智能的方式分析海量的数据,把这个故障找出来。比如说,1亿条日志里面可能跟这个错误根因相关的也就十条,千万分之一的概率把根因找出来,犹如大海捞针。如果靠人工的话十分困难,以前可能用一些统计学的方法来做,我们前两年开始用机器学习的算法来做,从去年开始用一些神经网络、深度学习方式来做。

方磊:现在我们技术上最大的突破是在感知上有一个突破。在认知上,所谓的真正的intelligence最核心的突破是非常少的。

在我来看,作为一个分析层面的工具厂商,我认为我们今天面对的分析有很大的变革。我认为分析层面面临着三个维度的变化。

第一,从单机变成分布式,这是得力于Hadoop、Spark等开源框架的进步。

第二,是在分析上面临着从离线处理到实时处理的变革。比如流处理技术的出现等等。

第三,大量的可视化的,所谓BI的工作,开始转向基于模型的预测性分析。

比如,我们主要是在金融特别是银行业开拓客户。银行客户所使用的工具,在这三个纬度上的提升,体现在有的时候不是一定要做预测,而是把财务计算指标变得更快一些,这也会是分析过程中的巨大变化,比如对流动指标的监控、实时告警、监管报送等。

以AI赋能数据分析,一站式数据分析平台仍是国内主流打法

也就是说,这三个维度的变化给很多的企业带来很多的变化。我觉得是这些基本面的变化带来了工具的提升,也让我们往最终的AI指导决策方向迈进。

爱分析:未来AI能在多大程度上替代人做决策?还是说仍会如目前一般,由AI提供辅助,人做最终的决策?

方磊:这个问题最简单的就是根据不同场景给出不同的方案。

另一方面,是否由AI替代人决策,除了技术上的实现,还有后果的问题。后果的问题包括伦理的问题、法律的问题。很显然,如果一个决策产生了很大的伤害,这个决策是由人作出的,那么还有有法律兜底,但如果是AI作出的决策就会产生法律作用对象的判定问题。所以这里面很复杂。

我个人觉得在很多纯数字化的场景里面,其实自动决策已经成为现实,比如实时的广告投放就是其中一种,而且我们每天被它骚扰。

在一个纯虚拟化的,自动扭转的过程当中,我认为决策是比较容易实现的。一旦跟现实世界有很多交集的时候,它带来的不只是跟现实交互的问题,还有法律、伦理的都会涌现出来。

苏春园:最近我和一位零售行业的CEO交流的时候,收获的一个观点还是蛮有意思的。以零售行业为例,零售行业的本质是什么?本质一定是希望我们去消费,得到有温度的服务等。不应该让零售企业的门店的业务人员花时间去看数据,去思考销售怎么样,然后做什么决定。

所以就智能分析决策这个方向,我们提出一个概念:未来智能分析决策的方向就是让工具代替人去做决策,并给出可执行的方案。这是未来的方向。

但是我们现在看到的人工智能,只见人工,不见智能。原因还是行业整体的数据的根基、管理流程规范性比较差,当下还是应该先将数据处理等基础能力做扎实,然后再去考虑实现AI的路径问题。那么在至少未来三至五年间,一定还是人机交互,工具给出的更多还是行动建议,由人去做决策。

以AI赋能数据分析,一站式数据分析平台仍是国内主流打法

通用平台有存在空间,但从行业入手或能更快成长

方磊:我认为一定是有通用平台存在的空间的。事实上在美国现在已经能看到这种趋势。比如我们已经承认Tensorflow,甚至GPU等是通用的东西,而国内在底层还没达到这样的深度或积累程度,所以会讨论横和纵的问题。

至于对于一个企业来说,你选择纵的策略,还是横的策略,是值得思考的。在今天中国的市场上,我认为纵的策略更快。当然具体你要选快的还是慢的路径,这取决于每一个企业自身的决策。

陈军:其实关于纵向还是横向发展的问题,一个取决于产品的特点,还要考虑所处行业的特点,以及企业目前所处的状态。

做一个通用的产品的话,肯定是天花板会更高,市场更大,但是要落地,可能就不容易。

刚开始的时候,还需要做行业积累,做纵深垂直,然后落地,推广开来。其实不少好的技术都是走这个路径,在某些垂直领域落地后,再推广到其他行业。

你看整个IT行业的历史,一项新的IT产品出现后,基本上最早的客户都是在银行和运营商。这两个行业对IT的要求最高,也是最有付费意愿的,IT产品能在这两个行业站稳,就是证明了有价值,就可以推广到其他的行业里面。从日志易产品来讲,目前服务的行业有十多个,只要IT足够复杂的,IT运营精细化程度足够高的企业,都需要分析日志。但我们也有一些重点行业,像金融、运营商,这两个行业本身也够大,可以去做垂直、去积累。

另外,我觉得在某一些纵深行业里面,能抽象出一些跨行业的共性,这些共性是可以做的。那么下一步就是平台化、生态系统的打造,但这个过程可能需要很久,甚至几十年的时间。

苏春园:我的看法是真正能够扎入到行业,扎入到场景,再后面就是在这个行业里面通用化,然后再跨行业复制。

比如观远数据目前布局零售行业。我们会在零售行业某些应用的基础上,尽量提炼共性,发现客户的刚需,比如门店或单品的管理等,这都是在行业市场通用的场景,然后再尝试在整个行业推广。从国外发展来看,诸如Salesforce等厂商也都是这样的逻辑。

以AI赋能数据分析,一站式数据分析平台仍是国内主流打法

打磨产品是核心,要在解决方案和产品中找到平衡点,

陈军:前提还是要将产品先做好,如果产品没有做好,很难做解决方案,交付成本会非常高。厂商要在产品和解决方案中间找到一个平衡点,不可偏废。

很多2B的厂商,很容易变为纯做项目的企业。客户需要解决某个问题,就做对应的项目。这样能够生存下来,但是毛利会非常低,也不可扩张,很难高速增长。而做产品则很容易复制,高增长,但是也会有不能完美满足客户需求的问题,所以需要在中间找到平衡点。

做产品的目的和做解决方案并不矛盾,做产品的目的是要降低交付成本,每一次去交付时可重复使用的比较多,能够降低边际成本。就像日志易,我们给客户卖的也不是一个日志工具,而是一个智能日志中心,在日志中心可以把企业所有业务日志、运维日志的价值挖掘出来,并且不仅仅是日志,还包括一些指标数据,还有一些其他的非结构化数据,一站解决,所以我们最终交付的也是一个solution,一个智能日志中心的solution。

方磊:我特别赞同陈总的一个观点,就是产品是最核心的抓手。

很多时候解决方案体现的是人的价值,而不是产品的价值。如果向客户卖的是产品,应该是产品的价值。

从这个角度来看,我认为确实国内工具厂商到现在卖得都不太好。但是这有一个前提,我们的客户不是不肯付钱给供应商,而是不肯付钱给国内的工具厂商。像SAS之类的国外工具厂商在中国的销售情况就很好。

为什么我们自己的BI工具或分析工具很难有这个成绩?我觉得原因就是产品价值水平比较低。所以为了提升业绩,可能就要加入一些别的能力,来让客户为此买单,表现出来的结果可能就是解决方案的交付。

所以我觉得这一代的创业公司,这一代的软件服务厂商,如果能够在产品上实现所承诺的价值或功能,还是有很大的提升空间的。

苏春园:我很认同方总的观点。在银行业,客户不是不付钱给工具软件,而是不付钱给国内的工具软件。

在BI领域,Gartner发布的魔力象限图,过去十几年从未有过BI厂商入选。BI在中国也并不是一个新市场,为什么不能入选?这是值得大家深思和讨论的。

不管是工具,还是解决方案,最后对企业来说就是体现为价值。以Tableau为例,它能在10多年内崛起,正是因为抓住了self-service这个痛点。美国的企业客户,很有工具精神。Self-service契合了这一点。

所以从我们的这个角度来说,我觉得最重要的还是价值,这个价值需要基于国内客户的使用习惯等特性。

以AI赋能数据分析,一站式数据分析平台仍是国内主流打法

中美发展有差异,国内一站式平台仍将占据主流

苏春园:美国同行的发展确实非常值得借鉴。还是以BI领域为例,国外客户在使用BI工具时,可能会同时采用几家厂商的产品,因为各家的产品主打的特点有所不同,这也导致行业整体比较分散。

但是国内市场与此不太相同,国内客户更希望厂商交付的是一个一站式的解决方案,进而能够快速的开始数据分析的构建、探索等等。

这是国内外的不同之处。

另外,国内比美国更强调敏捷BI的概念,因为国内的业务变化实在太快,很多业务指标都在快速变化。而美国BI厂商,他们的产品战略通常是全球化的。因此不太可能为了中国的某个场景去改变整体产品迭代方向。这也是从本土需求衍生出来的产品端的巨大差别。

陈军:在日志分析领域,国内厂商和国外如Splunk等厂商的发展路径也会有所不同。这点可以从两个维度去阐明。首先,从客户层面来讲,美国的IT比较发达的,工程师的动手能力比较强。

比如说像IT产品在美国销售,客户要做POC,要证明这个产品能解决问题。基本上是客户做,厂商不会做,如果厂商做是要收费的。国内是不太可能的,我们在国内销售都是要由厂商做POC。

所以在国内做2B业务其实非常苦,可以说是又脏又累又苦,因为不仅要做好产品,也要做好服务,需要投入很多服务资源。例如,日志易服务的一些大客户,需要帮助企业接入几千台设备、上万个系统的日志,而且日志格式千变万化、日志内容参差不齐,需要与客户内部各个部门协调,投入非常多的服务资源,才能服务好客户。所以,这就导致产品形态不太一样。

以AI赋能数据分析,一站式数据分析平台仍是国内主流打法

其次,从公司的业态来讲也不太一样。看美国的话,每一个细分领域都很多公司,厂商通常是在某个单点的创新上做得非常好,因为美国公司往往面对全球市场,单点突破有助于其快速铺开业务,而国内厂商主抓的还是中国市场。这也导致了国内2B、2C企业经常会为了发展跨入彼此的领域,而美国企业则不是如此。即使在2B市场,并购也非常的活跃。很多创业公司成立的目的就是为了解决一个痛点然后被巨头收购,也就是所谓的“Build to sell”,而非通常认为的“Build to last”。中国在这方面还只是初现端倪。

方磊:两位对于这个议题的认识都很深刻。我想补充一点,我们对问题有一个结构性的认识。我认为中美最大的差别就是,美国在行业发展之初培养了一批CIO/CDO。这批人的思维就很容易接受“Build to sell”。当新出来的创业公司突破了某个点,他们能够接受将其收购,并用自身的IT能力将其集成到自己的产品里。

我认为中国没有这批人,国内同行更多的是要做服务,很难说大规模的采购单点型的创业公司,对每一个单点的价值认知是不一样的。

现在这些也在变化,国内同行对于自我能力的提升的诉求,自我认知定位的觉醒,对我们的采购方式会带来巨大颠覆。我相信未来我们会更多由一站式往美国的产品采购方式转变。这会给工具厂商带来更多机会。

另外,我觉得这一代2B的厂商是有机会出海的。在座的各位可以看,三、五年以后,一定会看到很多中国2B企业出海的新闻。2B领域的云化趋势是一个很好的机会,随着AWS、Azure的壮大普及,全球2B市场的标准开始统一,今天你卖给一个2B的客户,虽然还有很多商务环节,但是实际上这个路已经比以前平坦很多了。这也是中国2B厂商出海的机遇。

爱分析:对于国内日志分析领域,包括ITOA、UEBA、SIEM等细分市场,您判断其市场规模在什么量级?

陈军:可以参考日志领域国外的标杆企业Splunk。Splunk于2012年上市,当时收入是1.2亿美元,去年的收入是12亿,每年百分之几十的增长。

其实Splunk只是国外日志分析领域中最大的一家,后面还有很多的竞争对手。我记得,2014年的时候我看过Splunk大概有40多个竞争对手,后来微软、Oracle也开始做了类似的东西。我估计它的市场份额可能也就30%多,不超过50%这样的。

其实像日志以及物联网设备产生的带有时间戳的数据都是时间序列数据,也就是机器数据的一种。目前Splunk在物联网的数据服务的收入还不到10%。

中国的IT支出是全球的10%左右,一家国内公司只面向中国市场,对比面向全球市场的Splunk去年的12亿美元收入,做到其目前收入的10%的营收还是可能的。

爱分析:您几位更看好一站式的分析平台,还是场景化、模块化的工具?

方磊:这个问题我觉得是个人喜好,即使在美国也是共存的。像DOMO就是比较典型的一站式的平台,发展的也很好。当然DOMO现在也碰到一些问题,在美国每个点的人员的能力比较强,提供一站式产品容易被人攻击。

比如,可能出来一个小公司,会就某一个环节单点突破,导致客户流失。相应地,单点突破型的公司因在在单点上的持续投入会非常大,容易形成一个自然的壁垒。

回到国内,我觉得未来三到五年,一站式还是一个趋势。有能力养一个自己的团队的客户还是比较少的。

陈军:我认同方总的观点。短期内还是一站式的解决方案,但是长期随着客户的技术能力的提升,肯定是找每一个类别里面最优秀的产品。

苏春园:企业级市场从国内到国外,还是蛮理性的市场。在不同的阶段有不同的需求,很多新的东西一开始是一站式,之后客户肯定趋向于找细分领域做到最极致的产品。

爱分析:数据分析平台市场未来三五年内还是主流,行业发展会否趋于集中?这个拐点会是何时?

方磊:任何行业肯定都有整合。从整个分析工具软件来看有四类厂商。

第一类是围绕数据库展开的,如数据仓库,有ETL,有OLAP等各类型厂商。

第二类是BI,BI可再分为两类,一类是Enterprise BI,以Microstrategy为代表。一类是兴起的,叫Agile BI,以Tableau为代表。第三类是Data Science Platform,就是九章云极所处领域,这在美国也是一个非常新兴的领域,没有体量很大的公司。第四类就是数据治理。

从分析软件层面,基本上分为这四类。国内也有很多的厂商,这个数量比美国少很多。我们还处在行业发展早期,整合的时间窗口还是很长的。我认为接下来两三年之内都不会产生非常严重的整合。这是我的一个判断。

陈军:整合是必然的。一部分没有创造什么价值的企业肯定要被淘汰的,而有一些有价值,但是遇到了瓶颈的企业就会面临整合。整合的形式可能有体量对等的企业合并,也可能被更大的公司收购等。也可能有极少数非常优秀的企业,能够做到年收入几亿还能够继续高速增长的,那可能就独立上市。

苏春园:远期来看,毫无疑问会有整合。短期来看,任何一个玩家只要能做好某个点,某个场景,就有生存的机会。我与很多CIO做过交流,发现现在企业给分析工具的预算是很充足的。因此在未来相当长的时间里,创业公司专注某个点打造核心竞争力,就有存活和进一步发展的机会。至于商业模式上如何继续延展,和上下游协同,就是另一个话题了。