Kyligence:中国唯一Apache顶级项目的商业化之路-爱分析

2015年11月,Apache Kylin成为第一个完全由中国团队运营的Apache顶级开源项目。

韩卿是Apache Kylin项目负责人,他发现Kylin项目在商业领域的需求非常大,有着很多外部需求,这些需求远远超过他们当时团队的工作职责。

另一方面,成功的开源项目背后都有一个好的创业公司。成立创业公司一方面可以更健康地发展社区,另一方面可以更好地促进生态建设,让更多客户去使用开源项目。

基于上述两个考虑,韩卿带领他的核心团队,离开eBay,创建了Kyligence

基于开源同样可以研发企业级产品

大数据来临,越来越多的企业开始使用Hadoop来管理数据,但是传统数据仓库和BI解决方案无法满足超大规模数据快速查询交互分析能力,特别是在Hadoop之上。这就使得大量数据被存储之后,调用这些数据所需时间很长,制约了数据应用的发展。

Apache Kylin就是为了解决这个问题而诞生的,可以支持万亿规模数据秒级甚至毫秒级的OLAP分析,大大提升数据分析能力。因此,Kylin一经开源,即受到金融、电信、互联网等领域客户的追捧,希望利用Kylin技术去提升企业分析数据的能力。

不过,开源项目存在很多不足,如兼容性差、应用场景窄、教育成本高等,企业客户在使用Kylin过程中碰到很多问题,自己解决这些问题成本很高,这就是Kyligence的机会所在。

近期,经过半年研发,Kyligence发布了智能大数据分析平台KAP ,相比开源Kylin,主要在以下四个方面有所增强。

一. 兼容性

Apache Kylin是基于Hadoop的OLAP引擎。Hadoop经过十年发展,目前已经分化出很多版本,客户将Kylin运行在本地环境中会遇到各式各样的问题,需要不断进行调试。

KAP这款产品在兼容性方面要大大强于Kylin,主要是源于Kyligence在与很多Hadoop厂商进行合作,完成产品认证,这样KAP可以直接运行在这些Hadoop版本上。目前,Kyligence已经与Cloudera完成产品的双向认证,并与国内外主流的Hadoop分发版供应商合作,完成了相关的兼容性测试,包括Hortonworks, MapR, 华为 FusionInsight、亚信等。

二. 安全性

使用Kylin的用户多为大型企业,他们对数据安全性有严格的要求,KAP在数据加密、单元格级别访问控制列表、SSO等安全性上要更强于开源版本,提升了企业级客户的数据安全能力。

三. 用户体验

企业级客户更喜欢端到端的服务,这样学习成本相对较低,使用起来更方便。Kyligence除提供基于Kylin的多维分析,还提供一个敏捷BI前端,实现一些商业智能功能,使业务人员可以直接实现一些数据分析工作。

四. 应用场景

KAP通过KyStorage这个基于HDFS的全新列式存储,替换掉了Kylin原来的存储层HBase。KyStorage对比HBase,一方面可以节省大量存储空间,另一方面提升了查询性能,同时,KAP可以支持明细数据查询、超宽表查询、超高基维度分析、复杂条件筛选等更多的应用场景。

尽管核心技术都是完全开源的,但是Kyligence基于对客户使用Kylin的反馈结果,研发出符合客户需求的企业级产品,帮助客户更好地使用Kylin技术,这也是开源-商业模式的主流做法。

Kyligence:中国唯一Apache顶级项目的商业化之路-爱分析

重点布局金融、电信、互联网领域

因为提供的是超大规模数据的分析能力,Kyligence主要客户群体集中在金融、电信、互联网等领域,通过构建基于Kylin的数据集市/多维分析层为客户提供包括用户行为分析、用户画像、资产分析管理以及数据服务平台在内的多种业务支持。

Kyligence目前有三十多人,其中80%以上是技术人员,市场及销售人员比重很低。任何一家初创公司,切入大型企业难度都不小。但Kyligence在销售层面得益于开源社区的推广,据悉已经有很多大公司在使用过开源技术后,包括通过Kyligence的前期技术咨询服务等,开始尝试Kyligence的企业级产品,并已经有多家知名企业购买了相关产品和服务。

但同样有些公司是因为Kyligence的成立,才开始使用Kylin技术,进而购买KAP,特别是传统领域有着迫切大数据技术需求的公司。这类公司越来越多的倾向于使用开源技术,但也同时希望开源技术背后有创业公司支持,能够通过商业合作来快速实现业务目的,同时得到可靠、专业的企业级服务和支持 。

因此,Kyligence与开源社区是互相促进的关系,Kyligence的发展速度一定程度取决于Kylin技术被客户认可的广度和深度。

切入细分领域,竞争相对较小,产品可复制性强,发展依赖开源社区

Kyligence切入的是数据分析领域的OLAP分析技术,主要的市场是传统数据仓库和BI分析领域。KAP可以解决BI产品后端的查询性能和数据处理能力不足的问题,因此Kyligence与传统BI厂商是可以合作构建整体解决方案的。相比传统厂商,Kyligence在大数据方面具有较强的技术实力,而其所处领域对技术要求较高,这有利于Kyligence发展。

另一方面,Kyligence为客户提供的是通用型产品,不需要为特定行业进行定制。整个产品交付周期较短,对人力依赖度较低,这使得产品可复制性强。

Cloudera作为基于Hadoop的明星公司,2015年营收2亿美金,估值达50亿美金。Cloudera的发展壮大与整个Hadoop生态蓬勃发展密不可分。Kyligence作为基于Apache Kylin的创业公司,其发展前景很大程度受到Kylin开源社区发展的影响。

Kylin开源两年拥有超过100多家大型用户,社区的发展速度非常快,作为背后的商业公司,Kyligence未来的发展和表现值得重点关注。在公司发展过程中,一方面需要保持技术领先性,保持产品优势,另一方面还要不断向社区贡献价值,扩大社区影响力。如何平衡好这两者关系,也是Kyligence这家公司始终需要考虑的问题。

Kyligence:中国唯一Apache顶级项目的商业化之路-爱分析

近日,爱分析对Kyligence创始人韩卿进行调研访谈,现将精彩内容分享。

Q:您当初离开eBay,带领Kylin项目团队,创建Kyligence的初衷是什么?

A:商业机会肯定是很重要的,我们把Apache Kylin项目开源之后,发现商业领域的需求非常大,很多国内外公司向我们咨询寻求商业支持,我们当时判断这应该是一个非常好的机会。

更重要的是,Apache Kylin是完全由中国人贡献到社区的顶级开源项目。我一直在和我们核心团队商量,这是一个来自中国的项目,我们也一定可以做成一个中国的创业公司。从现在大数据领域来看,每一个成功的开源项目后面都有一个好的创业公司,所以这是我们创立Kyligence的原因。

Q:公司成立之后,需要推出公司自己的产品,因为Apache Kylin本身是开源项目,那么咱们是如何平衡开源和商业化的问题,进行了哪些探索?

A:我觉得有一个误区,很多人认为,“你们项目是开源的,那就是不是只能提供专业的现场服务,用卖人力的方式去盈利”。这个理解其实是不对的,成功的开源商业模式不是靠基于人力的专业服务,更多是依托开源项目提供企业级的产品。这已经被业内证明了,红帽是最好的案例。我们做了企业版产品,像Cloudera基于Hadoop开发了CDH,我们也基于Apache Kylin开发了KAP(Kyligence Analytics Platform)。我们在探索商业化过程中,借鉴了像红帽、Cloudera这样的公司的模式。我们的核心技术是开源的,在开源之上我们提供企业级产品。有一些高质量的功能特性,不一定开源。这种模式已经被证明是很成功的商业模式。

同时,我们做了些云计算的业务,我们相信未来基础软件基本都是开源的,云计算是未来非常重要的业务模式,更加容易商业化,目前我们的产品已经在一些云平台上线。

我们也做了些新的探索,这在开源领域也是一种创新。开源软件带来的一个问题是,整个运维、应用都需要专业知识。我们提供基于云的SaaS服务, 推出了一款新产品KyBot,通过把Kylin系统的日志、问题等上传到我们的SaaS服务上,自动解析,为用户提供统计信息,查询性能、用户使用、存储情况等,同时帮助用户分析各种瓶颈在哪里,存储是不是最优的,查询是不是可以优化。这样一来,企业就不需要有太多的人来运维,通过这个SaaS服务就可以把问题快速的解决。

从客户角度来看,他们会希望核心技术是开源的,但是为了更好地去使用、管理这个应用场景,客户是愿意付费的,因为他们实际上买的是企业级服务。比如红帽,付费后可以获得企业级更新、支持。我们也是一样的,在开源Kylin的基础上,提供管理的工具、安全特性,甚至更深层次的存储功能。

另外,开源项目往往是专注于某一个领域的,比如Kylin在OLAP层做的非常好。但从客户角度来看,他更希望是一个端到端的产品或者解决方案,因此我们最近也在企业级版本里推出了敏捷BI前端等,为客户提供更多他们需要的特性、工具,这也会是我们接下来不断探索的方向。

Q:产品发布之后,客户增长很快,公司一方面要保持高速发展,需要不断去服务客户,另一方面要保持技术领先性,如何平衡这两个方面?

A:对一个创业公司来说,明确什么东西不做其实是最难的,也是最重要的。我们这样一个团队出来创业,面对非常多的诱惑。有人说“我这里有大数据项目,但这是个现场服务的项目,定制化开发的项目。”虽然短期来看,这些项目很容易就赚到钱,但会损害长期目标,因此都被我拒绝了。

我们在创业之初就明确了我们这家公司是专注做技术和产品研发。我们前期非常专注于底层产品研发,经过半年多的沉淀,我们产品的成熟度有了很大提升,底层存储以及SaaS型产品KyBot基本成熟了。这是非常重要的,如果不经历这个阶段,把所有研发人员分散到不同的项目中,我相信我们的企业级产品很可能无法推出。

说到如何平衡这两方面,我要感谢我的团队。目前我们的客户越来越多,客户支持的压力越来越大,虽然不需要现场实施,但毕竟还是有很多现场的工作。我们团队在白天跑了客户现场后,很多都晚上回到公司继续相关的研发工作,一支很拼的团队是保持技术领先的重要保障。

Q:KAP产品主要是做OLAP on Hadoop,这个产品具备行业属性么?还是一个通用型产品?

A:行业解决方案和通用型产品实际上是一个平衡,这两条路最终是完全不一样的。目前我们走的方向还是通用型产品,我们没有为一个客户或者行业做定制化。这样好处是客户拿到的都是标准化产品,我们可以减少大量研发成本,快速交付。

Q:下一步公司的整体战略是什么?

A:我们最大的战略是不断推广整个开源Apache Kylin社区的使用率,因为只有开源社区用户越来越多,我们的商业价值才越来越大。Hadoop花了十年做到现在这个规模,非常不容易。对我们来说,有一个非常好的机会。这个行业已经发展起来了,风口已到。

我们这个项目开源才两年,成为顶级项目刚刚一年。今天全球已经有超过一百家公司使用Kylin技术,所以我们发展速度是要比曾经的Hadoop快。因此,我们的战略是加快这一进程,让更多的企业用Kylin,不管是开源的还是付费的。

另一方面,我们也会在一些新兴领域做战略布局和投入,比如说云计算。因为这是大势所趋,不管是公有云还是私有云,越来越多的数据应用会搬到云上。

Q:Kyligence现在已经开发自己的商业化版本,未来如何一方面不断发行产品,保持技术优势,另一方面在社区持续贡献价值,促进社区发展?

A:我想先回答如何保持优势这个问题。在我看来,最重要的是我们要帮客户、合作伙伴创造价值,不管技术多先进、多厉害,如果这个技术不能帮客户从业务方面去创造他们的价值,是没有意义的。因此,我们会在这个方面投入,帮助客户和合作伙伴通过我们的产品和服务来建立他们的优势,从而提升我们的技术优势。

如何平衡商业和开源?这是每一个开源商业化公司都必须要回答的问题。从我的角度来说,其实是很简单的想法,绝大部分的技术能开源就开源,越是开放的社区和生态,未来越是有价值,越是有竞争优势,未来的竞争不在于某一个技术的领先性或独创性,而在于相关技术所构建的生态和社区。

我们还是希望不断去演化,不断把新的功能提供出来,满足社区的需求。尽可能把产品的特性、功能放到开源里,保留一部分高级特性做商业化,这也是客户最容易接受的方式。可以看到支持流式OALP的Kylin新版即将发布。

同时,从社区发展的角度来看,充分尊重用户的意见,吸纳更多的贡献者,这对于社区的健康发展有着极大的意义。我们一如既往的在自己贡献到社区的同时,积极发展和吸引更多的人参与进来,贡献进来,希望Apache Kylin这个唯一来自中国的顶级项目在未来可以继续发扬光大。