企业服务

拿下6家股份制银行,日志易用自研日志分析平台服务Top5000企业 

日志易,日志分析技术与服务提供商

2017年12月29日
指导 | 凯文 李喆 调研 | 李喆 侯珊珊 撰写 | 侯珊珊
  • 企业服务
  • 日志处理

日志处理速度超过100万条/秒,可编程、流处理、可视化的技术和产品增值服务更契合中国企业日益上升的精细化运营需求。日志易定位TOP5000大客户,目前在银行和运营商行业已经具备比较成熟的解决方案。

自1998年南加州大学硕士毕业,陈军先后任职于思科、谷歌、腾讯,直到2014年初离开高德,作为IT工程师的他,这15年的工作一直没有离开对日志的分析。

随着中国企业精细化运营需求的不断上升,陈军发现了标准化日志分析产品的广阔市场。虽然市面上已有一款美国产品Splunk,但其价格高,又缺乏配套服务支持,并不能满足中国本土企业客户需求。

2014年4月,陈军成立日志易,并获得真格基金1400万元天使投资,第二年底获得红杉中国6000万元A轮投资。

处理速度超300万条/秒,可编程、流处理、可视化

日志易是一款运维日志和业务日志搜索分析引擎,主要功能包括应用性能实时监控、运维实时监控告警、快速定位故障根源、在线业务统计分析、程序研发时bug跟踪,以及安全信息与事件管理。

其产品由 Agent、日志易集群、 Rizhiyi_Manager 组成,支持从任意应用系统、云服务、服务器、网络设备等采集 TB 级别日志数据。系统通过自带或用户配置的规则引擎解析日志,抽取关键字段,将非结构化的日志数据转化为结构化数据。

形成索引文件之后,用户可以采用搜索引擎方式查找满足特定条件的日志,也支持用 SPL(Search Processing Language,搜索处理语言) 在搜索框编程,达到更灵活、高效的复杂逻辑处理。

日志易产品整个过程可以通过 SPL 统计呈现可视化效果,最终汇聚成仪表盘,辅助用户实时查看当前事件变更。

同时,产品附加的告警与报表功能可以对特定事件、固定阈值、动态基线等进行实时、定时监控告警,并通过邮件、微信多种方式发送告警内容,支持以PDF、PNG 等形式发送日报、周报、月报。

日志易的优势在于它的高扩展性、快速高效的响应、灵活性和精细的控制能力。

首先,日志易采用高扩展性的分布式系统架构设计,可以支持每日数十 TB 的新增数据。

其次,采取难度更大的流式处理技术,从事件发生到查询可见,秒级完成数据的采集、处理和搜索统计,平均处理速度超过300万条/秒。作为对比,百度等网页搜索引擎采用批式处理技术,最快也只能检索到15分钟之前发生的新闻。

第三,日志易的核心模块自主研发,这使得底层技术架构的稳定性、可靠性更高,更加符合银行等大型企业的需求。依托架构能力、分层能力去做一个覆盖全行业的通用平台,极大降低交付成本。

第四,日志易是标准化产品,针对不同的使用场景和个性化的需求,使用者可以通过在搜索框内编写灵活的SPL来实现,而不用更改底层代码,提高使用灵活性,产品可配置性强,适用各种场景。

最后,日志易具有精细粒度的访问权限控制,能够控制每个用户对服务和资源的访问,这主要是针对流程复杂的大型企业。

定位TOP5000大客户,银行、运营、电网等行业方案成熟

从成立之初,日志易就坚持走大客户战略,目前针对银行、运营商、电网客群已具备比较成熟的解决方案。这几个领域的特点是,日志数据量大,每日数以TB计,在运维和业务分析两部分均有较高需求,数据中的信息能够帮助企业提升服务质量,占据竞争优势。

针对银行客群,日志易可以贯穿整个核心交易系统,实现运维监控可视化,在合规审计、欺诈和滥用行为检测、用户体验提升方面起着重要的作用。截至当前,日志易已与招商银行、广发银行等6家股份制银行,及中国平安、易方达等金融机构合作。

运营商领域,日志易可以将用户登录信息、终端性能信息、业务办理信息进行关联分析,辅助运维人员迅速定位故障点,目前与移动、联通、电信三大运营商均有合作。

除此之外,还与国家电网、南方电网、中石油、中石化、广汽、上汽、安吉星、中车、深圳航空、海关总署合作,且有较高复购率。

日志易提供在大中型企业内数据中心部署的企业版,也通过公有云提供 SaaS 服务。收费模式与Splunk类似,按部署版和SaaS服务版分为两种。SaaS服务版本支持每天500MB日志量的永久免费服务,超出部分按照每天300元/GB收取;部署版包含三类收费方式,许可证费用、部署实施费以及维保费(次年收取)。

ITOA市场处于高速发展阶段,软件国产化政策降低竞争压力

过去IT运维一直局限在ITOM(IT Operation Management),直到大数据技术出现并开始应用在IT运维产生的数据上,由此ITOA(IT Operation Analytics)的概念应运而生,能够支持应用性能监控、故障根源分析、安全审计和业务分析。

Gartner报告称,2012年企业ITOA支出为30亿美元, 2013年超过80亿美元,2014年增速达100%,预计到2018年将成为主流市场需求。ITOA需要的数据源有机器数据(日志)、通讯数据、代理数据、探针数据,其中日志数据占比可达80%。

随着ITOA概念渗透率逐步提升,日志数据的价值度也逐步提升。

同时,相关政策的出台同样在推动日志分析这个市场的快速发展。网络安全法要求企业至少留存六个月网络日志。银监会39号文要求,各银行业金融机构对安全可控信息技术的应用至2019年要达到不低于75%的总体占比。

因此,政策规定和企业自身精细运营的需求,促使企业需要借助工具对日志进行管理、分析。银监会的政策则限制国外软件厂商的进入,给日志易提供了弯道超车的机会。

对于日志易这类厂商而言,除了IT运维这个存量市场,通过积累日志等机器数据,同样有机会切入到客户业务场景中。从国外发展来看,Splunk已经在产品线中增加机器学习的算法,并在11月份宣布了为生物技术公司Recursion Pharmaceuticals提供机器学习工具包,帮助实现其到2025年治疗100种分子遗传疾病的目标。

根据爱分析评价模型,日志易在技术、产品上占据优势。

技术上,日志易的产品完全是自主研发,技术架构的稳定性和灵活性更强。在流计算等技术上积累深,每秒可以处理百万条日志。日志易创始人陈军之前在腾讯、高德等大型互联网公司担任技术运维方面的高管,整个团队技术研发能力强。

产品上,日志易搭建的是一个通用的日志分析处理平台,不需要更改底层代码,灵活的SPL编程即可应对不同场景和个性化需求,交付快,周期短,产品化率高。

客群上,日志易重点瞄准金融、运营商等中大型企业客户,客户续约率在70%左右,采用直销和渠道两种方式销售推广,客单价在几十万左右。

获客上,团队自身能力、服务大客户能力较强,因此,获客能力比较强。日志易目前同时有六家股份制银行、三大运营商、中国平安、中车、深圳航空、海关总署等客户背书,此外,安邦保险也是一个非常好的客户,期待日后可以长期支持、服务各大客户。

场景上,现阶段日志易主要提供日志分析工具,并未完全切入到客户业务场景中。在金融反欺诈领域有所涉及,但现阶段仍然停留在提供数据分析工具的层面。

近期,爱分析对日志易创始人兼CEO陈军进行访谈,现将精彩内容分享如下。

爱分析:日志易战略和产品最近有哪些新变化?

陈军:我们坚持走大客户战略,保证产品不断完善、收入稳步增长,覆盖领域包括银行、保险、基金、运营商、电网等。

产品上,增加了机器学习、人工智能技术,旨在充分挖掘日志价值,用于运维监控和实时业务分析。同时也在往APP这个方向发展,针对不同的场景,固化变成一个个应用,目前已经有六十个APP了,交付速度更快。

爱分析:业务分析的具体案例能介绍下?

陈军:业务分析主要是指业务过程的实时分析,比如银行内部很多交易过程的实时分析,理财系统、柜面系统、核心交易系统、手机银行、网银系统,针对每笔的交易进行实时分析。

银行需要监控业务是否流畅、进行如何,虽然这些数据最终也会落到数据库,但中间会有一个时延,而我们可以在数据还没到达数据库之前就进行分析,并且减轻从数据库读取数据的压力。

爱分析:日志易也会提供存储吗?

陈军:我们是所有日志的统一管理者,存储、处理全部可视化展现,是一个完整的闭环,也支持对接第三方系统,通过API调用数据和分析结果给第三方系统。比如客户想做反欺诈,我们负责将日志结构化处理,相当于做了ETL,之后他可以再去做更进一步的、某一个非常细分领域里面的事情。

爱分析:去年日志处理的量级大概是300万/秒,现在如何?

陈军:处理能力这一块就差不多,客户也没有更高的需求,现在客户要的是各种功能,包括机器学习和一些更细致的权限管理,比如不同的角色查看日志的不同字段。

爱分析:部署版的收费模式和部署周期如何?

陈军:部署版费用包括许可证费用、部署实施费、维保费。按照每天处理的新增日志量收费,其中部署机器量取决于日志量,几十TB需要上百台机器。

平均一个项目一个人交付,部署周期从几天到几个月不等,很复杂的大客户整个跨度可能是几个月,主要是沟通上需要一定时间,真正的部署工作可能也就几周,核心任务是把各种各样的日志接进来,数据的接入会花费大量的时间。

爱分析:Splunk已经在做一些机器数据了,日志易有哪些进展?

陈军:其实我们做的就是机器数据,包括指标数据metric data,CPU、内存、硬盘网络的使用情况,我们做的是跟Splunk一样的事情,但提供更好的原厂服务。

爱分析:会涉及工业领域?

陈军:工业领域比较窄,而且也有些玩家在里面,基本上用Hadoop技术就足够。

爱分析:主要获客方式是?

陈军:直销和渠道,也有合作伙伴,一般是大的ISV(Independent Software Vendor)。我们的产品跟它的产品整合,软件跟它的软件对接,比如亚信、神州泰岳、中软这些都是我们的合作伙伴。

爱分析:是否会考虑扎根在某几个行业做?

陈军:我们已经聚焦在金融、运营商、能源这三大行业,但还是一个通用平台,产品本身是全行业覆盖的。

爱分析:随着银行每年不断扩容,您判断最终大概会到哪个量级?

陈军:上千万吧。银行不仅做运维,还要做业务分析,它会发现日志是越来越重要的数据源,精细化程度不断提高。比如招商银行推出了一个生活平台APP,可以专门买单,也可以绑定其他信用卡账号,想要扩展就得精细化。

爱分析:ELK发展势头很猛,会不会有很多企业选择ELK技术?

陈军:互联网公司选ELK比较多,但问题在于,ELK用于部门级应用可行,如果想变成一个平台给整个公司用,基本是行不通的。

一些大客户内部十几个部门在用,表面看上去是免费,但实际上有很大成本,每个部门哪怕是有半个人在维护,十几个部门算起来,有几个人在做这个事情,按照运维工程师人均40万来算,五个人就是200万。

爱分析:ITOA这个概念分几类?

陈军:按数据源划分,可分为日志、流量、APM,还有布点拨测,但布点拨测那个是很成熟的,主要是这三个。

爱分析:ITSM市场,国内为什么一直没有做起来?

陈军:可能国内都没太注重流程管理,我觉得还是管理太粗放了,没到美国市场那么精细化,包括CRM。其实国内好多公司都没用CRM,我现在面试销售,问他有没有用过CRM,发现有不少公司都没用过。

爱分析:IT管理流程如何理解?

陈军:都需要流程,要有工单,比如客户来一个需求,要你去实施,要保证流程顺畅,就要有个工单,派谁去?去多久?费用多少?在那里发现了什么问题?这个问题又派给谁解决?这些东西本身都应该有个这样的系统连起来。

爱分析:把技术变成一个产品必须满足哪些点?

陈军:首先软件必须足够通用化,否则就变成做项目了,这个就考验架构能力了,产品设计、架构是不是足够灵活,是否能够把通用的东西都做在产品里面,然后只需针对不同的客户写不同的脚本。

其实要从整个计算机发展历史来看,最早也没有分操作系统和应用程序,就只是一个芯片,碰到一个新的场景就写一个新的程序,逐步才发现需要把一些通用的东西做在操作系统里面。

到安卓就更进一步了,不仅操作系统,在外面再包一层。这些软件架构能力,分层能力都是需要积累的,这个就是我们的竞争优势,我们要做的是一个通用的平台。

另外一个,我们也在往APP这个方向发展,针对不同的场景,固化变成一个个应用,目前已经有六十个APP了,给客户的交付速度更快。

爱分析:这个行业里面有没有一些需求端、供给侧、政策上的新变化?

陈军:国家政策有些利好,譬如网络安全法规定,企业要留存六个月的网络日志。另外一个就是银监会的39号文,要求各银行业金融机构对安全可控信息技术的应用,到2019年要达到不低于75%总体占比。

爱分析:整个团队的背景和人员构成如何?

陈军:团队分布在北上广深,加上南京、成都、武汉,全国这七个点都有销售和销售工程师,研发是在北京和深圳。我们团队很多都是BAT过来的,这两年又从美国招了十几个硕士毕业生。研发人员占比不到50%,目前还投入不少在机器学习和智能运维上。

明年继续加大投入,预计增长100%。