- 企业服务
- 大数据
- 日志易
- 通用技术
硅谷十年，从思科到谷歌，陈军一直在与日志打交道。回国五年，从腾讯到高德地图，陈军的工作同样离不开对日志分析。日志对IT工程师来说，是非常基本且核心的信息，对日志的分析有助于提升企业运维效率。
陈军发现，中国企业越来越重视精细化运维，但国内却没有一款可以媲美Splunk的日志分析产品。而Splunk的产品价格很高，在中国又缺少配套服务支持，这就给了本土产品发展机会。
2014年初，陈军离开高德，创建日志易。
可编程的日志分析产品，日处理20TB数据
很多非IT出身的人都会有这样的疑问，日志易这类日志分析产品到底为客户提供了哪些服务？
电脑等IT设备，在运行过程中会产生大量的日志数据，来记录这些IT设备的活动。一旦设备出现故障，抑或追踪一些业务过程，通过日志就可以找到问题的答案。但这些日志都是散落在不同设备上，仅靠手动查找起来非常费力。同时，因为日志信息量很大，机器过段时间就会清理一次日志。一旦出现故障，IT人员想查找一些历史数据根本无法查到。
日志易做的事情就是把散落在各地的日志收集起来，集中管理，将非结构化数据转换成结构化数据，就像百度、谷歌这样的搜索引擎，IT人员可以通过搜索关键字找到需要的日志。除此之外，日志易还提供了各种分析和可视化工具，帮助IT人员更好地分析日志，找到问题的关键。
从产品功能上来看，日志易与国内同类产品最大的区别体现在可编程上，目前可以实现几十种命令。产品使用者可以在搜索框内写SPL（Search Processing Language，搜索处理语言）脚本，类似SQL，可以根据不同的使用场景来编译适合的程序。
可编程的好处在于客户的一些个性化需求，可以通过编写简单程序来实现，而不用更改底层程序，提高使用灵活性，客户用起来更加方便，毕竟写SQL的难度要远远低于写JAVA。
从产品性能上来看，日志易目前在生产环境上可做到每秒一百万条日志，每天处理20TB数据。可检索分析千亿条日志，一分钟内反馈结果。这些日志都是通过流式处理，技术实现难度大于批式处理。举个例子，百度采用批式处理，无法检索到刚刚发生的新闻，而刚刚产生的日志都可以通过日志易的搜索引擎查询到。
以大客户为主，产品交付周期短，可复制性强
日志易一开始就将工作重心放在大客户上，竖立标杆客户有助于提升品牌价值和公司影响力，同时大客户业务复杂，有助于打磨产品，增强产品功能和性能。
尽管产品上线才两年，2015年下半年才拿下第一个大客户，但日志易发展速度很快。目前，客户已包括某大型综合金融机构、某大型股份制银行、基金公司、支付公司等金融客户，中国移动、国家电网等央企，乐视、小米、网宿科技等互联网企业，KA客户超过一百家。
在产品交付层面，日志易以本地部署的形式服务大中型客户，以SaaS形式服务小企业，产品付费模式与Splunk类似。因为产品化程度较高，除了日志易之外，还有用于运维、监控日志易的Rizhiyi_Manager，即使是本地部署周期也不长，客户准备好存储日志的服务器后即可一键部署。
日志分析是相对底层数据分析技术，行业属性不强，同时日志易提供SPL编程功能，有助于客户开发一些适合自己的程序。这使得日志易的产品可复制性强，容易规模化，人力依赖较低。
国内市场刚起步，市场延伸范围极广
国内市场目前还处于教育客户阶段，很多企业还处于信息化阶段，根本谈不上精细化运营。但是金融、运营商、能源等领域需求已经出现，日志在运维监控、业务分析等方面的作用渐渐被客户认知。
由于国外巨头Splunk对中国市场重视不足，配套服务人员几乎为零，这给本土企业成长的空间和时间。2015年12月，日志易完成6000万A轮融资，融资金额为细分领域最大。不论是技术还是资源上，日志易都领先同行，极有可能成为日志分析领域的龙头企业。
日志分析市场规模看似不大，但其业务延展空间极广。所有机器数据都可以被归结为日志，都可以用日志分析产品去处理。因此，日志易的产品可以很容易延伸到物联网领域，提供机器数据的实时处理。
目前，Splunk已为美国F35战斗机处理数据，韩国浦项炼钢炉的数据也通过Splunk进行分析。因此，从国外应用经验来看，未来日志易切入到物联网这个市场是完全有可能的。
近期，爱分析对日志易的创始人兼CEO陈军进行访谈，现将精彩内容分享。
Q：当初创建日志易这家公司是基于哪些方面的考虑？
A：在外人看来，日志是一个很小众的市场，有些投资人甚至分不清日志和日记的区别，但从IT工程师角度来讲，日志是个非常基本且核心的东西。
我98年从南加州大学硕士毕业，首先去了思科。我记得我刚工作几个星期，软件出了BUG，我当时一筹莫展，不知道怎么办，因为首先得知道是什么原因产生这个BUG。同事就指点我，让我去看日志，从日志中发现问题。当时也没有工具，就是在编辑器里打开日志看，因为是分布式系统，就打开多个窗口对照看日志，当时完全靠人眼去鉴别。
到2006年，我去了Google。我做网页爬虫的时候，Google当时一天要下载一百多亿个网页，基本上覆盖全世界的网页。在爬网页的时候就会遇到各种各样的错误。我们早上上班第一件事就是看爬这些网页有什么样的错误信息，有错误就得解决。
但这些错误信息都在日志里面，日志量很大。在思科时期一个日志就是几MB到几十MB，Google时期一个日志就是几十GB。这时候没办法通过编辑器打开，因为加载时间非常久，根本没办法用人工方式去看。
Google在2002年的时候发明了大数据技术框架MapReduce，后来Hadoop就是基于MapReduce技术开发的。所以我们当时就是用MapReduce去写程序，分析日志，但这里面也有问题。每出现一个新问题，就要利用MapReduce写程序、调试、运行，所以上午发现错误，看到结果都是下午了。
2009年我回国到腾讯工作，在数据中心运维部门，负责开发腾讯数据中心运维系统。当时腾讯已经有二十万台服务器，非常大的运维监控系统，也要处理日志，我们当时也是自己写程序处理。2010年发现Splunk这款产品，Splunk是个搜索引擎，拿来即用，不再需要开发写程序。
2013年，我去了高德。当时出了一个比较大的事故，要去追查那个事故的根源，也要看日志。追踪几天前的日志时发现交换机日志已经回滚了，没办法追查下去。所以，我们觉得日志需要集中管理起来，日志散布在各个服务器上，出了问题运维工程师登陆在生产服务器上，风险很大，一不小心误操作就会出现新的运维问题。我们当时也用了Splunk产品，非常好用，但就是太贵了。
我们出来做这个事情，主要是考虑市场空间很大，而且行业技术门槛很高，护城河足够深。护城河浅的话，一大堆公司进来就没有我们的机会了。
Q：这个领域的技术门槛是在哪些方面？
A：日志分析是实时大数据，Google、百度这种是批处理，新闻实时性够强，但也只能搜索到15分钟前的新闻，如果现在出条新闻，任何搜索引擎都搜不到。我们这种是日志出来后几秒钟就能搜到，Fast Big Data。
我们每天处理20TB日志，有人觉得可能不够大，有的已经到PB级，但他们那种是批处理，我们这种是实时处理，我们这种处理速度非常快。
Q：日志分析接触到的是客户很底层的数据，大客户对这类数据比较敏感，咱们最开始是如何切入大客户市场的？
A：第一个是需要时间，2014年10月我们的产品就出来了，当时有一些早期客户。我们在2015年1月份有签单，当然第一单是小企业。服务第一个大客户是在2015年下半年，这过程需要不断打磨产品，先给大企业试用。但有些大客户连试用都不愿意，他觉得你给他免费试用，他也付出了成本，要提供服务器、要提供人员。
首先客户要有这部分需求，其次要有实力能满足客户的需求。有些时候可能就只有一次机会，但就一定要抓住这次机会。早期如果能签下一个大客户，后面就会相对容易。
Q：日志分析这个市场您判断有多大？
A：这个市场非常大，现在是日志，未来是物联网。现在Splunk已经不讲日志了，已经过了将日志的时期，现在很多财富500的公司都是他的客户，他现在讲的都是机器数据。美国F35的战斗机，产生的机器数据是由Splunk处理的。韩国浦项钢铁的炼钢炉，数据也是由Splunk处理的。
我们也是这样，现在做日志，未来要做机器数据，机器数据和日志没有差别，只不过市场还处于培育阶段。
Q：咱们这种实时处理方式与Spark技术的流处理是否类似？
A：我们最早版本是用了Spark流式处理，我们还获得了官方认证，有一家做Spark的公司Databricks，日志易是被他认证的，我们认证的是开发商而非代理商。
但后来我们发现Spark性能不行，所以后来我们自己写了程序，比Spark性能提升很多。
Q：公司下一步战略有哪些考虑？
A：下一步还是继续做日志分析这件事，Splunk做了12年，我们才做了不到三年。我们开放API，逐步从产品变成平台，其他公司可以在我们的产品上开发应用。从公司价值上来看，做项目的公司价值最低，基本就是赚一个人工费的差价，其次是做产品，最高是做平台。
Q：像咱们这种产品可以对接哪些应用？
A：做BI的都可以跟我们对接，BI主要是分析数据，数据可视化基于结构化数据，日志是非结构化的，我们把非结构化转换成结构化，所有BI的都可以对接。还可以对接运维监控系统，运维监控系统包括很多内容，我们日志分析只是其中的一个模块。