近日，爱分析在京举办了2018·中国大数据高峰论坛。金融大数据是大数据发展最为成熟的细分领域，爱分析邀请了金融大数据领域标杆公司邦盛科技的创始人王新宇进行主题演讲。
会上，王新宇就大数据处理技术的演进路线、流式大数据在金融事中风控的管理方法及落地案例等方面进行分享。王新宇认为，批流融合是大数据技术发展的未来趋势，金融大数据风控已从以前的一致无差别的强认证，逐步发展成基于行为数据分析的实时动态区别管控。
现将邦盛科技创始人王新宇的主题演讲实录分享。
演讲实录
王新宇：大家下午好，很高兴在爱分析的组织的大数据峰会上和大家共同探讨金融科技、金融大数据风控的相关话题。
今天我演讲的题目是《基于流式大数据实时处理的金融业务事中风险监控》，从技术角度来看，这是大数据中难度最大的一部分。我先讲下数据分析处理技术的演进路线，然后与发展历程相结合，介绍下基于流式大数据的金融实时风控的一些解决方案与案例。
大数据分为批式大数据和流式大数据，批流融合是未来趋势
首先大数据从细分角度来讲，可分为批式大数据和流式大数据。如果把大数据比着水，批式大数据就是已从江河汇聚到湖泊里的相对静态的水，也就是历史数据，而流式大数据相当于还在流动的水，或即将流入到湖泊里，汇入到批式大数据，这是比较直观的解释。
流式大数据的处理，更强调实效性，流入湖泊的一瞬间，留给大家分析处理的时间是比较短的。也有人把流式大数据根据它流入湖泊的时间和速度划分为不同热度，新鲜产生的数据热度最强，随着流动的时间，热度逐渐衰减，即将汇入到批式大数据的时候热度最弱。
什么时候的价值最大？刚产生的时候价值是最好的，及时分析处理，最能够体现它在应用上的价值。如果它已经落地了，那么在价值链上也衰减了，而且是指数级的衰减。
在大数据处理领域，趋势上会朝着批式+流式处理结合的方向走。
我们来看下现有的大数据的解决方案：先看批式大数据处理系统。我们谈论的比较多的每年几百亿的大数据市场，大多是批式大数据市场，所用到的核心技术有集群计算、分布式计算，熟悉的系统有Hadoop、Spark，都是属于这条技术体系。
它的技术特点是数据处理的规模非常大，分析模式也比较灵活，你可以写各种各样的查询语言，非常灵活。但这类技术体系在分析处理实时流数据的时候，遇到了非常大的障碍。
下面来看流数据处理系统。这部分用到的核心技术是内存计算，计算引擎中有大家比较熟悉的Spark Streaming、storm、fink，它可以处理高实时性的数据，但处理规模受限，分析模式的灵活性也非常弱，只能把想好的逻辑预先埋入到流式引擎中。
总结一下数据分析处理发展（OLAP）的里程，第一个是Database，之后是当数据量逐步增加的时候切入了Data Warehouse，然后随着互联网发展，数据量进一步增加，到了大数据时代出现了MapReduce等等，实际上批式发展到这个阶段以后就进入了流式时代。虽然流式处理在数据量上受限，灵活性也还存在问题，但在时效性有很大的优势，它的时效性可以做到毫秒级。
现在的发展阶段是批流融合，在处理大量规模数据的同时做到低延时，几十或几毫秒，甚至<1ms。后面我会通过案例跟大家展示一下现阶段的我们的应用情况。
要解决批流融合的技术问题其实是非常难的，首先要解决流式里面的指标存储问题，如JVM存储VS内存、数据库VS分布式缓存、合理的存储结构、存储效率问题等等。
然后是算法需增量计算问题，解决批流融合一定不是每次都要重新算的，一定不会采用纯批次处理的理念，而是把所有的计算都做成增量计算，才能解决批流融合的问题。但有一些计算很难做到增量计算，比如说方差、标准差，需要算出每一个节点才能得出最终的结果，但在流式计算的时候没有办法到批式的历史数据里面去拿每一个节点，如果去拿，时效性就慢了。对于一个最新的数据，要算全量的结果，这是绕不开的一个点。
另外事件序列的识别，先发生什么、再发生什么、又发生什么等等的一系列的时间，在全量的历史数据里面，到底发生了多少次，是否发生过，这样的事件序列也是非常难的一个课题。很多很多的科研人员在这块做了大量的工作。
最后就是长周期大纬度，我们平时说的能处理流式数据，其实它的时间窗口也好，数据纬度也好，都是受一定限制的，你到底能不能处理一年的数据、十年的数据，还有我们常说客户账号下的所有的数据纬度我能处理，那么你能不能处理所有安卓手机访问的，大纬度的数据，你能不能处理？这里面所要求长周期数据处理能力、大维度数据处理能力，也是批流融合必须要解决的问题。
批流融合技术在金融事中风险监控的应用
下面我讲一下邦盛的大数据实时处理产品-流立方（StreamCube），StreamCube已经解决了上述大部分难题，做到了批流融合。它可以集成海量批式数据里面的知识，加上刚刚产生的数据流，结合二者进行实时分析，可以做到毫秒级，现在最多可以做到600-800微秒级的分析。处理数据量从几天到几十年都可以支持。同时提供基于时间窗口漂移的动态数据快速处理技术，并且能够支持方差、标准差、协方差、连续递增/递减等多种计算模型。单节点可以处理每秒钟8万笔的时效性，写可以做到8万，读可以做到40万，集群理论上是没有上限的。目前我们最大的客户，集群处理的是1500亿的交易流水，平均延时是在毫秒。
刚才把整个OLAP的发展流程回顾了一下，现在我来介绍一下基于流立方的批流融合的技术，在金融业务的事中风险监控是如何做的。
我先交代一下背景，实际上现在全国的黑色产业链是非常发达的，阳光产业链下的每一个产品创新，在黑色产业链上都会被正式“立项”。他们对于阳光产业链的产品线如何进行攻击，都会进行一些线上的交流，所以在黑市上，这些信息的共享要比阳光产业链下畅通得多。全国黑色产业链约有160多万人，主要分布在广西、福建、海南、台湾、黑龙江北部、山东等也很猖獗。阳光产业链上被黑色产业链诈取，盗取等等，金融行业年损失额近千亿。
黑色产业链分为上中下游，上游是以偷取数据和拖库为主，中游是清洗数据，二次分发为主，下游是服务于整个黑色产业链的各种周边组织，以销赃为主。以前国内的黑色产业链主要集中在下游，但现在也在向中游和上游发展，以前中游东南亚做的比较多，这也是为什么大家发现，下游的销赃、诈骗在福建，广西比较多的，因为他们离东南亚比较近的，方便做一些数据的交易。
欺诈的花样是种类繁多的，不下几百种，上千种，而且这样的欺诈行为和欺诈场景是层出不穷的，比如你定一张机票，它就可以给你发一条欺诈短信说航班取消了，这些是流式欺诈，也就是说你的数据是流式的环节被泄露。
下面讲一下应对之道，过去十年金融科技领域在技术层和验证层上做了大量的工作，还诞生了多家相关的上市公司，主要是想把欺诈者、动机不良的人挡在外面。但随着互联网技术发展，从实际效果来讲很难做到。
因为在互联网的这个时代，大家的账户其实已经高度的信息集中化。比如我举个例子，在一家网站的用户名密码被拖库了，到另外一家网站上去用这套密码撞库的时候，同一个用户在两家网站使用相同密码的比例高达25%-30%。我们每个人就是那么1、2套的用户名和密码，到处去注册，已经不是技术层和验证层防住就可以的了，它实际上可以分分钟突破你的信息安全通道。
所以现在更多是做策略层的风控。也就是需要基于数据分析，行为挖掘来做防控，即使你突破我的账户系统，我仍然知道你是谁，有方法阻拦你。
策略型风控又分成三种形态。一种是事后批量分析，以前批式大数据主要是应用在这一形态下。另外一种就是准实时处理，就是说这笔交易、转账、提现我先放过去，一边放一边监控它是不是有问题，以前纯流式处理是能够做到一定程度的准实时的。
另外一种就是纯实时，也就是任何一笔交易、转账、汇款、提现等等，需要经过我审核后才会能给你放行，这个时效性要求是最高的，基本上是要在0.1秒，让客户无感知。也就是说事中的策略层防控没有做得好与不好的区别，只有能做还是不能做。超过0.1秒客户的体验就会受到影响，会引起一定的客户流失，对金融类机构而言，客户流失可能会比被欺诈的损失还要大。
我总结了一下金融业务反欺诈整个的发展趋势，第一点是时效性，时效性逐渐从五年前的事后发展到现在的纯实时，也就是以事中实时的预警和管控为主。从风控的效果来讲，越是事中判断越能够拿到热数据，热数据的价值是最大的，判断风险是最准的，误报率和漏报率是最低的，所以纯实时是这个领域的发展方向。
另外从防御的手段角度开看，从单一的专家制定规则发展到多核驱动，通过机器学习，持续优化模型，提升风险识别能力来辅助专家规则进行风险判断。
还有就是系统建设，以前我们更倾向于单一业务风控，现在不论是金融集团还是行业联盟，都发展到建设全渠道中央风控的阶段，打破数据壁垒，多业务数据共享与联防联控，也就是说不再需要每上一条业务线都要建设单一的风控系统或风控模型。
从总体趋势上来讲，从以前的一致无差别的强认证，现在已经发展成基于行为数据分析的实时动态区别管控。
事中风险监控在支付、购票等具体交易场景的落地
介绍完风控的管理方式，我给大家介绍几个案例，第一个是我们邦盛科技在银联商务做的实时交易反欺诈的架构图。上面一半是业务系统，下面一半是风控系统。
事中交易反欺诈是客户发起交易请求，由风控探头将请求实时拦截，拦截到下面的风险监控系统里，进行实时的分析，一眨眼就要分析完，否则客户就要在线上等。
风控引擎再发回风险信号给所有的业务系统，由业务系统去做管控，比如说这笔交易风险是什么级别，高、中、低，是低风险的，就放行了，高风险的你可以进行验证，比如手机动态短信验证等。
这个事中风险监控延时要求是0.1秒以内，现在所有带银联标志的卡，在刷卡的时候，背后都是基于我刚才说的邦盛科技这项批流结合的技术来判断这笔交易是不是盗卡、洗钱等等。
很多人会问你邦盛科技提供的风控系统，怎么知道我这笔交易是有问题还是没问题的？我举一个计算逻辑，如果发生下面的这个序列，一张卡分别刷卡2万、1.5万、1万都没有刷出来，这样的事件序列散落在你过去1个月的流水里面，那可能是欺诈者做的伪卡在最大化的套现。因为他不知道你的额度，但是他希望最大化把钱套出来。这是基于行为习惯挖掘的典型的风险规避模型。
我们自己在用卡的时候，绝对不会出现刚刚描述的这种行为，这就是异常行为。还有查询账户余额，查询完之后后不到1秒钟就做了清空转账，这是一种机器人的操作行为，因为人工操作不会那么快跳入到转账界面进行转账。邦盛科技研发的风控系统，能做这些判断都是结合批式的海量历史数据和当前发生的热数据结合在一起，来分析的行为习惯和风险指标。
我再给大家举一个案例，基于批流结合的大数据风控场景。以前我们在一些购票网站买票的时候，都经历过让人头疼的图形验证码，经常要点好几遍，因为图形验证码难辨认，很多时候眼睁睁看着票被抢光。年纪稍微大一点的根本就没有办法买票了。这套验证码，原本是用来防止“黄牛”恶意抢票占座的，但后来黄牛很快升级了技术，通过机器人利用众包识别技术，识别图形验证码的通过率是70%-80%，比人的通过率还高。防控技术不得不随之升级。
邦盛科技基于批流结合的技术为该票务平台做了实时机器防御识别系统，也就在批流结合的引擎——流立方之上我们加载了生物离散性模型，能够在600-800μs通过对每位购票者的历史行为进行建模分析（上百个规则与模型），精准识别票贩子，其难度远远高于互联网金融风控反欺诈系统。
我举个直观一点的例子，让大家有一点感觉，如果一台设备提交买票请求每次都是间隔15分钟，这种就是机器人在购票。当然现在机器人越来越聪明，也开始随机交易，但是通过统计变量的时候，他也是一个断带一个断带的，断带之外的离散点是没有的，很干净。
我们做的实时智能防御系统，如果发现是人在购票，就不再弹出图形验证码，直接进入购票界面，如果发现是机器人，就会弹出更加复杂的图形验证码，提高识别难度。
批流结合的大数据分析技术，除金融反欺诈以外，还可以应用在电信、交通、公安、海关、航空航天、军工、气象、互联网等行业和场景。纵向来看，每个行业的报表数据实时处理、可视化分析、合规检查，精准营销也都需要这项技术。
最后我简单介绍一下邦盛科技，邦盛科技主要是在做大数据实时智能处理技术，以及基于该技术专注金融实时风控解决方案。我们比较有名的平台就是流式大数据极速处理平台“流立方”，在2017年12家股份制银行里面有8家用的是基于“流立方”的实时反欺诈技术，全国排名前30的第三方支付机构中，有20多家采用邦盛的产品作为中央风控平台。
我们研发“流立方”花了好几年的时间，公司已经成立八年了，前五年都是研发“流立方”，没有出去做业务。
自有实时风控与反欺诈模型库包含各类业务模型2400多个，覆盖100多种的欺诈场景；欺诈黑名单数据上亿级。
做大数据风控和实时反欺诈这一块，除了有引擎以外，还需要反欺诈的技术，反欺诈的数据，反欺诈的模型，还有反欺诈应用产品管控系统。所以做大数据风控也好，反欺诈也好，绝对不是单纯的有数据就能做，这是一个系统级的解决方案。
刚刚讲过的这一项技术已经应用在各行各业，目前已经有200多家金融和泛金融领域客户用上了“流立方”。好，谢谢各位。