明略科技首席科学家吴信东指出，人机协同已在多行业中逐步渗透。人机协同的模式是以知识图谱为支撑，进行推理推荐，并进行资源合理配置，解决复杂环境问题。
明略科技集团首席科学家、明略科学院院长吴信东将出席 iTIC爱分析·中国科技创新大会，并发表主题演讲《人机协同——人工智能的下一站》。
人机协同，是新一代AI技术在知识和管理复杂度高的行业中的落地，也是人类与机器和谐共处的开端。动态知识图谱是人机协同的后台支撑，是实现决策的智能进化的核心竞争力。
在国内，人机协同已经在部分行业落地。明略科技作为国内领先的人工智能产品与服务平台，以自有NEST知识图谱数据库为支持，让人机协同智能系统在政府、金融、新零售等行业中大展拳脚，在人工智能应用方面展现出很强的竞争力。
近期，爱分析对明略科技集团首席科学家、明略科学院院长吴信东进行了专访。
吴信东，现任明略科技集团首席科学家，明略科学院院长，国家“千人计划”特聘专家、海外杰青、长江学者、IEEE& AAAS Fellow，主要研究领域包括大数据分析、数据挖掘、机器学习、人工智能等。曾任顶级国际学术期刊《IEEE TKDE》主编，是顶级国际会议IEEEICDM的创办人和现任指导委员会主席，是成为数据挖掘领域中领导学科发展、推动技术进步的国际学术带头人之一。
专访围绕人机协同和知识图谱两方面展开。吴信东阐述了人机协同和知识图谱的应用场景和发展方向。吴信东认为，人机协同是在复杂的环境下，以知识图谱为支撑，进行数据推理，合理调度资源，使人类智能HumanIntelligence、人工智能Artificial Intelligence和组织智能Organizational Intelligence有效结合，打通感知、认知和行动的智能系统，高效解决问题。
目前，人机协同应用到了公安、消防、餐饮、金融等多场景下，可以实现单人单机的应用，发展方向是利用多人多机的资源解决更加复杂的问题，实现机器的自主调度功能。目前存在的技术问题，是知识图谱的动态抓取和人机交互的不确定性。
知识图谱对于人机协同智能系统起到支撑作用。知识图谱可以在复杂度大、体量大、涉及面广的场景中进行数据梳理、融合和推理。静态知识图谱与动态知识图谱的核心区别，是节点事件与事理的区别。动态知识图谱推进过程中，主要存在知识体系不完善和解决问题效率两个问题。
以下是专访内容精选。
多场景应用，解决复杂环境问题
爱分析：从您的研究来看，现在人机协同应该怎么给它一个很明确的定义呢？什么样才算人机协同的场景或者技术的应用？
吴信东：人机协同的概念其实早就有了，我们做人机协同有一套理论，是把人当成Agent，把机器也当成Agent，每一个Agent有自己的功能定义。作为一个人，不能做的事情相对比较多，作为机器，它的功能相对比较多向。在大的人机协同环境部署中，如果有一项任务要分几个步骤，每一个步骤有哪些Agents可以做，是需要整体部署调度的。有些事情适合人做，有些就只适合机器去做。像高空、深海任务，就只适合指定机器Agents做；有些事情，如果人也能做，机器也能做，不同类型的Agents都能做，就要考虑到时间效率、成本优化问题。所以在大框架里，我们把人和机器作为整体部署。
有些关键问题，比如在公安场景下，知识图谱有16亿实体，这是一个优点，因为数据比较全。但是在做几度搜索时，需要在16亿的基础上乘以几个16亿次方。如果单纯靠机器来做，5个礼拜或者5个小时以后，才能做出空间的全景搜索，耗时相当长。如果人机协同，结合人类经验和洞察，看到哪一个点有线索就瞄准这一个方向调查，判断可能存在线索和可疑之处，进行深入探查就更快一些。在公安实际应用案例中，就有五分钟破案的先例，效率大大提高。
爱分析：这个层面上有考虑过人机协同本身的商业价值问题吗？
吴信东：商业价值是必须有的。场景越大，商业价值机会可能会越多。一是替代人工节约劳动力，二是精度跟适度相对提高，随之而来的是产能提升。
爱分析：您之前也提过有三种交互方式，一种是冗余的交互方式，一种是互补的方式，还有一种是混合的方式。这三种交互关系各有什么特点？
吴信东：互补、混合这两种方式相对来讲比较直接。比如，我会讲日文，你会讲英文，如果是接待日本代表团，肯定是我来完成；同理，机器也是如此，这是互补。比如，我一个人完不成，你一个人也完不成，那么，人跟机器共同分工完成，这是混合。
冗余，存在两种可能。一种可能，是这个事情比较重要，要加强做事能力的可靠性。比如，房地产客服岗位，除了人在做以外，也同时电话营销机器人，会给潜在客户主动打电话进行宣传，同时，小区门口房地产中介的工作人员会线下发传单。人与机器人走的路径不一样，但是目标是共同的，都是为了获得更多的客户。另一种可能，是事情的不确定性太高。我们不确定人或者机器能否单独把事情做好，这个情况下选择同时让人和机器都做，目标是增加事情的成功率和把握度。
爱分析：现在人机协同真正实现场景落地的时候，需要哪些条件？
吴信东：要看问题的环境有没有人机协同的需求。需要人机协同的问题通常环境比较复杂，有了人和机器的布局后，在后台用图谱把整个资源调度起来。在形成大的知识图谱后，再做调度、安排、优化工作。
当在问题足够复杂的时候才要考虑当中人应该做什么，机器应该做什么。如果Agent需求比较单一，派人进去的作用不大。如果是智慧餐厅的场景，就涉及到运用人和机器的交互来提高客户满意度。如果有人机协同的环境就做部署，重复性的、劳动强度比较大的工作可以用机器完成，人类则专注做创造性的东西。
前不久我在上海参加了世界人工智能大会，郑南宁院士有一个关于智能教育的观点我非常认同。他说，智能教育肯定会越走越好，教育自动化程度会越来越高，学生受到教育的影响越来越快，甚至教授的很多工作都可以自动化，但是好的教师是无法替代的。因此，人文的交互过程是无可替代的。
爱分析：每个Agent具备的能力和能做的事情，本身是会有一个类似小的图谱出现，还是其本身不是图谱？
吴信东：当问题很简单时，你可以认为这是一个图谱，但是图谱本身的价值就无法体现了。多人多机，Agent功能比较多的时候，这个时候场景会有一个系列的过程。场景越复杂，知识图谱体现的价值更大。相应的推理功能要求、时间效率、空间效率、成本回收等都得考虑进去。场景越来越复杂，涉及到多人多机的协同，不确定性，很多问题随之而来。
人机协同机制中的闭环
爱分析：具体在落地步骤的时候，第一步先定义清楚问题、场景是否需要。第二步把人和机器当做Agent。再定义Agent后，图谱的作用是什么？
吴信东：图谱是在后台做支撑，如果前台布局了很多Agents，后台能够把握。在图谱之上是推理与支持服务，负责推理推荐。当数据变了，图谱就会动态更新。用图谱解读问题，就是一个推理过程。
推理跟调度在一起，然后是行动。首先是感知，再到认知，认知以后就行动。行动的信息通过感知又传回来进行反馈，形成闭环。比如，推理出嫌疑人，公安干警去抓，抓错或者没抓到的信息会反馈到系统里。信息反馈回来，促进模型提高。
爱分析：反馈这一端主要靠传感器，还是通过人工提供结果？
吴信东：两者都有。在公安场景的应用中反馈还主要靠手动，在一些餐饮场景下可以实现自动化。
爱分析：在中间的推理调度环节，跟原来本身的行业专家系统会对接起来吗？
吴信东：专家系统肯定具备推理环节。现在的推理，因为知识图谱提供的信息量比较大，涉及的内容就比较丰富了，包括自然语言处理，规划，优化，机器学习等。图谱底层现在主要是数据库，图谱之上则涉及路径优化，上层则根据问题求解，做知识图谱，抽取数据中的资料和要点。
爱分析：现在基于人机协同这一套机制，可以自动不断闭环去优化。原来行业专家的经验也好，行业的知识也好，未来是不是价值越来越小？自动的反馈之后越学习越智能，路径跟原来本身行业积累的知识路径不太一样了，在未来行业知识到底起到什么作用呢？
吴信东：一方面，专家系统是60年代国际上已经开始做了，国内在80年代开始做的也比较多，中国科学院数学与系统科学研究院的陆汝钤院士，在这方面非常有影响。在那个时期，有些行业是存在专家的，比如医疗行业的专科专家。另一方面，网页搜索的海量信息涉及大的知识图谱，数据面比较宽，多源异构。大数据环境下，可能不存在专家，或者找不到专家。所以大数据时代，能搜到的信息有比没有好，有了这些信息可以进一步研究。这是两者互补的。
人机协同的现状与发展方向
爱分析：现在比较能落地人机协同是单人单机方式么？
吴信东：现在基本上还是以人为主，人判断场景和机器的功能，进行匹配。如果反过来，要实现的是机器能自主调度资源，判断场景，进行机器和人员的相互协同，现在做的比较少。现在做得比较好的，就是让机器能够感知有哪些资源可以使用、怎么使用这部分。
爱分析：您判断让机器人能实现自主调度、一机多人多长时间才会实现？
吴信东：如果能够精确定义场景，人机协同的进步可能会快一点。如果涉及到多个Agents，步骤很复杂。多人多机，本身问题比较复杂，涉及到投资、人力资源需求比较大的时候，可能比较慢一点，取决于对于这个问题的定义清楚不清楚。如果做客服，什么程度是顾客比较满意的程度，本身这个问题就比较难的，需要长期研发。
爱分析：现在看人机协同落地行业的时候，您判断技术大概什么时候可以相对比较成熟？
吴信东：关键是看问题落地的复杂度有多高。前段时间，在西郊宾馆参加一个项目答辩，就有机器人在宾馆里为客人提供服务。客人可以点啤酒，机器人负责送。我点了一瓶啤酒，过了五六分钟听到门口的声音，一开门是机器人，上面放了一瓶啤酒，我拿了啤酒，放下钱，然后机器人就离开了。这个过程已经自动化了。有了一定的人机交互，但是交互的功能不全，机器人没有和客人进行实时对话，只是播放事先制作好的录音。比如，你要的啤酒已经到了，或者，你要的香烟已经到了。如果能改变录音的模式，和客人开几句玩笑，然后说询问服务是否满意，满意的话请给我多打几分，这样的话术就比较聪明了。
爱分析：从您的研究来看，怎么去评价人机协同？有没有一些比较相对量化的方式评价人机协同的应用比较复杂或者比较简单？
吴信东：自动化和人机协同能达到多高程度，最主要也是要看问题的场景的复杂程度。如果解决问题的步骤很多，需要很多机器人完成，复杂度就高。对于复杂度的判断的过程需要人进行预先的分析判断。
爱分析：场景在落地的时候，问题主要是什么？
吴信东：数据变得越来越多，要考虑的因素越来越多，存储就是个问题了。存储越来越大以后，就涉及到推理效率的问题。所以需要人机协同，利用人的洞察、经验，来引导机器，来提升推理效率的问题。
业务与技术共同驱动，人机协同仍面临挑战
爱分析：现在明略是如何考虑人机协同的应用场景的？
吴信东：人机协同场景有两方面。一是业务需求驱动。比如，公安的动态知识图谱，几十亿的实体，哪几个实体需要重点看，涉及到效率问题，就需要从顶层设计和建模的维度考虑人机协同，这个场景就需要有意的增加人为干预。餐饮行业自动化程度越来越高，是国际化大趋势，涉及机器人、微粒传感器、摄像头等部署。二是技术需求驱动。一旦有了产品，就要把技术做好，形成技术壁垒，从往过实践过的业务经验中套用成熟的工具直接可以运用。
爱分析：现在明略本身在公安和餐饮里面有很明确的布局，做人机协同的应用。但假设说餐饮里面做着发现不是一个特别好的场景，最后用户体验满意度很低。从做研究的角度来讲怎么办？还有考虑其他发散的场景么？
吴信东：这是两套机制。公司跟大学不一样。大学是根据研究兴趣，按照思路和逻辑做论文就好。公司与学校的区别是公司以价值驱动，是经过需求分析、价值思考的。目前明略已经到了一定体量，在公安、金融、工业、营销，还做新服务领域的餐饮、零售、产业链供应，在快速的往不同的业务场景去发展。
爱分析：现在从技术层面上考虑，在人机协同落地的时候还有哪些挑战？
吴信东：第一，图谱本身有挑战。动态知识图谱怎么反映现实事件是今年一个核心的问题。比如，怎么把一段视频中的某一个点的现象抽出来，这涉及信息的动态抓取问题。抓取完信息以后，需要对每个人的行为进行原因分析，后台做分析之后，用图谱反映整个过程，这不是一件容易的事情。今年11月8日-11日，明略科技将联合清华大学在北京承办ICDM（IEEEInternational Conference on Data Mining）国际数据挖掘大会，探讨知识图谱自动构建的议题。如何能做出从视频动态了解到不光是视频中能看到的，还能了解到人的背景等，这样的图谱还需要进一步研究。
第二，人机交互方面也有挑战。人和机器都是Agents，每个Agent能够处理的功能不一样。当Agent跟Agent之间需要通信时，怎么做到有通信能力呢？交互本身涉及成本问题和不确定性问题。比如，我在合肥你在北京，你给我发信息，保证信息不丢失最好的方式当我收到后回复信息说收到，但是我如何保证你收到了我的回复呢？信息两边都能收到，总是有信息丢失的可能，虽然概率越来越小，但如何保证在足够的条件下，不需要验证每次发的信息都能收到，这里面就存在不确定性。在人机交互中间，每个Agent处理能力不一样，交互信息失真、断点等现象肯定存在。如果出现了这种现象，问题出现在什么地方，如何验证和跟进，这些问题都需要攻克。
明略科技现在有很多AI技术专家，分布在不同的部门里，大部分人在业务或者产品的第一线，其中有40人在科学院。科学院主要是面临两类问题。第一，每个人得有一个技术难点，比如图谱动态构建、推理推荐、信息检索，有这个业务需求的基础上在这个点上看看国际最领先的技术是怎么做的，做技术对齐。第二，做技术进步，核心体现在我们要写专利，写论文。在我们这个点上，我们要做得跟全世界一样好，这是科学院的本质。同时科学院每一个人和业务部门直接关联起来，写的每一篇文章都要产生企业价值的实际机会。目前，科学院成立了五大实验室，知识工程、信息检索、营销智能、深度学习和视觉计算。
搭建知识图谱，结构化数据体系，深度学习模型
爱分析：做人机协同的落地，前提条件是要先把整个行业做成知识图谱。比如您刚才提到把人当做Agent，包括人的一些具体功能，这个与知识图谱里面的做实体定义，包括加上它的一些属性和一些关联关系是否有点类似？
吴信东：有点类似。图谱的最大好处是复杂度高、体量大、面很广。涉及到多人、多件事情时，需要有条不紊、循序渐进的梳理各种过程。图谱是支持人机协同的，前台的一项任务是派人去还是派机器去，后台图谱会进行判断派什么样的人或者什么样的机器。
爱分析：动态知识图谱跟静态知识图谱的核心区别主要在哪些方面？
吴信东：核心的区别是事件和事理的区别。事件就是某个人在某个地点、某个时间点做了什么事情，做的相对比较成熟了。事件跟事件之间的是事理，是事件间的联系，跟时间有关，涉及后台背景知识。比如，摄像头下有四个人，不在摄像范围之内的一个声音，对这四个人的行为产生了影响，动态性把这个问题变得很复杂。
爱分析：知识图谱如何构建？对于比较大的知识图谱，如果想对整个结构做一次重构要怎么做？
吴信东：这涉及时间跟空间的建模。比如，视频里，一个人在某个时间在笑，我们把时间节点描述进去。如果是从1点到1点02分，中间120秒在笑，我们描述的时候，就不是一帧一帧的静态图了，而是把每个节点形成事理，把静态图谱的每一个节点和时间关联上反映整个过程。这样的图谱就变得复杂多了，怎么描述变化的过程，描述变化的原因，这个问题就比较复杂了。现在还处在探索阶段，希望先应用在公安和消防的场景中去。
爱分析：现在在对知识图谱进行结构化的过程中，用原来结构化的数据做知识图谱，这会相对来说比较容易一些。但有些非结构化的数据，比如图像或者视频、语音这些数据，如果想做成图谱，怎么实现？
吴信东：非结构化数据，一般是从文本开始，根据文字做图谱。图像视频更难，因为同样一段图像视频，每个人看到的东西不一样，描述也可能不一样。做非结构化数据变成知识图谱，就涉及到很多问题。首先一个问题是信息丢失，没有任何人能保证把文本100%的信息找出来。这里面涉及到过去时、将来时，同样一个动词有不同地描述方法，英文里也有，中文也有，怎么把信息完全体现出来是个问题。这里面还有动态变化的过程，比如我有一辆车两年前很快，两年以后不快了。不快了不一定是车子的速度变了，是因为周围的环境变了，是相对的，所以这样的问题怎么描述确实难度比较大。
爱分析：机器很难理解人的一些常识性的问题，这个问题现在是怎么解决的？是否类似于像net和谷歌MetaWeb一样，在底层做一个大的图谱，所有的知识图谱在这个图谱之上，把常识问题通过大的图谱解决？
吴信东：常识也是我们大知识的一部分，一致的没有争议的知识就是常识。知识有两个层面，一是大，一是深。深的层面就是深度学习，而我们先做的是大的层面的事情。有了大的知识图谱结构以后，比如，我们在交互过程中，研究我在什么情况笑，把这点拿出来做深度学习模型，建神经网络，分析笑点在什么地方，可能对什么感兴趣，这就是深度学习，是在大量的数据基础上了解前因后果。
爱分析：如果现在基于场景建了图谱，又基于另外的场景建了图谱。比如公安刑侦建了图谱，经侦里面又建了图谱。图谱之间现在想做融合或者整合怎么去实现？
吴信东：这是融合的两个方面。构架融合比较容易，在公司中数据和数据必须打通。但是数据内容融合比较难，涉及数据权限和政策规定等因素。真正数据打通后，融合就比较容易了。
动态知识图谱的未来与挑战
爱分析：动态知识图谱是更远期才能落地的事情吗？
吴信东：还是要一步一步来，有些场景需要进一步细化。
人工智能历来用两种手段来解决高难度问题。一种手段是，当问题太复杂，就对问题进行条件限定。陈景润生前想干最大的一个事情，证明任何一个大于2而且能够被2除的偶数，都可以分解成两个素数。比如8可以分解成两个素数3和5，素数是只能被1和它本身整除，不能分解了。比如，1、2、3、5、7等数字，就是素数。这个事情被无数次的验证，但是理论上证明不了。人工智能的发展遇到这种难题时，就把这个问题分解细化，场景足够鲜明的时候，我们再解决这个问题。如果这个问题很复杂，描述不清楚的时候，我们就加条件，把问题进行限定。
还有一种手段是，如果遇到机器解决不了的问题，就问专家，80年代的专家系统就用的是这个思路。比如，车子出了问题，不能启动，专家用小锤头敲两三次，就知道机器哪一个部件出问题。而新手则会把可能出问题的部件都拆开来看一下，尝试所有的可能。专家跟新手的区别，新手有知识，但不知道哪里下手，会把所有可能性都试一试，而专家可以根据声音判断问题在哪里。所以当有些问题输出空间巨大的时候，就找人过来，采用机器学习的方法，把那些有不确定性的，用人来判断重要性。
爱分析：现在从知识图谱本身来讲，动态知识图谱落地现在还有哪些挑战？
吴信东：两个方面。一方面是问题本身，在知识体系不全的情况下，用知识图谱就无法正确描述出这个问题，也就无法很好地解决问题。另一方面，涉及到使用效率问题。如果把所有的问题细节都描述出来的话，数据量巨大，这就涉及到用人的经验做人机协同了。目前我们采用人跟机器协同并行做的方法解决这两个问题。