5月15日,爱分析将正式发布《2024爱分析·大模型应用实践报告》。今日先行发布报告的市场洞察部分,主要为大模型落地的三项挑战及其解决方案,以供企业用户前瞻。
注:市场洞察为精简版,扫描下图二维码或点击右侧“下载”,可下载完整版《2024爱分析·大模型应用实践报告》。
挑战1:大模型项目与企业战略脱节
一般情况下,大模型通常是由上至下推动的,由董事长或CEO等企业一把手宣布大模型必须落地的任务。该任务无论分配到哪个团队,都会启动一个以大模型为主题的项目,并展开一系列汇报工作。
在汇报过程中,企业一把手询问的首个问题往往是大模型项目与公司战略的关联。但是,在大多数汇报中,项目负责人的回答仅局限于大模型技术和应用,例如“大模型+知识库”赋予一线员工的能力提升、“大模型+数据分析”提高了业务人员使用数据的便捷性等。这些价值与企业战略间并无必然联系,即大模型项目与企业战略之间没有必然联系,进而导致大模型项目难以顺利过审。
某大型化学用品公司CIO向总经理汇报2024年度IT项目规划和预算情况,但汇报并不顺利,重点问题在于大模型项目的业务价值没有打动总经理。因此,爱分析建议首先要解决如何保持大模型项目与企业战略一致性的问题。
解决方案:战略一致性,企业成功落地大模型的隐藏秘钥
实际上,多数企业在2023年年末至2024年年初期间会做2024年企业战略规划,其中必然涉及到战略目标设定以及战略解码的过程。爱分析认为,大模型项目必须在战略解码的过程中找到自身的核心定位,或者说确定其与战略的紧密联系,这对于项目的顺利进行至关重要。
下图为一个常见的战略解码过程,涵盖了从整体公司级战略到管理层设定的KPI目标,再到业务执行层的每个项目。无论是采用战略地图或者其他形式,都可以帮助企业进行战略解码的工作。其主要作用是在整个战略解码的过程中,尤其是在最终的执行层(项目)中,真正找到符合企业自身情况的战略对齐,从而提升大模型项目的价值。
图表1:战略解码过程示意图
某金融机构在每年年底和第二年年初时,需要对整个十四五规划进行全方位回顾。在考虑十四五规划时,一个颇为关键的战略是自主可控,这也被明确写入公司的十四五信息化战略规划之中。因此,大模型项目负责人就是从十四五战略规划中出发,从中挑选出适合的项目。
该金融机构最终选中的落地项目是“大模型+运维”,选择原因其实是它比较好地解释了自主可控。这里的自主可控不局限于外资软件或基础设施,更多的是对外部供应商的自主可控。在此过程中,大模型与运维的联合价值显得尤为重要,因为可以对金融机构现有自身内部能力进行强化,也就是大模型可以提升公司内部运维人员的技能,例如通过知识库、BI以及其他能力赋能内部运营的人员。
运维人员在这个过程中,可以减少对云厂商或外资硬件服务器厂商等存在的高度依赖,从而以更好的程度体现出自主可控性。该项目从立项到实施都较为顺利,因为在项目之初便将整个公司的十四五战略规划中的自主可控性纳入其中,是一个非常优秀且值得借鉴的金融机构案例。
挑战2:大模型业务收益难设定
大模型项目负责人在设定业务收益时,头绪繁多,但缺乏找到行之有效的收益项。
当前常见的大模型业务收益主要包括提升企业/品牌形象、减少资本支出和运营支出、业务收入增加、提升客户满意度、提升员工人均产出、缩短流程时间、加快新产品上市节奏等。如果大模型项目负责人追求“多多益善”,而不是“有的放矢”,企业内部往往难以就业务收益达成共识,进而导致项目推进困难。
解决方案:面向企业高管,设定业务收益
爱分析将提供一种易于操作且可行性较强的业务收益设定方式。
在设定大模型业务收益时,需要从顶层开始进行考虑。这种策略的优势是从管理层出发,历经部门领导,直至执行团队,这是实现大模型落地的最佳路径。
其背后原因在于,大模型本身需要获得来自管理层的大力支持,以及在公司范围内推动这项工作,那么针对管理层的大模型的应用赋能,或探讨如何使这个模型为管理层带来价值,无疑是更为有效的切入点。
挑战3:数据分析场景,大模型生成结果的准确率较低
数据分析是很多企业在2023和2024年落地大模型应用的首要场景,但生成结果的准确率较低,困扰着大模型项目负责人。
导致该困境的主要原因之一在于大模型数据分析是基于语言交互的方式,无法限制用户的提问方式,因此理解问题和生成结果的难度偏高。
对企业用户常见难点进行总结,影响生成结果准确性的原因主要在于语义对齐和任务多样性两个方面。
语义对齐是指对齐用户口语化的查询和指标字段、维度字段、甚至是其它API的输入参数。
任务多样性是指用户在提一个复杂问题或者目标时,大模型肯定无法直接执行,因此需要把目标或复杂任务拆解成多个子任务后,每个子任务做协同执行,再完成用户最终的提问需求。
解决方案:指标平台+Agent,提升数据分析结果的准确率
针对语义对齐的问题,可以通过语义增强配置的方式来解决。用户在提问时并不一定准确知道什么场景下该问什么指标,而是进行场景描述。因此要把企业的业务数据做指标语义化相关的生成和配置,包括指标名称、业务口径、应用场景等。针对用户提问,基于相似度和索引找到对应指标。
针对任务多样性,可以通过引入Agent方式来解决。Agent具备规划拆解能力,并且在此之后通过调用插件执行子任务。比如,Agent基于指标查询会把指标、维度和时间三要素解析出来,填充到标准化的接口。Agent还会调用归因、预测、异常检测等算法。