本文整理自7月6日世界人工智能大会“垂直大模型重新定义知识管理”论坛上国泰君安证券首席信息官、数据平台运营部总经理俞枫《行业大模型落地应用的实践与探索》的主题分享，从大模型成为驱动数字化转型的新动力、国泰君安的人工智能推进策略两个方面进行介绍。
在今年备受瞩目的世界人工智能大会上，国泰君安证券首席信息官、数据平台运营部总经理俞枫出席达观数据主办的“知识改变世界——垂直大模型重新定义知识管理”主题论坛，分享对行业大模型落地的思考与公司实践。以下为分享内容：
01大模型成为驱动数字化转型的新动力
大模型出现以后，引发了整个对人工智能新的热潮。人工智能发展有这么多年的起伏，2017年AlphaGO出来以后，大家有热情。这次ChatGPT出来以后，各个层级大家热情高涨。因为什么？因为ChatGPT让普通百姓也感受到人工智能的潜力，这是一个大的背景。生成式AI完成质变以后，对整个市场、生产力，大家的憧憬越来越强烈。在讲我的观点之前有两个误区，先跟大家做些探讨。第一个关于AI、关于大语言模型与ChatGPT的差别。AI的概念，它也包括深度学习、自然语言处理等。相对来说，生成式AI应该是它的一个子集，它应该关于生成数据。从ChatGPT来讲，虽然这个应用很成功，是一个现象级的产品，让我们百姓都可以感受到人工智能的潜力。但不管怎么讲，它的背后是基础语言模型。
从这张图上可以发现，我们谈AI不能只谈生成式AI，也不能只讲大模型。我们对人工智能的认识一定是基于大模型与传统AI技术的互补，共同解决问题，这是我讲的第一个理解。
第二个理解，垂域大模型与通用大模型。前面周汉民主席、柴洪峰院士都已经提到，这里重点强调通用大模型虽然能力很强，但我个人认为它也不是万能的。虽然它有参数量大、泛化能力强等特点，以解决通识能力作为主要出发点。但从行业应用角度讲起来，它对专业知识要求更高。相对来讲，通用大模型“幻觉”问题、高成本问题也是做行业应用落地比较难以解决的困难。垂直领域大模型应该具有性价比比较高的特色，为行业应用带来了比较好的应用前景，所以我们会更关注垂直大模型，也就是我们今天论坛的主题。
垂直大模型也不是凭空出来的，目前产生方式是从通用大模型基础叠加专业知识、领域知识进行强化学习，让它更好满足需要，也不是从头开始。从这个意义上来讲，通用大模型也是垂直大模型发展的基础，应该是相互促进的过程。
从行业角度来说，大模型生成能力为我们提供很多想象力，特别是推动了人机互动场景的转变。以前讲人工智能都是觉得要让它干事，现在大模型出现以后，我们更多关注它能扮演什么角色，大模型为我们带来空间和想象力，能不能做其他AI技术进行互补，更好来解决我们行业的问题。
大模型应用以后成本很多。大家也听说Open AI训练一次要100-120万美金，我们的训练技术成本也很高。从行业应用角度讲起来，一定会关注它落地时性价比的问题，它的ROE的问题。从这个角度出发，我们做行业落地的时候，也不是随便做的，还是要根据自己的情况去选择合适的AI发展策略，核心来讲要实现投资回报最大化。
我把AI场景分为两大类，这也是我个人的看法。一是赋能型AI，一类是变革型AI。
01赋能型AI
赋能型AI更多专注于日常事务生产力的提升，也就是传统讲的降本增效、优化体验，更多替代我们日常重复性劳动，辅助提高生产效率。
02变革型AI
如果这个AI关注于企业核心应用环节，能够考虑为行业中长期发展提供持久竞争力，这个AI我们觉得更有意义。它能够推动我们公司业务创新，能够推动公司组织变革。
这也是在大模型背景下，我觉得作为企业落地可能必须要思考的问题。这么大的投入与传统AI是不一样的，如果要有效地实现投入产出最大化，我们要更多思考有利于帮助公司提升中长期竞争力的AI场景应用。
再说到瓶颈，从金融行业来讲，有一个比较大的要求，就是专业度与安全性的问题。证券行业是一个相对来说专业能力要求比较强的，这也是我们行业利用大模型潜力最大的地方，数据安全、数据流动、隐私合规又有很严格的要求，从行业本身来讲，它的发展真的是大家比较谨慎的。
从瓶颈来讲，我这里总结了四条：
01算力瓶颈
国产芯片性能从生态来讲，还有进一步提升的问题。多模态可能需要更强的算力，如果要训练一个千亿级多模态，可能需要整个社会逐步定量支持。很多人都说最后大模型发展的瓶颈就在整个社会的电力，电力也是会有一定的影响，就是基础设施会有影响。
02数据瓶颈
大家知道Open AI的训练，其实中文数据语料只占了千分之一，目前国内很多大模型厂商用的这些性能数据，大部分来自于互联网或者来自电子销售渠道，存在着数据质量不够。不管是从数量，还是从质量来说都很难保证需要。如果加上数据收集标注，那其实是很大的成本。
03可视性差
基本上大模型本身就是一个“黑盒”，它的可解释性很差。但金融行业对于算法一定是要有解释的，没有解释其实很难面对监管和客户。更麻烦的是，它容易出现“幻觉”，这是它机理所决定的，所以有时候会犯事实性的错误。目前来看，金融行业把单纯大模型用在高可靠用的场景，其实还是蛮难的。
04安全与伦理
训练数据会牵扯到各类隐私，前面说到利用AI去做虚假信息，这可能也是一个相对容易的事。我一直说诈骗行业用新技术，可能会比我们很多行业还要更加有积极性。从这个道理上讲，我们也是建议国家行业坚持发展以安全并重的发展原则。
02国泰君安的人工智能推进策略
国泰君安是整个行业里面最早推行人工智能应用的，早在2017年，就提出整个人工智能发展策略。我们认为人工智能将来是基础设施，提出来人机同行AI应用。希望AI能够给各个环节、各个场景进行赋能。这几年一直在探索，在投研、风控、服务、协作、运维等领域都在使用，效果也非常好，基本上还是处于提质增效的阶段。我认为大模型不完全是生产力，它更是一个驱动我们公司长期转型发展的动力引擎。从这个意义上来讲，公司提出一个新的发展策略，叫“Al in ALL”，希望把大模型作为公司变革的重要力量，去驱动组织变革与流程创新，推动整个公司业务、经营管理模式的创新。从2017年AI应用，到2024年“AI in ALL”的进化，背后逻辑是从赋能AI向变革型AI发展。
再说说我们具体三大决策，也是介绍我们具体的做法。
三大举措01构筑“1+N” AI大模型底座
“1”指的是基于1个通用大模型作为基石，共建行业大模型，同时服务于N个场景模型，探索1个大模型，在N个场景方面的应用，共同探索打造国泰君安适用于场景应用的策略。
02探索算力创新合作方式
算力是瓶颈，一方面自己构建自主可控的算力值。同时基于融合方案，既用英伟达算力，更是用国产算力进行融合。前面复旦金融科技研究院、国泰君安证券、达观、燧原签约也是有这么一个背景，国泰君安去年与相关机构合作，推出“国芯证道”解决方案，完全基于公司全站信创的环境，基于国产算力，实现了完整金融大模型工程，探索了可持续的一步，一直在做异构算力融合创新应用。一方面自建基础小的算力池，同时也与相关方合作租赁算力池发展。算力的应用与行业特征还有点关系，证券行业晚上周末算力用得不足，基于这么一个情况，我们提出可信数据沙盒+分时算力租赁方案，现在也在走监管沙盒审批路线。
03
夯实AI基础设施，强化数据管理
我们2015年开始做大模型平台，目前已经完成沪深一体的数据底座建设，整个数据量已超过PB级。同时算力能力帮助我们实现从数据搜集、清洗、加工、存储到运营支持整个环节，对整个公司语料支持也有技术条件。同时这几年我们构筑完成了语料中台，也把传统客户数据、场景数据、运维数据之外，还叠加了另类数据，支撑多模态语料中台，支持模型训练。语料生成也不是靠我们一家，国泰君安有开放证券理念，与相关机构合作，共同打造整体数据生态。
下面简单介绍一下应用场景：
应用场景01智能投顾
相对核心的环节是智能投顾，国泰君安2017年率先在行业中推出，当时基于资讯、交易、理财展现服务，叫“君弘灵犀”。2022年又通过构建自己的知识图谱，构造了能够实现全自主投资的君弘灵犀的模型。2023年又基于数字人技术，推出数字投顾。今年3月份，我们与相关技术一起打造推出行业首个千亿参数多模态垂类大模型，特别是把我们整个大模型能力融入到客户服务体系当中。我们做这件事的时候，是通过大模型与小模型结合实现的。
刚才也说了基于不同模型做了一些探索，也有80%-90%的好处，但是我们发现有几个不足。第一语义理解能力没有想象那么好，只有80%不到左右。我们把大模型在这方面的语音识别、多模态能力融合进去以后，我们现在从语音识别角度讲起来，能提升到98%，与后端98%体系结合起来。用大模型来解决我们对客户语义的理解进行分类，通过小模型做专业处理。特别是我们后面的知识库是利用国泰君安积累下来的知识库、知识图谱，与我们合作伙伴提供的相关咨讯信息，共同提供可信数据的可靠输出。通过这么一个过程，利用人工智能技术，进一步提升国泰君安对海量客户服务体系的建设。
02智能投行
我们这几年一直在探索投行，也引入了相关AI工具能力，与投行尽调、文档制作、信息报送、业务问答方面做探索，这块对整个投行体系建设还是非常有帮助的，关注于它的转型升级。
03智能投研
投研对我们来说意义也很大，国泰君安基于这么多年投研数据积累、模型能力积累，也推出了相关服务。
04智能网点
特别是推出智能双路等智能应用，对客户服务体验提升还是很有意义。2023年，我们又在行业内首家落地了信创网点，同时也落地了首柜VTM数字人小安，共同提升客户交付体验，目前正好基于“君弘灵犀”大模型在推动业务梳理模式变革，这个对于未来客户服务体系提升也会很有意义。
05智能运维
智能运维，我一直认为运维的数据是整个证券公司中质量最高，也是最全的。从2018年开始，构筑一体化运维平台。比较有特点的，我们统一了海量运维数据与安全数据，对于公司整个能力提升很有帮助，包括强大的健康度评估、日志检测、故障根因诊断、多源情报分析等。在这么几年发展当中，我们曾经就这个创新拿到了深交所创新课题两次一等奖。
06智能风控
风控也是证券行业比较重要的，在我们原有的风控模型基础上，叠加了智能大脑，进一步提升我们整个风险管理模式的转变。我们2018年开始搞并表管理，把整个集团数据底座给做起来了。
07智能协作
公司提出人工数字化，背后很重要的逻辑就是让员工能够更好利用。我们提出全链接引入AI，看重智能协作新空间。要解决公司目前基于平台上面从效率工具到生存工具的转变，重构协作模式，希望给员工更好的职场体验，也提高公司协作效率。
