智财配资国金证券王洪涛：证券行业大语言模型优化方法与应用示范

　　来源：银融时代

　　证券行业大语言模型优化方法与应用示范

　　王洪涛

　　国金证券股份有限公司首席信息官上海 201204

　　E-mail ：wanghongtao@gjzq.com.cn

　　大模型在证券行业的核心作用是充分的萃取数据中的信息和知识，提升证券公司的含智量，培养新质生产力。然而，鉴于证券行业的业务独特性以及大模型自身的局限性，将这类模型在证券业中广泛应用面临不少挑战。为了克服这些挑战并有效利用大模型的潜力，本文提出了一种结合检索式问答生成模型（RAG）、提示工程、以及Agent技术的综合技术路径和应用模式。这种综合方案旨在帮助证券公司提高业务效率、更好地控制风险，并优化客户体验。国金证券作为该领域的先行者，采用创新的应用模式不仅为证券行业内大模型的广泛应用提供了实践案例，也展现了结合行业特定知识和先进技术的重要性，为证券行业在大数据时代的转型和升级提供了有力的借鉴和启示。

　　关键词：新质生产力；大语言模型；搜索引擎；RAG；Agent

　　1 引言

　　ChatGPT的出现打破了现有的人机交互模式，其展现出的强大的语义理解和生成能力引发了人们对其背后的支撑技术的广泛关注。然而，大模型（Large Language Model，LLM）在证券行业的应用尚处于起步阶段，对于如何充分发挥大模型的潜力以及所面临的挑战，业界尚未形成共识。由于金融市场的复杂性和动态性，大模型需要实时更新和学习新的金融知识。其次，大语言模型的性能受到训练数据的限制，如何提高证券场景下大模型生成内容的质量仍有待探索。证券公司大规模使用大语言模型具有以下挑战：

　　数据治理问题：在现阶段，许多证券公司的数据治理体系尚未完全建立或优化。这意味着数据可能存在分散、不一致或质量不高的问题。由于大型语言模型高度依赖于数据质量和结构，这些问题可能导致模型性能不佳或产生误导性的输出。

　　数据安全性：鉴于证券公司处理的是高度敏感和机密的财务数据，数据安全成为一个重大关注点。大型语言模型的应用可能涉及将数据传输至外部服务器进行处理，这增加了数据泄露或被恶意利用的风险。

　　技术集成和兼容性问题：将语言模型集成到证券公司现有的IT架构和工作流程中可能遇到技术挑战。这些挑战包括系统兼容性问题、需要升级或更换现有系统的成本和复杂性，以及确保新技术不会干扰现有工作流程的稳定性和效率。

　　针对证券公司的业务特点，以及现有金融科技发展的实际情况，我们提出了证券公司优化大语言模型的三种方法：采用提示词工程优化证券业务流程、通过搜索引擎与大模型结合加工实时财经资讯信息，以及通过Agent的模式外挂证券业务算法。

　　我们认为上述方法比采用大量数据训练和微调通用大语言模型更适合证券公司的实际情况。本方法具有以下好处：

　　更高的效率与准确性：通过精准的提示词工程和特定算法，能够更有效地理解和满足客户特定需求。这种方法可以更直接地针对证券业务的特点，提供更准确的服务，尤其是在处理复杂的金融信息和交易时。

　　实时信息获取：结合搜索引擎和大模型，使得证券公司能够实时获取和分析市场动态和财经新闻。这种方式比传统的大数据训练模型更灵活，能够快速适应市场变化，为投资决策提供即时支持。

　　定制化服务与创新：通过Agent模式外挂专门的证券业务算法，可以根据公司和客户的具体需求定制服务。这种方法允许证券公司创新其服务和产品，为客户提供更个性化、高度适应性的解决方案。

　　成本效益与风险控制：相比于传统的大规模数据训练，这种方法可能更节省资源和时间，因为它专注于特定的业务需求和场景。同时，通过更精确的算法和实时信息，公司可以更有效地管理风险，避免依赖过时或不精确的数据。

　　总的来说，本文阐述的大模型优化方法使证券公司能够更有效地应对快速变化的市场环境，提供高质量的客户服务，同时控制成本和风险。同时我们也看到大模型的探索与发展又是一个开放的、不断优化前进的过程，随着证券公司数据治理的推进，数据安全的发展，以及交易系统技术兼容性的不断进步，大模型技术会随着证券公司底层技术的进步而不断地向前发展。

　　2 大模型在证券行业应用面临的问题

　　当前，证券公司内部有广泛的知识检索需求，是大模型落地的极佳场景。然而，作为一种新兴技术，大模型自身仍有一定的局限性，包括事实错误（幻觉）、缺乏领域知识、信息过时等问题[1]。因此，如何建设具备高专业度、强时效性的证券大模型亟需探索。

　　2.1 通用大模型的问题

　　通用大模型基于海量高质量的语料进行预训练，将所学习到的知识存储到模型参数中，展现出优异的内容生成能力，已在多个领域得到广泛应用。但是，通用大模型并不完美，仍存在诸多不足之处：

　　（1）知识记忆能力有限。大语言模型的“伸缩法则”（Scaling Law）表明，随着参数规模、数据集大小、训练计算量的不断增加，模型的性能将持续提升。尽管如此，大模型无法记住训练语料中的所有知识，尤其是出现频率较低的长尾知识。证券行业的数据安全要求较高，还包含大量的长尾知识，而不同类型的客户有差异化的需求，如何利用大模型提供多样化的服务至关重要。

　　（2）知识时效性不足。通用大模型难以与外部世界互动，由于知识的快速迭代，模型知识的时效性较差。如果使用微调的方法频繁更新模型参数，其算力消耗仍然不容忽视且容易出现灾难性遗忘问题，对于大部分证券公司而言难以负担。

　　2.2 挂载知识库的大模型的问题

　　基于知识库的大模型能够与外部进行有效交互，获取与用户提问有关的额外信息[2]。构建知识库时，首次提交的文档通过非结构化加载器读取文本，根据预定义的规则或语义信息进行文本切分，然后使用Embedding模型将文本块向量化存储到向量数据库中。当用户提交问题，通过向量相似度匹配召回与用户问题最相似的前k个文本作为提示，大模型根据问题和提示做出响应生成回答，如图1所示。

　　外部知识库能够进一步扩展通用大模型所拥有的知识数量，通过本地化部署证券公司的数据安全性得以保障，员工通过大模型可以针对内部规章制度、非公开研究报告等信息进行提问。然而，多样的非结构化数据（文档、图片、图形表格等）给知识库的构建带来极大困难，并且知识库的时效性依然难以保证。多个存在重复内容的文档构建的知识库，可能产生对大模型产生反作用效果，这是因为特定领域知识被稀释以及文档间相互有影响。

　　大型语言模型挂载文档库通常是历史数据，这可能导致模型无法反映最新的市场信息和动态，对于快速变化的证券市场来说是一个重大弱点。在证券行业，理解市场趋势和预测未来走势至关重要。大型语言模型可能无法完全捕捉到市场的微妙变化和潜在的投资机会。模型的性能在很大程度上取决于其训练数据的质量和范围。如果文档库中的数据不全面或存在偏差，模型的输出可能会受到影响。

　　3 证券行业大模型性能提升的方法

　　3.1 优化的方向

　　在对大型语言模型进行性能优化的过程中，OpenAI采用了一种综合性的优化流程。如图2所示，该流程横跨了上下文优化（Context Optimization）与LLM优化两个关键维度。上下文优化关注于模型需要了解的信息，即为了成功执行任务，模型需要了解的背景知识。而LLM优化则着重于模型的行为方式，即模型采取的方法和行动来解决特定问题。

　　在证券行业，可以获取与问题相关的上下文，并进一步通过提示工程、检索增强生成、智能体技术引导大模型的推理方向，以显著提升回答的准确性和即时性。下面分别对这三种技术进行概述。

　　提示工程（Prompt Engineering）是开始优化的最佳起点，旨在设计和优化指示大模型在进行特定任务时应该采取什么行动或生成什么输出的提示。针对证券公司的业务，可以采用提示工程多次调用大模型的API，并结合RPA等工具多次问答自动生成需要业务的报告，例如：日报、研报摘要等场景。

　　检索增强生成（Retrieval-Augmented Generation，RAG）适合引入新的信息，以及通过控制内容来减少幻觉。搜索引擎结合大语言模型可以在保证信息时效性的同时，从海量的财经类新闻中抽取需要的信息更加快速和高效。

　　智能体（Agent）可以视作一种能够自主理解、规划和执行复杂任务的系统。通过利用Agent可以将不同业务算法外挂、内嵌、整合到大模型中。

　　上述三种优化方法不是互斥的，可以联合使用，多次迭代直至最优。表1总结了大模型优化方法及其适用证券业务场景。

　　表1 优化方法和业务场景总结

　　3.2 优化的技术方案

　　3.2.1 提示工程优化业务服务能力

　　提示工程的优化始于编写清晰的指令，以便于模型可以理解和执行任务。同时，需要将复杂任务分解为更简单的子任务，从而使模型可以对每个子任务做出正确的响应。在这一过程中，给予大模型时间去思考是另一项重要策略，这意味着让模型在生成回答之前有充分的内部处理时间，模型更有可能成功执行任务。此外，设定合理的评估体系是关键环节，系统地测试每次调整对于性能的实际影响，保证提示工程的优化朝着指定方向前进。

　　我们对针对金融证券领域的特性，重构了金融提示的设计架构，整体架构如图3所示。

　　在进行金融大模型应用的过程中，首先需要进行目标分析，以明确任务目标和评估相关形势、资源、风险和局限性。紧接着是数据理解阶段，涉及对数据的存储形式、量级、内容进行全面分析，并对初步解决方案进行微调。基于这两个阶段的成果，接下来是提示设计阶段，旨在针对特定任务场景创建有效的提示。评估阶段主要通过指标测试（如精确率、召回率等）来评估提示的性能，并分析模型输出是否满足目标要求，同时识别存在的问题。最后是优化阶段，根据评估结果对提示进行调整，以确保在正式部署前达到最佳状态。

　　3.2.2 搜索引擎增加实时信息获取能力

　　当模型需要引入大模型未知的特定信息以回答问题时，无需进行大模型微调，而是通过搜索引擎、向量数据库等外部工具来扩展模型的知识，以推理产生准确的回答，这种方法称为检索增强生成[3]。RAG的工作流程如图4所示。RAG最直接的优势就是能够让大模型利用自身的逻辑推导能力，去理解公司的私有数据，实现问答能力的拓展。尽管模型微调也可以实现类似的效果，但RAG的技术路线更适用于大部分证券公司，这是由于考虑到其特殊的场景需求，即外部的公开数据及其内部的私有数据以一定的频率动态更新，GPU算力尚不充足，且通常要求大模型的回答能够给出引用来源以保证可靠性。

　　在金融领域，RAG模块可用于增强大型语言模型进行金融情绪分析的能力。金融情绪分析是提取、量化和研究金融文本、新闻文章和社交媒体内容中的情感状态和主观信息的重要工具，它可能有助于分析证券市场走势，并为投资者的行为提供有价值的见解。

　　3.2.3 智能体链接业务算法

　　大语言模型的浪潮推动了AI Agent 相关研究快速发展，AI Agent 是当前通往通用人工智能的主要探索路线。大模型庞大的训练数据集中包含了大量人类行为数据，为模拟类人的交互打下了坚实基础；另一方面，随着模型规模不断增大，大模型涌现出了上下文学习能力、推理能力、思维链等类似人类思考方式的多种能力。

　　一个基于大模型的AI Agent系统可以拆分为大模型、规划、记忆与工具使用四个组件部分。AI Agent 可能会成为新时代的开端，其基础架构可以简单划分为 Agent = LLM + 规划技能 + 记忆 + 工具使用，其中大模型扮演了Agent的“大脑”，在这个系统中提供推理、规划等能力。图5展示了基于大模型的AI Agent系统的总体概念框架，由大脑、感知、行动三个关键部分组成。

　　基于大模型的Agent可以理解人类的自然语言指令并执行日常任务。在面向任务的部署中，Agent遵从用户的高级指令，承担目标分解、子目标规划、环境交互探索等任务，直至实现最终目标。为了探索Agent是否能够执行基本任务，部分学者将它们部署到基于文本的游戏场景中。在这类场景中，Agent完全使用自然语言与世界互动。通过阅读周围环境的文字描述，并利用记忆、规划和试错等技能，它们可以预测下一步行动。然而，由于基础语言模型的局限性，Agent在实际执行过程中往往依赖于强化学习。随着大模型的逐步发展，具备更强文本理解和生成能力的Agent在通过自然语言执行任务方面展现出巨大潜力。

　　4 国金证券金融大语言模型实践案例

　　4.1 国金FinGPT设计思路

　　图6展示了国金FinGPT的设计思路，以大模型规模化应用为目标，面向业务人员、科技研发人员、AI算法人员等不同角色，构建流程化大模型研发流水线，建立RAG的大模型及解决方案，打造基于大模型的提示词中心，共同形成大模型共享给共建的应用市场生态，快速赋能数字国金建设。

　　4.2 国金AI员工助手：基于提示工程构建不同办公场景的应用市场

　　国金证券科技团队基于大模型技术搭建AI员工助手于2023年11月份全面上线，供公司所有员工使用，极大地提升员工工作效率。AI员工助手集成了多种大模型，支持同一个问题同时问多个大模型，从中择优选择答案。如图7所示，通过提示词工程，构建了不同办公场景的应用助手，包括：技术类、角色类、翻译类、文本类、文案类等，也支持用户根据需求进行个性化配置。

　　图8展示了AI员工助手2024年的使用次数统计，当前工作日的调用平均超过2000次。AI回答的问题以证券业务为主，通用问答，日常问答，科技类问题为辅。这将有助于培养公司内部的数字化思维和创新氛围。

　　如图9所示，通过对员工问题进行词云分析，可以看出在办公场景中大部分员工关注证券市场行情、合规风险、客户满意度等方面的信息，国金的员工已经在使用大模型提升工作中的信息和知识的萃取效率。

　　图10统计了最近一周员工助手问题不同类别，大部分员工更关注证券业务，其次分别是通用知识、日常闲聊、科学技术。

　　4.3 基于提示工程的文档撰写助手

　　利用具体的业务流程，优化提示词的文档撰写助手提供可灵活配置报告模板，根据不同的需求自动化生成定制报告。目前支持研报摘要、高客建议书、理财月报、员工日报和周报等自动撰写，显著提升员工工作效率和团队管理效能。

　　系统根据定制化模板自动生成标准报告，比如研报摘要、高客建议书、理财月报、员工日报、周报等，目前文档撰写助手已生成2.5万+份客户服务报告，预计节省4000万页报告的人工撰写成本。而且系统1分钟内就可生成人工需要2天的报告，显著提升员工办公效率。

　　4.4 基于提示工程和搜索引擎的产业链图谱智能挖掘

　　大模型产业链挖掘是国金证券首先在业内提出的大模型特色应用场景。国金证券研究所和科技团队充分合作，进行了大模型自动生成产业链图谱的初步尝试，可以根据最新舆情挖掘投资标的、产业链上下游、关联度等信息，从而快速认知市场。

　　大语言模型与搜索引擎相结合，通过分析、整合、萃取、推理新闻舆情中的标的与产业链的频率、频次、正负面及关联关系，非常适合用于智能化挖掘新型的产业链的上下游，并分析标的与产业链的关联度的标准化度量。通过构造以大语言模型为核心的智能体和产业分析提示工程，可以自动化完成产业链梳理和标的关联度分析。

　　针对较常见的产业链，还可以分析产业链的动态变化，从而分析板块的轮动、舆情对产业链的扩散影响。此外，对比较新的产业链，大模型掌握的相关知识较少，可以基于检索增强生成为产业链智能体配置搜索引擎。检索增强生成包含检索与生成两个步骤，1、寻找与该产业链最相关的已有产业链的信息，2、将新型产业链与已存在的产业链进行整合，基于最新的舆情信息推理分析出最新的产业链，从而推理出新型产业链的上下游以及标的关联度。

　　4.5 基于Agent的大模型量化投资助手

　　国金证券在大模型量化领域进行了分析和探索，通过利用大模型的数学推理和代码生成能力，能够实现因子代码的自动生成，并且策略代码生成的运行通过率较高，这在一定程度上可以降低量化客户的编写量化策略的门槛。

　　此外，通过使用大语言模型进行舆情情感分析，可以更全面地理解市场情绪和投资标的表现，从而在量化投资中能够做出更明智的决策。例如：近期国金证券利用大模型的舆情分析能力，对负面股票进行风险提醒，目前已经在影子账户荐股中得到了应用。大模型在量化投资中的应用为投资者提供了一种新的工具和视角，可帮助其更加科学地进行投资决策。

　　5 总结

　　AI是将数据变为信息和知识的关键途径，是数字化转型的最终形态。本文探讨了一种结合检索式问答生成模型（RAG）、提示工程和Agent技术的先进应用模式。这种综合性的技术路径旨在提高证券公司的业务效率，同时优化客户体验并更加精准地控制风险。国金证券作为该技术应用的先行者，不仅为证券行业内大模型的实际运用提供了一个范例，还突显了将行业特定知识与尖端技术相结合的重要性。这一实践案例为金融领域在大数据时代的转型和升级提供了宝贵的借鉴和启发，展示了金融科技在现代证券行业中的核心作用和广阔前景。

　　大型语言模型的发展之旅是持续不断、充满创新的过程。随着证券公司在数据治理方面的不断进步、数据安全技术的日益成熟，以及交易系统的技术兼容性持续提升，这些底层技术的发展势必推动大模型技术向前迈进，不断实现新的突破和优化。