作者简介
王鸿鹭
博士，资本市场研究中心兼职研究员，EE中心课程经理
陈欣
滴水湖高级金融学院教授、资本市场研究中心主任
本文刊载于《文汇报》
SUFE-DAFI
随着生成式人工智能的迅猛发展与广泛应用，人工智能幻觉现象已成为制约行业健康发展的关键问题。所谓人工智能幻觉，是指人工智能系统生成的内容表面上看似合理可信，但实际上并不符合客观事实或完全是虚构的信息，例如不存在的学术文献或虚构专家观点。研究显示，在专业引用任务中有超30%的虚假率；图像生成领域则表现为物理规则的违背与细节失真；语音技术中则存在“幻听”与“幻音”现象，尤其在噪声环境与低频词汇场景下更为明显。
01
深层次问题
上述现象不仅挑战了人工智能应用的基础可信度，还引发了一系列技术、社会与伦理层面的深层次问题。从技术层面看，AI系统缺乏有效的事实核验机制使错误信息频繁生成，可能导致模型生态系统逐渐偏离真实世界的数据分布，最终陷入性能退化甚至崩溃的危险境地；现有模型架构在处理抽象概念与逻辑推理方面的局限，也使幻觉问题的彻底解决变得异常复杂。社会层面上，AI幻觉内容的泛滥正引发信息生态的信任危机，公众在频繁接触虚假信息后可能形成“信息疲劳”，放弃对真相的追求；同时，算法个性化机制与AI幻觉的结合加剧了“认知茧房”与社会极化，不同群体间的共识空间逐渐萎缩；AI生成内容的便捷性还威胁着创作者群体的生存，可能导致创意生态的整体衰退。法律伦理维度上，AI幻觉带来的责任归属困境、透明度与告知义务缺失、“智力外包”风险以及数字鸿沟加剧等问题，都使现有法律框架与伦理体系面临严峻考验。
02
技术根源
从技术根源看，这些幻觉现象主要源于四个方面：一是模型训练目标的固有局限，大模型通常过度注重文本流畅性而非事实准确性，导致在不确定情况下“编造”看似合理的内容；二是训练数据的质量缺陷与覆盖边界，互联网上的错误信息被纳入训练数据，加之知识范围有限，使模型在专业领域或新事件面前容易生成幻觉；三是模型结构与推理机制的局限，现有模型尚未真正掌握逻辑推理与事实核验能力，无法区分“熟悉模式”与“确认事实”的本质差异；四是合成数据的反馈闭环效应，AI生成的含幻觉内容重新成为训练数据，使错误在迭代中被不断放大，最终可能导致整个AI生态系统的知识基础偏离真实世界，形成“模型崩溃”的长期风险。
03
治理之道
要从根本上减轻AI幻觉问题的技术影响，需要在模型设计、数据治理等多个环节进行深度优化。首先，必须重新思考AI系统的训练目标，从单纯追求流畅性与自然度，转向平衡事实准确性与表达能力的综合优化。这要求开发新型的训练框架与评估指标，将事实核验能力纳入模型评价体系，激励技术社区开发更加注重事实准确性的模型架构。
知识检索增强生成（Retrieval-Augmented Generation,RAG）技术正成为解决幻觉问题的重要途径。RAG通过将大语言模型与外部知识库动态连接，使模型在生成内容时能实时检索与核验相关事实，大幅降低“凭空编造”的风险。更先进的实现还采用多层次的知识整合机制，先检索粗粒度信息确定大方向，再精确查找具体事实，进一步提升事实核验的准确性与效率。
加强数据质量治理。一方面，需要建立更精细的数据筛选与净化机制，减少训练数据中的错误信息；另一方面，应开发高效的合成数据识别技术，如数字水印或统计特征分析，防止AI生成内容被无差别纳入训练集，切断“合成数据反馈”的循环链条。实践表明，即使简单的数据清洗策略也能显著降低模型幻觉率，而更复杂的数据治理体系则可能从根本上改变模型的事实感知能力。
发展可解释AI（Explainable AI），通过使模型能够明确表达其回答的确信度并解释推理过程，用户可以更准确地判断输出的可靠性，避免盲目接受存在风险的内容。具体实现可包括在模型输出中附加可信度分值、明确引用来源，或通过可视化技术展示模型的推理路径，帮助用户理解模型的决策依据与潜在局限。
此外，自我校正与主动学习机制也应得到加强。先进的AI系统应具备识别自身知识边界的能力，在面对不确定信息时主动承认局限或寻求额外验证，而非武断给出可能错误的回答。这种“认知元能力”需要通过特殊的训练范式与模型结构设计来实现，使AI能够对自身的回答进行再次评估与必要的修正。
发布 | 文玲玲
