AI大模型训练过程中，是将海量数据高度压缩抽象，输入的是内容之间关系的数学表征，而不是内容本身。AI与人类对话时，模型基于统计概率生成文本，追求流畅性而非真实性，很容易编出看似流畅但完全不符合事实的内容。AI幻觉也有好的一面。AI自主生成内容是大语言模型的突出特点，是最具想象力的技术突破。作为大模型与生俱来的特点，AI幻觉决定了大模型的创造力，对实现通用人工智能（AGI）非常重要，并可在科研、文艺等领域发挥作用。
游戏（游戏行业分析报告）开发、动漫设计、小说创作等领域欢迎奇思妙想，AI幻觉可以突破思维定式，为创作提供灵感。再如，科学研究中往往也需要非常规思路来破局闯关，AI不走寻常路的创造力，可以推动科研工作出现“AI幻觉—实验验证—理论重构”的新范式。一方面，AI幻觉产生大量虚假信息，这些虚假信息被新一代AI系统学习，就会形成“数据污染—算法吸收—再污染”的恶性循环。另一方面，在企业生产、医疗、法律等容错率很低的领域，AI幻觉可是“要命”的大毛病。因此，我们要从技术研发和管理机制上双管齐下，防范AI幻觉信息的泛滥。
技术层面，检索增强生成（RAG）技术、多模型交叉验证、动态知识更新机制等，都已被证明是减少AI幻觉的有效手段。未来，还需要继续提升训练数据质量与清洗标准，严格检测数据的来源和真实性，减少噪声干扰；引入强化学习与人类反馈机制，提升AI逻辑推理能力；增强AI大模型检测能力，用AI监管AI。
用户层面，对AI输出的答案不要直接采信，可以用多个AI模型分别生成答案再交叉验证、对照取优，对关键任务输出更有必要采取人工交叉验证，结合文献数据库、行业知识图谱等专业工具作出判断。“标注AI生成内容”已成为我国监管部门推动的方向，这体现了对生成式人工智能的透明度要求，将提高AI生成内容的可追溯性和可解释性。未来，我们还应加快人工智能法立法进程，建立全周期全链条监管体系。