人工智能（AI）在企业中的应用日益广泛，但其固有的“幻觉”风险——即生成不真实或无根据的信息——一直是阻碍大规模部署的关键挑战。尽管行业内涌现了众多旨在减少幻觉的技术和方法，如检索增强生成(RAG)、数据质量提升、护栏机制以及推理验证等，但效果往往有限。近日，一家名为Vectara的公司推出了一种全新的解决方案:“Vectara 幻觉矫正器”，旨在通过监护代理自动识别、解释和纠正AI产生的幻觉，为企业级AI应用带来新的希望。
Vectara 最初是 RAG 技术的早期倡导者。RAG 通过从提供的内容中提取信息来减少幻觉，但并非万无一失。与现有方案侧重于检测或预防不同，Vectara 的监护代理采取了主动纠正的策略。这种守护代理本质上是监控 AI 工作流程并实施保护措施的软件组件，它以代理式 AI 的方式应用纠正，在保留整体内容的同时进行精准修改，并提供详细的修改原因解释。Vectara 声称，该系统已成功将小型语言模型（参数小于70亿）的幻觉率降低到1% 以下。
Vectara 首席产品官 Eva Nahari 强调，随着企业更多地采用代理式工作流程，幻觉带来的负面影响将成倍放大，这正是他们推出守护代理的原因，旨在构建更值得信赖的企业级 AI。
为了进一步推动幻觉矫正技术的发展，Vectara 还发布了一个名为 HCMBench 的开源评估工具包。该基准提供了一个标准化的方法来评估不同幻觉矫正模型的效果，支持多种评估指标，旨在帮助整个社区评估幻觉矫正声明的准确性，包括 Vectara 自身的方案。
Vectara 的创新方法为企业应对 AI 幻觉风险提供了一个新的思路。相较于仅仅检测或在高风险场景中放弃使用 AI，企业现在可以考虑部署能够主动纠正错误的方案。这种方法尤其适用于对准确性要求极高的高价值工作流程。当然，企业在引入此类自动纠正机制的同时，仍应考虑保留一定的人工监督能力，并利用 HCMBench 等基准工具进行充分评估。随着幻觉矫正技术的不断成熟，企业有望在更多以前受限的领域安全地部署 AI，同时确保关键业务运营所需的准确性。
