通义实验室与北大联合推出新技术ZeroSearch 实现LLM检索能力的激活及成本降低88%

最近,通义实验室和北京大学的研究团队推出了一项名为 ZeroSearch 的创新框架,这一新技术可以在不需要真实搜索的情况下,激活大语言模型的检索能力,并且训练成本降低了惊人的88%。这一突破为大语言模型的训练和应用提供了全新的思路。

传统的训练方法通常依赖于真实的搜索引擎来获取信息,这不仅造成了高昂的 API 调用成本,还可能因搜索结果的质量不稳定而影响模型的表现。ZeroSearch 巧妙地通过引入大语言模型作为 “模拟搜索引擎”,利用其在预训练过程中积累的丰富知识来生成检索文档,从而避免了真实搜索带来的成本和噪声干扰。

image.png

论文地址:https://arxiv.org/pdf/2505.04588

代码地址:https://github.com/Alibaba-NLP/ZeroSearch

项目主页:https://alibaba-nlp.github.io/ZeroSearch

Huggingface 主页:https://huggingface.co/collections/sunhaonlp/zerosearch-v2-6827f4ee6b6265069d443d4e

该框架采用了一种结构化的训练模板,使得模型在每次交互中都能有条理地思考并进行操作。这种方法不仅提升了模型的推理路径清晰度,还使得最终答案的提取变得更加简便。此外,ZeroSearch 还通过一种名为 “模拟微调” 的策略来提升生成文档的质量,确保输出内容的实用性和可靠性。

image.png

在实验中,ZeroSearch 的表现显著优于依赖真实搜索引擎的传统方法,展现出强大的泛化能力和稳定性。随着模型参数量的增加,其性能还在不断提升。这一研究不仅推动了大语言模型的技术进步,也为未来的智能搜索和信息检索应用打开了新的可能性。

综上所述,ZeroSearch 为大语言模型的训练带来了革命性的变化,凭借其低成本和高效能,预示着智能信息检索的未来。

猜你喜欢

如何成功通过《剑与远征》中的森林大冒险关卡和挑战技巧分享
如何成功通过《剑与远征》中的森林大冒险关卡和挑战技巧分享

森林大冒险是剑与远征中新上线的一个活动,这是一个限时活动,活动是限时开放的,玩家可以参与活动有机会可以获得不少的奖励,

寂静岭2:重制版南谷东区新手玩家必看避坑指南与高效通关全攻略
寂静岭2:重制版南谷东区新手玩家必看避坑指南与高效通关全攻略

寂静岭2:重制版南谷东区新手避坑与高效通关教程

全民奇迹2真假故事隐藏任务完成技巧及攻略详解
全民奇迹2真假故事隐藏任务完成技巧及攻略详解

在全民奇迹2中有很多的任务玩法,其中一部分任务是隐藏任务,真假故事就是其中一个隐藏任务,想知道这个隐藏任务完成方法的就来

星露谷物语提升马匹移动速度的有效技巧与快速方法分享
星露谷物语提升马匹移动速度的有效技巧与快速方法分享

星露谷物语如何快速提升马匹移动速度

梦幻新诛仙孔雀姬如何打书及推荐孔雀姬打书攻略和书籍选择
梦幻新诛仙孔雀姬如何打书及推荐孔雀姬打书攻略和书籍选择

在梦幻新诛仙中有不少的灵宠,孔雀姬就是其中之一,也是游戏中非常强势的宝宝,那么孔雀姬打书什么比较好?想知道的就来本站了

《月神的迷宫》中白银卿角色的强弱分析及其在游戏中的实用性探讨
《月神的迷宫》中白银卿角色的强弱分析及其在游戏中的实用性探讨

在月神的迷宫中有非常多的角色,白银卿就是其中一个角色,这个角色定位是奶妈,那么白银卿要不要培养?下面就来看看吧!月神的

风暴之城空地利用规划与资源有效配置策略指南
风暴之城空地利用规划与资源有效配置策略指南

风暴之城空地开发策略与资源管理指南

豪杰成长计划中实现自立为王的条件和达成方法是什么
豪杰成长计划中实现自立为王的条件和达成方法是什么

在豪杰成长计划中有很多的玩法,其中一个就是自立为王,玩家可以自立为王,但是需要满足一定的条件,下面就来看看吧!豪杰成长

星空恶魔任务的全面收集技巧与成就达成指南
星空恶魔任务的全面收集技巧与成就达成指南

星空恶魔任务全收集与成就达成攻略

梦幻西游手游中的猫毛礼物详解及其在游戏中的多种用途汇总
梦幻西游手游中的猫毛礼物详解及其在游戏中的多种用途汇总

在梦幻西游手游中饲养猫猫可以获得一些猫毛,据说还可以做成可爱的礼物送给朋友,那么猫毛怎么获得?猫毛有什么用?下面小编就给