在人工智能迅猛发展的今天，大语言模型（LLM）展现出了超凡的能力，但如何科学评估它们的 “心智” 特征，比如价值观、性格和社交智能，依旧是一个亟待解决的难题。近期，北京大学的宋国杰教授团队发布了一篇全面的综述论文，系统梳理了大语言模型心理测量学的研究进展，为 AI 的评估提供了新视角。
这篇论文名为《大语言模型心理测量学:评估、验证与增强的系统综述》，长达63页，引用了500篇相关文献。随着 LLM 能力的快速迭代，传统的评估方法已显不足。论文指出，当前评估面临多重挑战，包括 LLM 的心智特征超出传统评测范围、模型迭代快使静态基准失效、评估结果容易受微小变化影响等。为此，团队提出了将心理测量学引入 AI 评估的新思路。
心理测量学长期致力于量化复杂心理特质，通过科学设计的测试为教育、医疗和商业决策提供支持。研究者们发现，将其方法论应用于 LLM 的评估，将有助于深入理解和提升 AI 的心智能力。这一方法革新为 AI 评估开启了全新的视角，从而推动了 “LLM 心理测量学” 的交叉领域发展。
论文中提出了三大创新方向:一是采用 “构念导向” 的评估方法，深入挖掘影响模型表现的潜在变量;二是引入心理测量学的严谨方法，提升测试的科学性与可解释性;三是利用项目反应理论，动态校准测试项目难度，使得不同 AI 系统之间的比较更加科学和公平。
此外，研究还探讨了 LLM 表现出的类人心理构念，包括人格特质、能力构念等，强调了这些特质对模型行为的深远影响。通过结构化和非结构化的测试形式，团队为 LLM 的 “心智” 能力评估奠定了方法论基础，为未来 AI 的发展提供了有力的理论支持。
论文地址：https://arxiv.org/pdf/2505.08245
