随着大语言模型技术的迅猛发展，这类模型在自然语言处理、医疗、心理健康、生物信息学等领域的应用日益广泛。随着智能水平的提升，如何科学系统地评估大语言模型的能力与“心智”特征，成为人工智能领域亟需突破的重要课题。传统评估方法多聚焦于模型的表层表现，如语言理解或推理准确度，但这些标准已难以全面反映模型模拟人类心理与认知的深层特质。近期，北京大学宋国杰教授团队发布了一篇开创性综述，首次从心理测量学视角系统梳理和构建了评估大语言模型的心理特征框架，为该领域注入了新的理论与技术动力。
宋国杰教授团队的63页综述论文系统汇总了国内外超过500篇文献，深入探讨如何评估大语言模型的心理特征，包括价值观、性格、社交智能等多个维度。在以往，评测主要关注模型在具体任务上的表现，如语法纠错或文本生成质量，但随着模型愈发接近人类认知与行为，单一任务指标难以整体体现其内在“心智”状态。为了提升评测的科学性和可靠性，论文借鉴心理测量学中的项目反应理论，实现了测试工具的动态校准与智能权重调整，能够自动生成不同难度等级的测试题目，甚至分析AI与人类反应分布的一致性。这一方法不仅为技术评估铺平了道路，更在AI伦理、安全以及人机交互领域提供了坚实基础，体现出跨学科整合的潜力。
评估方法的多维化以及应用场景的拓展，是当前研究的另一大亮点。除了心理测量学，北京大学及其他机构积极引入行为科学的理念，设计涵盖关键决策环境中的行为特征评估框架，力求从行为表现全方位评价AI系统。例如，北大王亦洲教授团队从“心智理论”（Theory of Mind）角度出发，研究大语言模型模拟人类心理过程的能力与不足，揭示了模型在认知模拟领域的内在潜力。此外，评估范围已远超语言本体，拓展至生物信息学等交叉学科领域，在基因组学、蛋白质结构预测和药物发现等专业场景下对模型的表现提出了更高要求。动态权重评估与多模态基础模型的结合（如视觉与文本融合）极大丰富了评测维度，为模型能力和鲁棒性的测量提供了更灵活、精准的工具。
尽管取得诸多进展，大语言模型的评测体系依然面临诸多挑战。模型参数规模空前庞大，能力复杂多变，传统固定任务与指标难以捕捉模型细微差别及潜在风险。同时，人工评测成本高昂且标准化难度大，自动化评测工具在一致性、鲁棒性和可复现性上的能力亟待提升。为应对这些问题，北大团队已推出开放评测平台PKU-Beaver，致力于基于约束价值对齐的安全评估，应对跨文化和多价值人群的需求；上海人工智能实验室联合多所高校推出的因果推理开放评测体系CaLM，则为认知水平较高的因果能力测评提供了新范式。未来的趋势是将心理测量学、行为科学、因果推理以及动态适应等理念和技术深度融合，打造覆盖多层面、多维度的评测体系，同时加强隐私保护和安全风险评估，确保大语言模型应用的社会责任性与伦理合规。
综上所述，随着大语言模型在智能化水平和应用广度上的不断突破，传统评估体系的局限日益显现。北京大学宋国杰教授团队关于心理测量学的系统综述提供了科学评估模型“心智”特征的重要理论指导和方法创新。结合动态权重调整、多模态融合及因果推理测评，未来的人工智能评测将日趋精准、全面和智能化。构建兼具科学严谨性与实用性的评测标准，对于推动人工智能技术的安全可信发展具有深远意义，也将助力AI更真实、更有效地服务于社会的各个领域。
发表评论