论文

一刀切:LLM 投资建议中的启发式崩溃

One Size Fits None: Heuristic Collapse in LLM Investment Advice

模型评测模型行为与机制分析

摘要

大语言模型 越来越多地被部署为高风险领域的顾问——回答医疗问题、解释法律文件、推荐金融产品——在这些领域,好的建议需要整合用户的完整背景,而不是响应显着的表面特征。我们研究前沿 LLM 是否真的做到了这一点,或者它们是否表现出启发式崩溃:系统地将复杂的多因素决策减少到少量的主导输入。我们研究投资建议中的这一现象,其中法律标准明确要求根据客户的全部情况进行个性化推理。将可解释的替代模型应用于 LLM 输出,我们发现系统启发式崩溃:投资分配决策很大程度上取决于自我报告的风险承受能力,而其他相关因素的贡献很小。我们进一步发现网络搜索部分减弱了启发式崩溃,但没有解决它。这些发现表明,启发式崩溃不能仅通过网络搜索增强或模型规模来解决,并且将 LLM 部署为顾问需要审核输入敏感性,而不仅仅是输出质量。