本文深入研究了 LLM 在上下文两跳推理中面对干扰时的困境，揭示-20250221060012

本文深入研究了 LLM 在上下文两跳推理中面对干扰时的困境，揭示了模型从低效的随机猜测机制到高效的顺序查询机制的演变过程，并验证了这种机制在大型 LLM 中的泛化能力，强调了理解深度学习模型训练动态和机制可解释性的重要性，其中最反直觉的发现是，即使面对简单的推理任务，LLMs 在干扰下也容易退化为随机猜测，而通过微调可以有效引导模型学习更有效的推理策略。