Epi2Diff uses large model reasoning traces to quantify question difficulty, achieving 73.0% classification accuracy on SAT Math
English text is being prepared.
A team from Virginia Tech, the University of Maryland, MBZUAI, and the University of Pittsburgh proposed Epi2Diff, which splits large model reasoning traces into eight types of cognitive segments and extracts 83-dimensional process features, combining them with question semantics to predict human response difficulty. On four datasets—SAT Math, SAT Reading and Writing, Cambridge, and USMLE—the method ranked first on all metrics in a single main experiment, achieving 73.0% difficulty classification accuracy on SAT Math, 3.2 percentage points higher than the strongest baseline. The paper has been accepted by TMLR and can be used for pre-assessment of new question difficulty and to assist human question review.
Body
一道试题对人来说有多难，能否从大模型的解题过程中找到线索？
来自弗吉尼亚理工大学、马里兰大学、MBZUAI与匹兹堡大学的研究团队提出Epi2Diff：将大模型生成的推理轨迹拆分为“认知片段”，结合题目内容预测人类作答难度。
在SAT数学、SAT阅读与写作、Cambridge和USMLE四个真实测评数据集上，Epi2Diff在单次主实验的各项指标中均排名第一。其中，SAT数学难度分类准确率达到73.0%，比最强基线高3.2个百分点。
相关论文已被机器学习期刊Transactions on Machine Learning Research（TMLR）接收。
研究背景：题目语义之外，还有解题过程
判断新题难度是组卷和题库建设的基础工作。传统教育测量依赖考生作答数据标定，可靠但预试成本较高；仅分析题干语义，又难以判断解题过程究竟在哪里费力。
Epi2Diff将观察窗口延伸到解题过程：模型推演了多长时间、更多是在分析还是执行、是否反复切换策略？这些可统计的行为为难度预测提供了新的过程信号。
△
需要强调，研究要预测的是人类题目难度。模型轨迹是可规模化获取的代理证据，最终仍由已有的人类难度标签进行监督，并非直接测量人类认知。
方法设计：把推理轨迹变成结构化特征
八类认知片段：模型在做什么？
一段推理往往包含理解题意、制定策略、执行计算和检查答案等不同活动。研究借鉴Schoenfeld的解题片段理论和ThinkARM扩展，将轨迹逐句归为八类：阅读、分析、计划、执行、探索、验证、监控和作答。
这些“片段”是句子功能标签，而非固定的八步解题流程。基于RoBERTa的分类器在ThinkARM的7067句人工标注数学推理测试集上达到79.9%准确率、0.761宏平均F1；目标领域补充标注评估的准确率为62.9%—74.2%，表明跨领域自动分类仍有误差。
83维过程特征：模型如何解题？
Epi2Diff进一步从轨迹中提取83维特征：3项长度统计、8类片段的词元数、8类片段的词元占比，以及64种相邻片段转移次数，分别刻画“投入多少”“投入在哪里”和“过程如何展开”。
例如，两条轨迹长度相近、分析与执行占比相似，但一条先集中分析再连续执行，另一条在分析与执行间频繁切换。转移特征保留了这类顺序差异。
△
实验通过QwQ-32B和Qwen3-32B，在直接作答及标为“弱、中、强”的提示条件下生成轨迹，再对特征取平均。这些提示用于诱导不同解题路径，不代表已验证的学生能力等级。
最后，将过程特征与Sentence-BERT得到的题目语义向量拼接，通过监督模型预测难度。四个数据集经验证集选择后，最终均使用XGBoost作为预测器。
实验结果：四类真实测评任务
分类与回归表现
评估包含1075道SAT数学题、1338道SAT阅读与写作题、793道Cambridge英语阅读题和667道USMLE医学题。两项SAT任务预测“简单、中等、困难”三类；另两项预测连续难度值。基线覆盖BERT等小模型微调、LLM零/少样本提示，以及全参数和LoRA微调。
△
SAT数学准确率由最强基线的69.8%提高至73.0%，宏平均F1由0.705提高至0.728。SAT阅读与写作的提升较小：准确率由62.3%升至63.1%，宏平均F1由0.622升至0.626。
回归任务中，Cambridge的RMSE从8.200降至7.612，USMLE从0.298降至0.291；相应R²分别从0.299升至0.396、从0.076升至0.121。
重复实验与结果边界
补充的五次运行中，两项SAT任务的平均准确率和宏平均F1仍以Epi2Diff最高。但阅读与写作任务的领先幅度小于运行间波动，优势应谨慎解读。重复实验固定了轨迹与片段特征，仅改变下游预测器的随机种子。
消融分析：不是推理越长，题目就越难
SAT数学消融结果表明，性能提升不只来自轨迹长度。仅用题目语义时，宏平均F1为0.607；加入长度特征后为0.671；使用完整表示达到0.728。即使保留其他特征，去掉片段转移信息后也会降至0.676。
△
进一步的顺序打乱实验保留轨迹长度和片段频率，仅改变中间推理句子及标签的排列。原始顺序效果更好，支持局部转换顺序具有预测信息。
在SAT数学中，较难题目还伴随更多中间推演、更高的执行投入，以及更明显的“分析→执行”“执行→执行”“执行→分析”转移信号。不过，这些模式在其他领域复现有限，属于过程关联，不能视为人类认知的直接观测或因果证明。
应用价值：为题库建设提供可解释线索
Epi2Diff尝试把“题目如何被解答”转化为可比较的特征，为新题的难度预评估和人工审题提供辅助线索。实际使用仍需带标签的数据训练、目标人群验证及专家复核。其价值不是取代教育测量，而是为题目难度判断增加一组来自推理过程的证据。
本文来自微信公众号“量子位”，作者：Epi2Diff团队，36氪经授权发布。