用代码练习年夜模子思考，其余方面的推理才能也能晋升。DeepSeek 团队最新研讨，应用 300 多万个实例，将代码转换成思考进程，构建出数据集 CODEI/O，对 Qwen、Llama 等模子停止了练习。成果，在种种范例的推理义务傍边，模子机能都获得了片面晋升，包含在非代码类的推理义务上，也展示出了精良的迁徙才能。研讨团队以为，在代码傍边暗含了差别范例场景的思考进程，于是想要把这种思考进程“提取”出来练习推理模子。他们天生了大批的练习数据运转这些代码，而后把代码、输入 / 输出对以及功效描写输入 DeepSeek-V2.5，从而分解天然言语情势的推理进程。在此基本上，团队还引入了验证跟订正机制，构成了更高品质的 CODEI/O++。从代码中构建头脑链起首，作者从 CodeMix、PyEdu-R 等数据会合网络了 80 多万份代码文件，涵盖多种编程言语（以 Python 为主），义务范例多样，而且包含了丰盛的推理形式。然而，因为原始代码文件平日缺少构造化，包括不相干的元素，难以以自包括的方法履行，作者应用 DeepSeek-V2.5 模子对其停止预处置，将其转换为同一的格局。转换进程中的任务重要包含把中心逻辑功效提取到函数中，增加总结团体逻辑的主进口函数，明白界说主进口函数的输入 / 输出，创立自力的基于规矩的输入天生器函数，以及基于主进口函数天生扼要的成绩陈说作为查问等等。接上去，在转换后的每个函数上，应用输入天生器采样多个输入，并经由过程履行代码取得响应的输出，从而网络输入-输出对。这一进程中，局部代码呈现了超时、庞杂渡过高、弗成履行或成果不断定等情形，这局部代码被作者跳过，终极生下了 40 多万份代码文档，发生了 350 万个样本实例。而后，作者应用 DeepSeek-V2.5，将代码、输入输出对、功效描写等信息分解为天然言语头脑链（CoT），构建练习样本。对每一个输入-输出对，作者起首构建一个输入提醒。这个提醒由多少个局部拼装而成：函数界说：即之前构造化跟尺度化后的 Python 函数代码。文本描写：用天然言语归纳综合函数的功效跟目标。参考代码：与函数界说相似，但可能包括一些额定的高低文信息或解释。输入或输出：依据是输入猜测仍是输出猜测义务，提醒中会包括详细的输入或冀望的输出。将构建好的提醒输入给 DeepSeek-V2.5 模子，模子会依据提醒天生一段天然言语文本作为呼应。这段文本就是作者想要的推理进程 —— 它须要说明怎样从给定的输入推导出输出，或许在给定输出的情形下怎样结构出满意前提的输入。经由过程这种方法网络的数据集，就是 CODEI/O。在 CODEI/O 的基本上，作者进一步应用了代码的可履行特征，分解了数据品质更高的 CODEI/O++。作者起首对 CODEI/O 中天生的全部呼应经由过程从新履行代码停止准确性验证。对验证为不准确的呼应，作者将履行反应追加为第二轮输入信息，并请求模子从新天生一个呼应。履行反应包含输出猜测的正误、输入猜测基于过错输入的履行输出，以及代码履行掉败的过错信息等。在第二轮天生后，再次检讨新呼应的准确性。无论第二轮成果怎样，终极的呼应都由四个局部按次序形成：第一轮呼应、第一轮反应、第二轮呼应跟第二轮反应。对第一轮就准确的呼应，第一轮反应简略标志为“Success”，且不第二轮内容。与 CODEI/O 一样，全部订正后的呼应都市被保存。经由过程引入基于履行反应的多轮修改所构建的加强型数据集就是 CODEI/O++。数据集构建实现后，作者采取了两阶段练习战略对相干模子停止练习。第一阶段先用 CODEI/O 或 CODEI/O++ 来练习推理才能，而后再用通用指令数据集停止微调，教会模子遵守天然言语指令、履行种种义务。模子推理才能片面晋升为了评价 CODEI/O 或 CODEI/O++ 的后果，作者一共找来了四个模子来停止测试，分辨是 Qwen 2.5-7B-Coder、Deepseek v2-Lite-Coder、Llama 3.1-8B 跟 Gemma 2-27B。测试进程中，作者共选用了 10 余个数据集，测试了模子知识、数学、代码、物理、工程等范畴的表示，详细数据集如下表：CODEI/O 练习之后，Qwen-Coder 在代码懂得义务上获得了冲破性停顿，而且在浏览懂得跟推理义务（如 DROP）上也有显明晋升，这标明经由过程代码练习取得的推理才能确切迁徙到了其余范畴。DeepSeek-Coder 在 CODEI/O 的练习下也展示出了平衡的提高，在各个维度上都实现了稳固的改良。Qwen-Coder 跟 DeepSeek-Coder 的表示阐明，即便是曾经在代码范畴有专门练习的模子，也能从这种构造化的推理练习中获益。Llama 在 LeetCode-O 上的机能晋升了快要 150%，阐明即便是参数目较小的模子，经由过程适合的练习方式也能在特定义务上取得较年夜晋升。而 Gemma 作为测试中最年夜的模子，展现了 CODEI/O 方式在年夜范围模子上的实用性，在多个要害范畴获得了提高。比拟于数据量更年夜的 WebInstruct（WI），CODEI/O 团体上获得了更好的后果；而绝对于专门为某种义务计划的 OpenMathInstruct2（OMI2）、PyEdu 等方法，CODEI/O 表现了更强的通用性。作者简介本文第一作者是来自上海交年夜的硕士生 Junlong Li，现在在 DeepSeek 练习。同时他还在喷鼻港科技年夜学助理教学何俊贤的领导下停止研讨任务，何俊贤亦是本文的通信作者。别的参加了 DeepSeek V2、V3 以及 R1 研发的 DeepSeek 中心研讨员、中山年夜黉舍友郭达雅也参加了这一名目。论文地点：https://arxiv.org/abs/2502.07316GitHub：https://github.com/hkust-nlp/CodeIO数据集：https://huggingface.co/datasets/hkust-nlp/CodeIO-PyEdu-Reasoning本文来自微信大众号：量子位（ID：QbitAI），作者：克雷西