提高 LLM 数学能力的新要领来了 ——巨屌 自慰

一个大模子不成，那就两个。让他们相互息争，更正对方的不实。

这便是来自加州大学和微软探究院的最新探究恶果：Flow-DPO。通过使用在线学习流（Flow）和获胜偏好优化（DPO， Direct Preference Optimization），不错让 LLM 生成愈加详备和精准的推理轨迹。

同期，这种在线多智能体（Agent）的学习模式还能挖掘数据中的深层信息，有用幸免了东谈主类标注数据不够准确的问题。

咱们先沿路看个例子感受一下。

比如针对底下这谈题：

方程 x + 2y + 3 = 0 的图与方程 ax + 2y + 3 = 0 的图相互垂直。求教 ax + 2y + 3 = 0 中，a 的值是几许？

基准答谢是这么的：

方程 x + 2y + 3 = 0 的图形的斜率为 -1/2，因为图形垂直，是以 ax + 2y + 3 = 0 的图形的斜率必须是 x + 2y + 3 = 0 的负倒数。因此，方程 ax + 2y + 3 = 0 的斜率为 2，改写为 2y = -ax - 3，然后双方除以 2，获取 y = -a / 2x-3/2。将此与斜率截距模式 y = mx + b 比较，咱们发现斜率 m 为 -a / 2。由于咱们知谈斜率为 2，是以 - a / 2= 2。将双方乘以 -2，获取 a = -4，谜底为：-4。

而 Flow-DPO 的答谢是这么的：

要处分这个问题，咱们需要了解线性方程中垂直线的意见。当两条直线垂直时，它们的斜率互为负倒数。让咱们以斜率-截距模式复述给定方程 x + 2y + 3 = O，即 y = -1/2x - 3/2。这告诉咱们直线的斜率是 - 1/2。当今，咱们需要找出方程 ax + 2y + 3 = 0 所示意的直线的斜率。咱们不错将方程改写成斜率-截距模式，即 y = -a / 2x - 3/2。这告诉咱们这条直线的斜率是-a / 2。由于两条直线垂直，因此它们的斜率互为负倒数。这意味着 -1/2 * (-a / 2) = 1，简化为 a = -4。因此，a 的值为 -4。

让 GTP-4o 当裁判，针对两个模子的答谢分析了一下，它以为谜底 B（FLow-DPO）更好，原因有两点：

1.意见解说

谜底 A 的答谢是：“咱们不错应用斜率之间的负倒数筹商来求解 a”。谜底 B 花时辰明确解说了垂直的意见，强调垂直线的斜率是负倒数。这种答谢更有锻真金不怕火兴趣，不错让读者领略数学背后的推理。

三级片在线播放2.解题想路显著

谜底 A 推导出了正确的方程并正确地求解了方程，但引入了一些无谓要的法子。

举例，中间法子触及将方程改写为 2y = -ax - 3 和双方除以 2 的中间法子比必要的法子复杂。

谜底 B 立即使用两个方程的斜截距模式简化了要领。它有用地解说了如何索求斜率，并获胜比较了两个等式的斜率，经过更获胜，更容易领略。

论断

谜底 B 的解说更显著、更透顶，既戒备意见和公式，又幸免了无谓要的复杂性，这种挨次渐进的要领更易于领略和掌抓。

不错看到，在处分信得过数常识题的时候巨屌 自慰，Flow-DPO 生成的推理经过不仅有更详备的率领，还幸免了无谓要的复杂性，增强了可读性和领略性。

这是怎样作念到的呢？

两个大模子相互息争

针对 LLM 处分数常识题时反馈信息有限、标注数据质地不高档问题，团队建议了一种新的要领。

那便是通过在线学习流（Flow）和获胜偏好优化（DPO）学习来生成高质地的推理轨迹。

具体分为 2 个部分：

1.增量输出身成 Flow（Incremental Output Production Flow）

Flow-DPO 接纳了增量输出身成 Flow，其中有两个零丁的 LLM（Answer LLM 和 Stop LLM）协同责任，通过迭代通讯构建处分决策。

具体来说，Answer LLM 一次会生成一个有限的谜底块，而 Stop LLM 则判断部分谜底是否达到最终气象，两个 LLM 通过迭代式学习不断跨越。

Answer LLM 和 Stop LLM 的底层皆是相易的基础模子，但它们使用不同的 LoRA 适配器进行了微调，不错有益完成各自的任务。

何况在锻真金不怕火经过中，Flow-DPO 可杀青更高超的摒弃较小的块大小，天真相宜不同的意见和要领，较大的块大小类似于单次模子生成。

2.在线 Flow 学习与回滚（Online Flow Learning with Rollouts）

Flow-DPO 还和会过在线 DPO 学习和回滚来增强 Flow。

关于每个输入问题，Answer LLM 会生成一个谜底片断，一直不断到产生完好的答谢。

然后模子会在每个输出节点进行就地张开，比如在生成运转谜底片断且 Stop LLM 判断为“否”后，Flow 还会生成另一个谜底片断，基于之前的部分谜底链接构建。

若是两个谜底在正确性上不同，就把它们行动谜底谈话模子的 DPO 对，训导到正确谜底的阿谁片断被选为首选反映。

显赫提高 LLM 数学推理能力显赫提高

为了考证 Flow-DPO 的性能，探究团队还打算了精密的考证现实，具体缔造如下

数据集：现实使用了 MetaMath 数据集，该数据集基于于 GSM8K 和 MATH 数据集，并通过数据增强时刻进行了增强。

模子聘请：现实接纳了两种不同边界的模子：Llama-3-8B-Instruct 和 Phi-3-medium-128k-instruct (14B)

Flow 学习阶段：在 Flow 学习阶段，团队使用不同的 LoRA 适配器对 Answer LLM 和 Stop LLM 进行微调，让它们在 DPO 锻真金不怕火中的能力愈加专科。

编译阶段：在编译阶段，积存 Flow 生成的正确推理轨迹和基线模子生成的正确推理轨迹，进行零丁评估。

最终遣散显现，使用了 Flow-DPO 之后，Llama3 模子和 Phi3 在数学推理上的能力皆大幅提高了！

沿路来望望具体遣散分析：

1.渐进考证准确率（Progressive Validation Accuracy）

渐进考证准确率的准确界说，是模子在锻真金不怕火前对输入锻真金不怕火数据的累积准确度，公式和变量含义如下图所示：

现实遣散显现，在线 DPO 锻真金不怕火显赫提高了 Flow 的泛化能力。

关于 Llama-3-8B-Instruc 模子，在线 DPO 学习在仅 2000 个锻真金不怕火实例内将 Flow 的性能提高了 20%。关于 Phi-3-medium-128k-instruct 模子，在线 DPO 学习使其准确率提高了 4 个百分点，达到了 83%.

2.推理轨迹质地

Flow 生成的推理轨迹在质地上也优于基线和模子生成的正确推理轨迹。

关于 Llama-3-8B-Instruct 模子，Flow 生成的推理轨迹在 GSM8K 和 MATH 数据集上的微调准确率分离提高了 6% 和 7.8%。

关于 Phi-3-medium-128k-instruct 模子，Flow 生成的推理轨迹在两个数据集上的微调准确率分离提高了 1.9% 和 2.1%.

除了刚脱手的垂直直线问题，探究团队还放出了许多信得过的解题答谢和对比，感风趣的一又友不错检察论文的更多有关信息。

没猜测，不久前还让 LLM 格外头疼的数常识题当今也跨越赶快！

有了优秀的逻辑分析能力，咱们也能期待 LLM 将来能处分更多复杂的问题了。

参考连合：

[1]https://arxiv.org/abs/2410.22304

告白声明：文内含有的对外跳转连合（包括不限于超连合、二维码、口令等模式），用于传递更多信息，从简甄选时辰巨屌 自慰，遣散仅供参考，IT之家总共著述均包含本声明。

• AI
• 巨屌 自慰
• 微软
• 两个
• 相互