而随着 RL 训练的持续推进，DeepSeek-R1-Zero 的性能呈现出稳步提升的趋势。此外，通过延长测试时间的计算，DeepSeek-R1-Zero 自然而然地获得了解决更复杂推理任务的能力，从生成数百个 token 到数千个 token，模型得以更深入地探索和优化其思维过程。模型的「思考过程」会不断与最终的正确率奖励相互作用。当模型最初得出的答案并未得到较高奖励时，它会在后续的推理中「回头反省」，尝试补充或修正先前的思路，从而获得更高的奖励，通过这样的方式，模型在没有外部指导的情况下持续自主学习与迭代，最终具备了强大的推理能力。