导语:小米MiMo负责人罗福莉效仿雷军直播风格,在社交平台公开MiMo-V2.6强化学习训练实况。两版本模型累计训练花费逾116万美元,团队同步推进计算规模、多任务环境与评判体系三大方向扩展,为Agent能力突破奠定基础。

小米MiMo团队近日对外披露了最新研发动向。负责人罗福莉在X平台发文称,团队近半年来持续探索一个核心问题:强化学习(RL)究竟能扩展到何种程度。

她透露,MiMo-V2.6目前正处于RL训练推进阶段,团队正围绕三条主线同步扩大规模——计算资源投入、训练环境与任务体系拓展,以及奖励评估机制优化。后续数周内,更多技术细节将陆续公开。

罗福莉同步分享了MiMo-V2.6的实时训练页面,外界得以首次窥见这一代模型在强化学习阶段的运行状况。页面展示了训练进度、Token消耗、训练开销、样本数量及多项内部指标的动态变化。

MiMo训练实时面板
图注

训练面板显示,当前涉及两个版本:MiMo-V2.6-Pro与MiMo-V2.6-Flash。其中Pro版本处于step 12阶段,累计训练样本约301K,训练开销约806,349美元,消耗Token达25.1B。Flash版本处于step 17阶段,样本量约426K,开销约354,499美元,Token消耗40.5B。

两版本合计训练成本已突破116万美元,折算时均计算费用约3.09万美元(约合人民币20.72万元)。不过,此次公开的核心意图并非展示成本,而是呈现RL训练过程中模型如何通过大规模任务交互逐步增强能力。

训练数据概览
图注

罗福莉在推文中指出,本轮强化学习训练围绕三个方向重点扩展。

第一个方向是计算规模提升。团队将单个训练step的规模提升至约2B tokens,采用1568个prompts配合16 rollouts的训练方式,并全程使用完全异步(fully async)架构。按此配置推算,单个step理论上会产生约2.5万次模型尝试,相当于让AI同时探索多种解题路径。

计算规模配置
图注

在此训练模式下,面对同一任务时模型不会仅生成单一答案,而是并行尝试多种方案,再依据奖励信号筛选出更优路径。对Agent类模型而言,大规模探索能力至关重要。过去的大模型主要依靠预训练获取知识、监督微调调整输出格式;而当AI开始承担编程、办公、数据分析等复杂任务时,模型需要具备规划步骤、调用工具、验证结果的综合能力。强化学习正是让模型在大量尝试与反馈中逐步形成高效执行策略的关键手段。

第二个方向是训练环境拓展。团队引入了多任务Agent强化学习(multi-task agentic RL),将多类任务环境混合进单次训练流程。从实时监控面板数据可见,当前训练覆盖视觉、代码、通用任务及对话等多个类别,包括visual/dataset-jz3d、code/dataset-4qn等数据集。这意味着MiMo-V2.6并非仅优化单一能力,而是同步适配多种Agent场景。

多任务训练环境
图注

第三个方向是加大评判系统的算力投入。团队引入智能体式组内贡献归因(agentic in-group credit assignment),结合测试用例与评分细则型奖励(test-case and rubric-based rewards)。面对多任务、多轨迹的复杂场景,评判系统需要提供有区分度的反馈,帮助模型从不同尝试中学习更有效的策略。

从面板指标来看,奖励相关数据正随训练推进持续提升。Pro版本平均奖励由早期约0.55上升至0.582,Flash版本由约0.52升至0.570,两条曲线均在波动中整体走高。

奖励指标变化
图注

除训练过程外,面板还透露了MiMo-V2.6的能力进展。截至发稿,Pro版本在DeepSWE v1.1基准上得分63.72,Flash版本得分60.77。DeepSWE主要评估模型的软件工程能力,涵盖代码理解、修改及复杂开发任务处理。

与此同时,上下文长度指标也在持续增长。ctx_total_length数据显示,Pro版本平均上下文长度已接近10万Token,Flash版本同样突破这一规模。对Agent模型来说,长上下文意味着能持续记住此前的操作步骤、工具反馈与任务状态,这是完成复杂工作的底层基础。

基准测试得分
图注

值得留意的是,此次小米公开的是训练过程而非最终成果。以往大模型企业通常只在发布时公布参数、榜单成绩和应用案例,训练环节始终处于黑箱状态。罗福莉此番分享实时训练面板,让外界得以直观了解训练中的计算规模、任务构成与能力演进。

目前Pro和Flash两个版本的训练仍在持续进行。随着数据曲线不断延伸,有三条关系值得持续关注:计算投入与能力提升的对应关系、执行长度与任务效果的关联,以及环境多样性对模型适应性的影响。罗福莉提出的"强化学习能扩展多远"这一命题,也将在这些关系的演进中逐步给出答案。

训练持续进行中
图注

免责声明:本文基于公开报道的事实信息整理,仅供参考。AI新纪元聚焦人工智能前沿动态,内容来源于公开渠道,如有不实请联系我们删除。

点赞(0)

评论列表 共有 0 条评论

暂无评论
立即
投稿
发表
评论
返回
顶部