小米开源“XiaomiMiMo”大模型:以7B参数超越OpenAIo1-mini

ZAKER 科技 4 月 30 日消息,"Xiaomi MiMo" 公众号今日发文宣布,小米开源首个 " 为推理而生 " 的大模型 Xiaomi MiMo,联动预训练到后训练,全面提升推理能力。据介绍,MiMo 是来自全新成立不久的 " 小米大模型 Core 团队 " 的初步尝试。

在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)公开测评集上,MiMo 仅用 7B 的参数规模,超越了 OpenAI 的闭源推理模型 o1-mini 和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-Preview。

官方表示,MiMo 推理能力的提升,由预训练和后训练阶段中数据和算法等多层面的创新联合驱动,包括:

预训练:核心是让模型见过更多推理模式数据:着重挖掘富推理语料,并合成约 200B tokens 推理数据。训练:进行了三阶段训练,逐步提升训练难度,总训练 25T tokens。

后训练:核心是高效稳定的强化学习算法和框架算法:提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题,并引入 Easy Data Re-Sampling 策略,以稳定 RL 训练。框架:设计了 Seamless Rollout 系统,使得 RL 训练加速 2.29 倍,验证加速 1.96 倍。

美国众议院军事委员会推进1500亿美元国防计划

摩根士丹利:看涨欧元、日元是押注美元走弱的最佳方式

【世界说】美国著名记者剖析关税政策:怀旧思维下的错误抉择,凸显对未来信心缺失

AI早报 | ChatGPT将增加购物功能;8款通义千问Qwen3系列模型发布并开源

科拓股份,来自福建厦门,中国第二大智慧空间停车运营商,递交IPO招股书,拟赴香港上市

央行:一季度全国新发放商业性个人住房贷款加权平均利率为3.11%

南华生物(000504)股民索赔分析

智能终端出海服务创新联合体成立

光大期货0430热点追踪:尿素节前增仓大涨,警惕假期持仓风险

午评:港股恒指涨0.12% 科指涨0.81% 耀才证券再涨超20%

中国银行:刘进因职务变动辞任副行长

东方电气公布一季度业绩 归母净利润约11.54亿元同比增长27.39%

美国商务部长卢特尼克:苹果希望在美国生产iPhone并称需要机械臂支持

“规定动作”落地,首批7家上市银行公告拟撤销监事会,国有大行仅邮储仍设监事长

桂林理工大学通报:不存在网传捉奸与坠楼情况

五一假期顺风车出行需求有望突破1亿单

格力电器去年净利润超300亿,董明珠年薪1437.2万元

贵州茅台:2025年第一季度净利润268.47亿元同比增长11.56%

华夏银行:一季度实现归母净利润50.63亿元,同比下降14.04%

财说| 商誉减值风险高悬,神州信息深陷亏损泥潭

<< 上一篇

神舟十九号载人飞船返回舱成功着陆 神舟十九号载人飞行任务取得圆满成功

下一篇 >>

千味央厨业绩变脸:传统油炸食品卖不动了? 费用激增拉低净利润

版权声明

除非注明,文章均由 24小时全国售后服务客服热线-全国官方售后服务点热线号码 整理发布,欢迎转载。

转载请注明本文地址:http://www.qlzijzu.com/post/58988.html

相关文章