小米 MiMo 性能基准评测 — AIME / LiveCodeBench / SWE-Bench 全景
小米 MiMo 大模型性能基准测试完整数据:数学推理 AIME 68.2% / LiveCodeBench 代码生成 / HumanEval pass@1 / MMLU 通用理解 / MMMU 多模态。越级挑战 32B / 闭源模型的实测对比。
第四章:性能评估与基准测试分析
任何大模型的价值最终都需要通过客观的性能评估来衡量。小米MiMo系列模型自诞生之日起,就以其在多个权威基准测试中“越级挑战”的惊艳表现而闻名。本章将系统梳理并分析MiMo系列在推理能力、通用能力及多模态能力等方面的公开评测数据,并对其行业地位进行客观评价。
4.1 推理能力专项评测:树立“推理王者”形象
小米从一开始就将“推理”作为MiMo的核心标签,并选择在最具挑战性的数学和代码生成基准上证明自己。
4.1.1 数学推理:征服AIME竞赛级难题
AIME(美国数学邀请赛)是公认的极具挑战性的高中数学竞赛,其题目需要复杂的逻辑推理、多步演绎和创造性解题思路。将AIME题目作为评测基准,可以极大地考验模型的深度推理能力。
- MiMo-7B-RL 在AIME 2024和2025年基准测试中,得分分别达到了惊人的68.2%和55.4% 。
- 性能超越:更令人瞩目的是,在AIME 24-25评测中,参数仅为7B的MiMo模型,其表现超越了OpenAI的闭源模型o1-mini以及阿里Qwen系列参数高达32B的QwQ-32B模型 。
此外,在另一个广受认可的数学推理基准GSM8K(小学数学应用题)上,MiMo-7B的准确率也达到了89.3% ,同样处于业界领先水平。这些数据无可辩驳地证明了MiMo模型在数学推理这一硬核能力上的卓越实力。
4.1.2 代码生成:LiveCodeBench上的优异表现
LiveCodeBench是一个模拟真实编程竞赛环境的基准测试,它要求模型根据题目描述生成能够通过所有测试用例的正确代码,极度考验模型的代码理解、算法设计和实现能力。
- 性能对比:在LiveCodeBench v5评测中,MiMo-7B同样展现了超越更大规模模型的性能,击败了o1-mini和QwQ-32B 。
- 具体指标:在另一个代码生成基准HumanEval上,MiMo-7B-RL的一次通过率(pass@1)相较于OpenAI的o1-mini提升了23% ,这是一个非常显著的优势,意味着其生成的代码质量更高,更接近人类程序员的水平。
同时,MiMo-7B的推理速度比Llama3-8B快40% ,这再次印证了其在模型结构和推理优化上的独到之处,实现了性能与效率的兼得。
4.2 通用与多模态能力评测
除了在专项推理能力上大放异彩,小米MiMo系列在通用语言能力和多模态理解方面也表现不俗。
BIG-Bench Hard (BBH):这是一个包含了多种复杂推理任务的综合性基准。MiMo-7B的基础模型(MiMo-7B-Base)在此基准上取得了75.2分的成绩,超过了当时其他同规模的开源7B模型 显示了其良好的通用推理能力。
MiMo-VL的多模态基准表现:小米的多模态模型MiMo-VL系列,在多个高难度多模态基准上取得了SOTA或接近SOTA的成绩 :
- MMMU:一个涵盖大学水平多学科知识的多模态问答基准。
- ChartQA / MathVista:专注于图表理解和视觉数学推理。
- ScreenSpot-v2:测试模型对手机UI界面元素的理解和定位能力,这对于实现AI Agent至关重要。
- OlympiadBench / MathVision:同样是高难度的视觉数学推理基准。 MiMo-VL在这些基准上的优异表现,证明小米已成功地将其强大的推理能力从纯文本领域迁移到了图文并茂的复杂场景中。
MiMo-Embodied的具身智能基准表现:MiMo-Embodied在29项核心具身智能基准测试中表现领先 这些基准涵盖了感知、决策、规划、自动驾驶等多个方面,为其在机器人和智能汽车等领域的应用奠定了坚实的性能基础。
4.3 关于MMLU与HellaSwag得分的考察
MMLU(大规模多任务语言理解)和HellaSwag(常识推理)是业界评估大模型通用知识和常识推理能力的两个非常重要的基准测试。在本次研究中,我们特别关注了小米MiMo模型在这两个基准上的得分情况。
经过对所有搜索结果的详尽梳理,我们得出以下结论:
评估流程中包含MMLU和HellaSwag:小米官方的技术文档中明确提到,在对MiMo-7B进行预训练性能评估时,其评估任务覆盖了语言理解(MMLU、BBH)、常识推理(HellaSwag)、数学(AIME、GSM8K)和代码(LiveCodeBench)等多个维度 。这表明小米内部是进行了相关测试的。
官方公开数据缺失:尽管评估流程中包含这两项测试,但截至2025年12月18日,在所有我们能够获取到的公开搜索结果、新闻稿和技术报告摘要中,均未找到小米官方发布的MiMo-7B或其任何变体在MMLU和HellaSwag这两个特定基准上的具体官方得分数值 。
这一信息的缺失,可能由多种原因造成: * 战略性信息披露:小米可能选择性地优先公布其最具优势的、最能体现其“推理”特色的基准测试成绩(如AIME、LiveCodeBench),以塑造其独特的市场认知。 * 得分未达预期:也有可能MiMo-7B在这两个通用知识类基准上的表现虽然不错,但并未像其在推理任务上那样达到“惊艳”或“超越”的水平,因此未作为宣传重点。 * 数据在完整报告中:具体得分数据可能包含在完整的、非公开的技术报告中,而目前公开的摘要或新闻稿中未予披露。
无论原因为何,作为一个严谨的研究报告,我们必须指出这一信息空白。未来需要密切关注小米是否会补充发布这些数据。
4.4 性能总结与行业地位
综合来看,小米MiMo大模型系列在2025年的性能表现,为其在激烈的AI竞争中确立了清晰而稳固的行业地位:
- 推理能力的标杆:MiMo系列,特别是MiMo-7B,已成为7B参数级别乃至中等参数规模模型中,公认的数学和代码推理能力标杆。
- “以小博大”的典范:它成功证明了通过精巧的模型设计和先进的训练方法,小参数模型完全可以在特定关键任务上超越参数量大数倍的模型,为大模型的发展提供了新的思路。
- 性能与效率的平衡者:在追求卓越性能的同时,MiMo系列对推理速度和端侧部署效率的极致优化,使其在实际应用中具有更高的价值。
- 快速跟进前沿:从MiMo-7B到MiMo-V2-Flash的快速迭代,表明小米不仅能做“小而美”的特色模型,也完全具备研发和驾驭MoE这类业界最前沿复杂架构的能力。
总体而言,小米MiMo系列并非一个“水桶模型”,而是一个有着鲜明长板的“尖子生”,其在推理能力上的长板,恰好是未来AI Agent、自动化和复杂问题求解等高价值应用场景的刚需。