小米 MiMo 架构深度解析 — 系列概览、核心架构与端侧部署

第一章：小米MiMo大模型系列概览与发展历程

回顾2025年，全球人工智能领域风起云涌，大语言模型（LLM）的竞争进入白热化阶段。在众多科技巨头纷纷投入“军备竞赛”的背景下，小米公司以一种截然不同的姿态入局，其推出的MiMo系列大模型，凭借其独特的战略定位和技术突破，迅速成为业界关注的焦点。本章节将宏观梳理MiMo大模型系列的整体战略、2025年的发展时间线、模型矩阵以及其核心的开源生态策略。

1.1 战略定位：“推理”与“端侧”双轮驱动

与业界普遍追求更大参数、更全能的通用基础模型不同，小米从一开始就为自己的大模型战略设定了清晰且差异化的目标。综合所有公开信息，其核心战略可概括为“推理”与“端侧”的双轮驱动。

首先，聚焦“推理能力”（Reasoning）。小米将MiMo系列，特别是其开山之作MiMo-7B，明确定义为“为推理而生的开源大模型” 或“专注于推理能力的开源大语言模型” 。这一定位意味着小米并非意图打造一个无所不包的“万事通”，而是希望模型在逻辑、数学、代码生成等需要深度思考和复杂推理的任务上达到顶尖水平。这一策略的背后，是小米对AI应用场景的深刻洞察：在未来的人机交互中，真正能为用户创造价值的，往往是能够理解复杂指令、解决实际问题的AI能力，而非简单的知识问答。这种“以点破面”的策略，使得小米能够集中资源，在关键能力上实现技术突破，从而形成了“以小博大”的竞争优势 。

其次，坚定“轻量化与端侧部署”（Lightweight & On-Device Deployment）。这是小米大模型战略的另一大基石，也是其与云端大模型厂商最本质的区别。小米将大模型的主力方向明确为“轻量化”和“本地部署” 。这一战略选择与小米作为全球领先的消费电子和智能设备制造商的身份紧密相连。其核心逻辑在于： 1. 用户隐私与数据安全：通过在设备端本地处理数据，可以最大限度地保护用户隐私，避免敏感数据上传至云端 。 2. 极致的用户体验：端侧部署能够实现更低的延迟和更快的响应速度，并且在无网络或网络不佳的环境下依然可用，这对于手机、汽车、智能家居等即时交互场景至关重要 。 3. 成本与能效：本地部署可以有效降低对云端昂贵算力的依赖，节约运营成本，同时也更符合移动设备对功耗的严苛要求 。

为了实现这一目标，小米从模型架构设计、训练算法优化到硬件适配，进行了一系列系统性的创新 。可以说，MiMo系列大模型是小米“人车家全生态”战略在AI时代的核心技术引擎，其终极目标是深度融入并重构智能设备的操作体验 。

1.2 2025年发展时间线与模型矩阵

2025年，小米以惊人的速度和清晰的路线图，发布了多个MiMo系列模型，构建起一个覆盖不同参数规模、不同模态、不同应用场景的立体化模型矩阵。

• 2025年4月30日：推理先锋MiMo-7B发布 小米在这一天正式发布并开源了其首个推理大模型Xiaomi MiMo，参数规模为70亿（7B） 。这不仅是小米进军基础大模型领域的里程碑，更以其在数学推理（AIME）和代码竞赛（LiveCodeBench）等高难度评测中超越OpenAI和阿里等更大规模模型的卓越表现，一鸣惊人，为小米大模型赢得了极高的技术声誉 。MiMo-7B系列后续还开源了包括基础模型（Base）、指令微调模型（Instruct）和强化学习微调模型（RL）在内的多个版本 。

• 2025年5月-8月：多模态与具身智能的拓展 在成功发布语言大模型后，小米迅速将其能力拓展至多模态领域。

  • MiMo-VL系列：大约在5月至8月期间，小米陆续发布了多模态大语言模型（MLLM）MiMo-VL-7B系列，例如MiMo-VL-7B-2508、MiMo-VL-7B-RL-2508等版本 。这些模型旨在增强对图像、图表等视觉信息的理解能力，并在MMMU、ChartQA等多个权威多模态基准测试中取得突破性成绩 。
  • MiMo-Embodied：2025年8月，小米发布了跨域具身大模型Xiaomi MiMo-Embodied 。该模型采用多阶段训练策略，专注于机器人的感知、决策与规划能力，在29个核心基准测试中达到了新的SOTA（State-of-the-Art），标志着小米AI开始从数字世界走向物理世界 。
  • MiDashengLM-7B：在此期间，小米还开源了其声音理解大模型MiDashengLM-7B，专注于智能家居、智能音箱、车载语音等场景下的音频理解任务 。

• 2025年11月：应用方案Xiaomi Miloco亮相 小米推出了面向未来的智能家居探索方案Xiaomi Miloco，该方案使用了名为Xiaomi MiMo-VL-Miloco的大模型 。这并非一个孤立的模型发布，而是小米展示如何将大模型技术深度落地到具体场景、理解和预测用户需求的综合解决方案，是其“模型-硬件-场景”生态闭环的重要体现 。

• 2025年12月17日：混合专家模型MiMo-V2-Flash发布 在年末，小米再次投下重磅炸弹，发布了其基座大模型的重要成果——MiMo-V2-Flash 。该模型采用先进的混合专家（MoE）架构，总参数量达到惊人的3090亿，但激活参数仅为150亿 。这一设计极大地提升了模型的推理效率和性价比，使其在保持强大能力的同时，更易于部署和使用。MiMo-V2-Flash具备强大的代码和工具调用能力，并采用了新的后训练范式，代表了小米在基础大模型领域的最新技术高度 。

1.3 开源生态战略

贯穿小米MiMo系列发展始终的一个核心关键词是“开源”。从MiMo-7B到MiMo-V2-Flash，再到各种多模态和专用模型，小米几乎都选择了将模型代码、技术报告乃至部分训练细节向全球开发者和研究者开放 。

小米主要通过GitHub和Hugging Face这两个全球主流的开源平台来发布其模型和技术文档 。例如，MiMo-7B的技术报告PDF文件可以直接在GitHub上获取 。

这一战略的意义是深远的： 1. 构建技术影响力：通过开源展示自身的技术实力，吸引顶级AI人才，提升小米在AI领域的品牌形象。 2. 加速技术迭代：借助全球社区的力量，发现模型的问题、贡献新的想法，加速模型的优化和迭代。 3. 培育应用生态：鼓励开发者和企业在MiMo模型的基础上进行二次开发和创新，探索更多应用场景，从而围绕小米的技术构建一个繁荣的应用生态 。这与小米硬件生态的打法一脉相承。

1.4 名称厘清：与MiniMax公司MIMO模型的区别

在研究过程中，我们注意到市场上存在另一个名为“MIMO”的大模型，即由初创公司MiniMax推出的“MiniMaxLanguageModel（MIMO）” 。需要明确指出，此“MIMO”与小米的“Mimo”或“Xiaomi MiMo”系列模型没有任何关系。MiniMax的MIMO是其独立研发的模型，且根据信息其训练数据截止于2023年2月 ，而小米的MiMo系列模型是2025年才发布的全新模型。此外，小米也从未表示其模型是基于华为技术开发的 。因此，在讨论小米的大模型时，应准确使用“Xiaomi MiMo”或结合上下文明确其归属，以避免混淆。

第二章：核心技术架构深度解析

小米MiMo系列大模型之所以能在短时间内取得令人瞩目的成就，其背后是一套精心设计且不断演进的技术架构。本章将深入剖析MiMo系列几个代表性模型（MiMo-7B、MiMo-V2-Flash、MiMo-VL等）的核心技术特点，揭示其实现“以小博大”和高效推理的秘密。

2.1 MiMo-7B：推理先锋的技术基石

作为小米大模型的开山之作，MiMo-7B不仅是一款产品，更是一套技术范式的成功验证。它的核心技术特点在于其独特的训练框架和对推理任务的深度优化。

2.1.1 “预训练”与“后训练”双轮驱动架构

MiMo-7B的成功，关键在于其采用的“预训练与后训练双轮驱动”的技术架构 。这套架构摒弃了传统“预训练-微调”的简单模式，将模型的塑造过程分解为两个同样重要的阶段：

• 大规模、高质量的预训练（Pre-training）：这是模型获取世界知识和基础语言能力的地基。小米为MiMo-7B构建了包含高达2000亿Tokens（词元）的高质量数据集进行预训练 。这个阶段的目标是让模型学习到广泛的语言模式、事实知识和初步的逻辑关联能力。值得注意的是，小米可能在此阶段就对数据配比进行了针对性优化，加入了更多有助于培养推理能力的数据。

• 创新的后训练（Post-training）范式：这是MiMo-7B实现能力跃迁的“点睛之笔”。与传统仅进行指令微调（SFT）和基于人类反馈的强化学习（RLHF）不同，小米的后训练阶段可能包含更复杂的、专门针对推理任务的强化学习过程。相关信息表明，MiMo-7B的强化学习调优版本（MiMo-7B-RL）在各项推理基准上表现尤为突出 ，例如在HumanEval代码生成任务上，其一次通过率相比OpenAI的o1-mini提升了高达23% 。这暗示小米可能开发了更高效的奖励模型（Reward Model）或更先进的强化学习算法（如PPO的变体），能够精准地引导模型学习如何进行多步推理、逻辑演绎和代码实现。

2.1.2 专为推理优化的模型设计

虽然搜索结果未详细披露MiMo-7B在Transformer架构上的具体改动，但结合其“为推理而生”的定位，可以合理推断小米在其模型结构层面进行了一系列优化。这些优化可能包括：

• 注意力机制的改良：可能采用了更适合长依赖关系捕捉或逻辑链条追踪的注意力变体。
• 网络深度与宽度的权衡：为了在7B这样相对较小的参数规模下实现强大性能，模型的设计必须非常高效。小米方面曾提及，他们会根据对Transformer结构的理解以及对端侧芯片特性的考量，来合理设置模型的宽度和深度 。
• 激活函数的选择：可能选用了更有利于稳定训练和提升非线性表达能力的激活函数。

通过这种预训练和后训练相结合、并深度优化推理任务的策略，MiMo-7B成功地在一个7B参数的模型上，实现了超越32B甚至闭源模型的推理性能，完美诠释了“以小博大”的设计哲学 。

2.2 MiMo-V2-Flash：混合专家（MoE）架构的突破

如果说MiMo-7B是小米在特定能力上单点突破的“尖刀”，那么于2025年12月17日发布的MiMo-V2-Flash则是小米向着更强大、更高效的通用基础模型迈进的“重器”。其核心技术亮点在于混合专家（Mixture-of-Experts, MoE）架构的应用。

2.2.1 MoE架构：庞大而高效的秘诀

MiMo-V2-Flash拥有3090亿的总参数量，但激活参数仅为150亿 。这是MoE架构的典型特征。

• 工作原理：MoE架构将传统大模型中庞大的前馈神经网络（FFN）层替换为由多个“专家网络”（Experts）和一个“门控网络”（Gating Network）组成的结构。当模型处理一个输入（如一个词元）时，门控网络会根据输入内容，智能地选择激活一小部分最相关的专家网络来参与计算，而其他大部分专家则保持“沉默”。

• 核心优势：

  • 巨大的模型容量：通过增加专家的数量，可以轻易地将模型的总参数量扩展到数千亿甚至万亿级别，从而存储更丰富、更专业的知识。这就是其3090亿总参数的由来。
  • 高效的推理成本：在每次推理时，实际参与计算的只是被激活的一小部分专家，其计算量约等于一个稠密模型（Dense Model）的规模。在MiMo-V2-Flash中，这个规模是150亿参数 。这使得它虽然总参数庞大，但推理速度和成本却远低于一个同等规模的稠密模型，实现了“高性价比” 。

2.2.2 MiMo-V2-Flash的技术创新

小米的MiMo-V2-Flash并不仅仅是简单地应用了MoE，还融入了多项技术创新以提升其性能和效率：

• 强大的代码和工具调用能力：这表明小米在训练MiMo-V2-Flash时，可能专门增强了其作为“智能体（Agent）”核心的能力，使其能更好地理解和使用外部工具（API），这对于执行复杂任务至关重要 。
• 高效推理结构：除了MoE本身，小米可能还应用了其他加速推理的技术。搜索结果中提到了混合注意力机制和多层MTP（可能是Multi-layer Token Parallelism）推理加速等技术 这些都旨在进一步优化模型的计算效率和响应速度。
• 新的后训练范式：针对MoE架构的特性，小米开发了新的后训练方法，以更好地激发和协调众多专家的能力，确保模型整体性能的强大和稳定 。

MiMo-V2-Flash的发布，标志着小米已经掌握了构建业界最前沿的大模型架构的能力，其技术储备足以支撑未来更宏大的AI战略。

2.3 MiMo-VL与MiMo-Embodied：向多模态与具身智能的延伸

小米的AI布局并未局限于文本。MiMo-VL和MiMo-Embodied的推出，展示了其将核心AI能力向更广阔领域延伸的决心。

• MiMo-VL（Visual-Language）：作为多模态大模型，MiMo-VL的核心任务是打通视觉和语言两个模态。其技术架构很可能是在MiMo语言模型的基础上，增加了一个视觉编码器（Visual Encoder，如ViT变体），并通过一个连接模块（如Q-Former或简单的MLP投影层）将视觉特征与语言空间对齐。搜索结果提到，小米针对MiMo-VL优化了输出模式和强化学习训练的稳定性 ，这暗示其在解决多模态模型常见的“幻觉”（Hallucination）问题和提升图文对齐的精确度方面进行了深入研究。其在ChartQA（图表问答）和ScreenSpot-v2（UI理解）等基准上的优异表现，也证明了其强大的多模态理解能力 。

• MiMo-Embodied：具身智能是AI的终极挑战之一。MiMo-Embodied的核心技术在于其多阶段训练策略 。这个策略可能包括：

  1. 通用世界模型预训练：在大规模的文本、图像、视频数据上进行训练，让模型理解物理世界的基本规律。
  2. 仿真环境中的技能学习：在虚拟仿真环境（如NVIDIA Isaac Sim）中进行强化学习，训练模型完成抓取、导航等基本机器人技能。
  3. 真实世界数据的微调：利用少量真实机器人的操作数据进行微调，弥合仿真与现实之间的差距（Sim-to-Real Gap）。

其在29项核心基准测试中取得领先地位，表明该模型在感知、决策与规划等具身智能的核心环节上都达到了很高的水平，为未来小米的机器人（如CyberDog、CyberOne）提供了一个强大的“大脑” 。

第三章：轻量化与端侧部署技术详解

将强大的大模型装入小小的手机、汽车和智能家居设备中，是小米MiMo战略的终极目标，也是其技术护城河的关键所在。这一过程涉及从算法到硬件的全栈优化。本章将详细解析小米为实现高效轻量化与端侧部署所采用的核心技术。

3.1 小米的端侧部署核心理念

小米的端侧部署理念根植于其作为硬件公司的基因，强调隐私、延迟、成本和可用性的完美平衡。小米创始人雷军曾在演讲中强调，大模型在终端的轻量化部署，需要在芯片的算力与功耗之间找到平衡点 。这一理念贯穿于小米的整个技术栈。

HyperOS作为小米“人车家全生态”的操作系统，其内置的AI子系统是承载MiMo模型端侧部署的核心平台 。根据小米HyperOS技术白皮书披露的信息，小米构建了一个完善的AI融合部署框架。该框架具备以下能力 ： * 模型转换：支持将主流训练框架（如TensorFlow, PyTorch）训练出的模型，高效转换为适用于端侧推理的格式，如ONNX、TFLite等。 * 模型压缩：内置了包括量化、剪枝、知识蒸馏在内的多种模型压缩工具，为大模型“瘦身”。 * 异构硬件支持：能够智能地将计算任务分发到设备的CPU、GPU、NPU（神经处理单元）、DSP（数字信号处理器）等不同硬件上，实现异构计算，最大化利用硬件资源。

MiMo-7B作为小米的“端侧推理先锋”，已被集成至HyperOS 3.0，并针对移动设备进行了深度优化，实现了低能耗和快速响应 。

3.2 关键算法与优化器

为了将动辄数十亿参数的模型塞进手机，小米在算法层面进行了大量创新。

3.2.1 模型压缩技术

模型压缩是轻量化的核心手段，主要包括剪枝和量化。

• 结构化剪枝：TransAct 小米大模型团队提出了一种名为“TransAct”的大模型结构化剪枝方法 。与非结构化剪枝（随机移除单个权重，难以在通用硬件上加速）不同，结构化剪枝会移除整个神经元、通道甚至更大的结构单元。这使得剪枝后的模型结构规整，能够直接利用现有硬件实现推理加速。虽然TransAct的具体技术细节未完全公开，但它很可能是通过分析权重或激活值的重要性，来决定移除哪些“冗余”的结构部分，从而在显著降低计算量的同时，尽可能保持模型精度。

• 量化算法：INT4成为主流，方法持续创新 量化是降低模型体积和加速计算最有效的手段之一。它将模型中高精度的32位浮点数（FP32）权重和激活值，转换为低精度的整数，如8位整数（INT8）或4位整数（INT4） 。

  • INT4量化的应用：小米创始人雷军明确提到，手机端支持INT4计算 。INT4量化可以将模型体积压缩至原来的1/8，计算速度获得数倍提升，是当前手机端部署大模型的主流方案 。
  • 量化算法创新：简单的量化会带来精度损失。为了解决这个问题，小米团队进行了深入研究，提出了“基于权重转移的端侧量化方法”和“基于Outliers分离的端侧量化方法” 。“Outliers”（异常值）是导致大模型量化精度下降的主要元凶，这些值虽然数量少，但数值极大，扰乱了量化范围。小米提出的方法很可能是将这些异常值单独分离出来，用更高精度（如FP16）表示，而主体部分则可以更精确地进行低比特量化（如INT4），从而在整体上达到精度和效率的最佳平衡。虽然搜索结果未明确指出MiMo-V2-Flash具体采用了GPTQ或AWQ等业界知名量化算法 但小米自研的这些量化方法，无疑为其端侧部署提供了坚实的技术保障。

3.2.2 专有训练优化器

为了提升大模型训练的效率和稳定性，特别是在资源有限的情况下，小米还自研了优化器和学习率调度器。

• ScaledAdam优化器：这是一种针对大规模模型训练的优化器。传统Adam优化器在训练大模型时可能会存在显存占用过高、收敛不稳定的问题。小米的ScaledAdam很可能通过一些缩放技巧或二阶动量修正，提升了收敛速度，同时减少了训练过程中的显存浪费 。
• Eden学习率调度器：学习率的调整策略对模型训练至关重要。Eden调度器可能是一种新型的学习率衰减或预热方案，能够帮助模型更快地跳出局部最优，找到更好的收敛点 。

这些自研工具的应用，使得小米在训练MiMo系列模型时，能够更高效地利用算力资源，用更低的成本达到更好的训练效果。

3.3 硬件加速与软硬件协同

算法的优化最终需要通过硬件来体现。小米作为硬件厂商，在软硬件协同优化方面具有天然优势。

• 利用专用硬件加速器：现代智能手机SoC（系统级芯片）中集成了专为AI计算设计的NPU。这些NPU对低精度整数运算（如INT8、INT4）有专门的硬件指令集优化，可以实现极高的计算吞吐量和能效比 。小米的端侧部署框架能够充分调用这些NPU，实现对量化后模型的硬件级加速 。虽然官方未明确列出MiMo-V2-Flash支持的硬件列表，也未指明其在端侧部署时是否指定了如高通Snapdragon 8 Gen 4 NPU等具体型号 ，但可以确定的是，其部署方案必然是深度适配了主流旗舰移动平台上的NPU。

• 软硬件协同设计：小米强调，其模型设计会考虑设备端芯片的特性 。这意味着在设计MiMo模型的网络结构时（如注意力头的数量、FFN层的宽度等），就已经考虑到了目标硬件（如某款NPU）的计算单元特性、内存带宽和缓存大小，从而设计出“硬件友好”的模型结构，避免因结构与硬件不匹配导致的性能瓶颈。

• 异构计算：对于复杂的AI任务，小米的部署框架不会将所有计算都压在NPU上，而是会根据算子的特性，智能地将其分配到CPU、GPU、NPU、DSP等不同的计算单元上，实现并行处理和负载均衡，从而达成系统级的最优性能和能效 。

通过算法、软件框架和底层硬件的垂直整合与深度协同，小米构建了一套高效的端侧AI部署体系，这是其能够将越来越强大的MiMo模型成功落地到终端设备的核心竞争力。