MiniMax M3.1 Flash 获多个社区量化方案支持本地运行
MiniMax M3.1 Flash, on more of your hardware.
MiniMax 官方汇总了社区为 428B 的 M3.1 Flash 提供的多种量化与本地推理方案，包括 UnslothAI 的 2-bit Dynamic GGUF 权重（143.9 GB）、SAGE-EXL3、Project Maya 的专家卸载、EXL3-EAQ、Apple Silicon 上的 oQ 量化与 oMLX 解码、适配 AMD Instinct 的 Quark MXFP4，以及在 4× RTX 3090 上结合量化权重与专家缓存的推理实现。官方称低位权重可降低加载模型所需内存和解码时搬运的权重数据，但需要仔细校准、高效低位 kernel 以及跨 GPU 与系统内存的专家放置。
正文 · AI 翻译
MiniMax M3.1 Flash，现已支持更多硬件。
对 428B 模型进行量化，为本地运行开辟了更多方式。低位权重可减少加载模型所需的内存以及解码过程中搬运的权重数据。要让这些节省真正发挥作用，需要细致的校准、高效的低位 kernel，以及跨 GPU 与系统内存的硬件感知专家放置。
感谢为此付出努力的开发者们：
• @UnslothAI @danielhanchen — 2-bit Dynamic GGUF 权重，体积 143.9 GB，并在编码、工具调用及其他工作负载上进行了校准与保真度测试。 • @ViC305 — SAGE-EXL3、token 级保真度测量以及单台 DGX Spark 的配置方案。 • @PeasantSmith — Project Maya 量化方案及面向本地编码与工具调用的专家卸载。 • @MiaAI_lab — EXL3-EAQ 量化工作。 • @jundotkim + mlx-community — oQ 量化方案，以及在 Apple Silicon 上通过 oMLX 实现的 DSpark 驱动解码。 • @AIatAMD — 为 AMD Instinct 适配的 Quark MXFP4。 • @atomic_chat_hq — 面向本地桌面工作流的 GGUF。 • @superalesha — 在 4× RTX 3090 上结合量化权重、专家缓存与系统内存的自定义推理工作。 每一份分享的量化方案、kernel、测量结果和配置方案，都为下一位开发者提供了更好的起点。谢谢。