FreeToken - 游戏本跑 290B 大模型的 MoE 推理引擎（CPU/GPU/内存统一调度）

一句话

大模型本地部署的游戏规则，又被改写了。

这个项目凭什么颠覆传统思路

上海交大和加州大学顶尖团队联合开源的新作，彻底颠覆传统思路： 一台 8G 显存的轻薄本，居然能丝滑跑动 35B 的庞然大物， 生成速度飙到 40 token/s，直接甩开 Ollama 两到四倍。

秘密何在？论文一针见血：他们不再死磕显卡，而是把 GPU、CPU、内存乃至 PCIe 总线 拧成一股绳，打造出一套全局自适应调度策略。

核心逻辑很巧妙：MoE 架构模型虽然很大，但每次推理只激活少数专家—— 于是他们把暂时休眠的参数请进内存，GPU 只专注伺候核心权重，随用随调，毫秒级唤醒。 再加上端侧编程层面的语义感知缓存，首次响应延迟更是狂降 30 倍。

这套组合拳打下来，曾经只属于数据中心的巨无霸模型，如今在寻常 PC 上也能闲庭信步。

项目速览（README 补充信息）

• 支持模型：DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等前沿 MoE， MXFP4 / NVFP4 / FP8 / BF16 量化格式全吃
• Agent 友好：Anthropic / OpenAI 兼容 API，可直接接 Codex、Claude Code、 OpenCode、DeepSeek Harness 当本地推理后端
• 硬件覆盖：RTX 30/40/50 全系，轻薄本到游戏台式机都行
• 两种用法：Windows/Linux 桌面版（GUI 调参+聊天），或 CLI 一行装： uv pip install "freetoken[accel]"
• Apache-2.0 开源，14k star，持续高频更新

入口

• GitHub：https://github.com/FlashML-org/FreeToken
• 桌面版下载：https://www.flashml.ai/
• 论文：https://arxiv.org/abs/2608.16157