# FreeToken - 游戏本跑 290B 大模型的 MoE 推理引擎（CPU/GPU/内存统一调度）

> 8G 显存轻薄本丝滑跑 35B、40 token/s 甩开 Ollama 2-4 倍：伯克利系团队开源的 MoE 推理引擎，把 CPU/内存/PCIe 全榨干。

## 一句话

大模型本地部署的游戏规则，又被改写了。

## 这个项目凭什么颠覆传统思路

上海交大和加州大学顶尖团队联合开源的新作，彻底颠覆传统思路：
一台 **8G 显存的轻薄本**，居然能丝滑跑动 **35B** 的庞然大物，
生成速度飙到 **40 token/s**，直接甩开 Ollama 两到四倍。

秘密何在？论文一针见血：他们不再死磕显卡，而是把 **GPU、CPU、内存乃至 PCIe 总线
拧成一股绳**，打造出一套全局自适应调度策略。

核心逻辑很巧妙：MoE 架构模型虽然很大，但每次推理只激活少数专家——
于是他们把暂时休眠的参数请进内存，GPU 只专注伺候核心权重，随用随调，毫秒级唤醒。
再加上端侧编程层面的**语义感知缓存**，首次响应延迟更是狂降 **30 倍**。

这套组合拳打下来，曾经只属于数据中心的巨无霸模型，如今在寻常 PC 上也能闲庭信步。

## 项目速览（README 补充信息）

- **支持模型**：DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等前沿 MoE，
  MXFP4 / NVFP4 / FP8 / BF16 量化格式全吃
- **Agent 友好**：Anthropic / OpenAI 兼容 API，可直接接 Codex、Claude Code、
  OpenCode、DeepSeek Harness 当本地推理后端
- **硬件覆盖**：RTX 30/40/50 全系，轻薄本到游戏台式机都行
- **两种用法**：Windows/Linux 桌面版（GUI 调参+聊天），或 CLI 一行装：
  `uv pip install "freetoken[accel]"`
- Apache-2.0 开源，14k star，持续高频更新

## 入口

- GitHub：https://github.com/FlashML-org/FreeToken
- 桌面版下载：https://www.flashml.ai/
- 论文：https://arxiv.org/abs/2608.16157

---

**分类**：模型
**标签**：内存 · 模型 · 显存
**作者**：子龙
**链接**：https://octohz.com/p/2291