标签「显存」共 1 条内容
FreeToken - 游戏本跑 290B 大模型的 MoE 推理引擎（CPU/GPU/内存统一调度）模型
模型
FreeToken - 游戏本跑 290B 大模型的 MoE 推理引擎（CPU/GPU/内存统一调度）

8G 显存轻薄本丝滑跑 35B、40 token/s 甩开 Ollama 2-4 倍：伯克利系团队开源的 MoE 推理引擎，把 CPU/内存/PCIe 全榨干。

126000子龙子龙•1个月前
点击获取 ^_^