FlashML-org/FreeToken
FreeToken 是在个人电脑上运行大型开放权重模型的推理引擎,主要面向 MoE(由多个专家模块分工处理任务的模型),可用于本地聊天和编程助手。
FreeToken 将数据中心规模的模型服务带到你的桌面。在本地快速高效地运行超大模型
- 联合使用显卡、处理器和系统内存运行模型,并动态调整显存分配、复用缓存,减少重复计算。
- 支持多种 MoE 模型及权重格式,原生支持 NVIDIA RTX 30、40、50 系列显卡;具体模型所需的内存和显存,资料未说明。
- 提供兼容 OpenAI 和 Anthropic 的接口,适合想把本地模型接入 Codex、Claude Code 等编程或工具调用助手的开发者。
- 图形界面入门流程:下载 Windows 或 Linux 桌面应用 → 设置引擎 → 运行模型、聊天并调整参数。
- 命令行用户可按 README 使用 uv 或 pip 安装,再参考快速入门、支持模型列表和命令行文档配置。
发表回复