FlashML-org/FreeToken · 中文介绍

FlashML-org/FreeToken

★ 16,647 · Forks 1,630

FreeToken 是在个人电脑上运行大型开放权重模型的推理引擎,主要面向 MoE(由多个专家模块分工处理任务的模型),可用于本地聊天和编程助手。

FreeToken 将数据中心规模的模型服务带到你的桌面。在本地快速高效地运行超大模型

  • 联合使用显卡、处理器和系统内存运行模型,并动态调整显存分配、复用缓存,减少重复计算。
  • 支持多种 MoE 模型及权重格式,原生支持 NVIDIA RTX 30、40、50 系列显卡;具体模型所需的内存和显存,资料未说明。
  • 提供兼容 OpenAI 和 Anthropic 的接口,适合想把本地模型接入 Codex、Claude Code 等编程或工具调用助手的开发者。
  • 图形界面入门流程:下载 Windows 或 Linux 桌面应用 → 设置引擎 → 运行模型、聊天并调整参数。
  • 命令行用户可按 README 使用 uv 或 pip 安装,再参考快速入门、支持模型列表和命令行文档配置。

依据已读取的 README 资料编写;较长资料可能使用节选,未实际测试仓库功能。
资料来源:README · 内容生成时间:2026-11-13T12:30:38+00:00

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注