ashhart/TensorFold · 中文介绍

ashhart/TensorFold

★ 2,217 · Forks 520

TensorFold 是本地大语言模型推理引擎,用于在苹果芯片 Mac 和 NVIDIA GPU 上运行模型,并提供聊天与应用调用接口。

面向 Metal、CUDA 和 Vulkan 的大语言模型推理引擎。

  • 适合想在本机部署模型的开发者,原生引擎负责读取模型、处理输入并生成回答,提供服务无需安装 Python 或 MLX。
  • 入门流程:安装对应平台版本 → 下载推荐的 Qwen3.5-2B 四位量化模型 → 启动服务 → 发送聊天请求。
  • 提供聊天、文本补全、Responses 和 Anthropic Messages 接口,也能读取本地模型目录或已有的 Hugging Face 缓存。
  • 可用 tensorfold web 打开本地网页来选择模型、运行和聊天,Mac 桌面应用还集成模型下载与文档编辑。
  • 硬件要求随模型而变,节选未给出统一最低内存;Linux NVIDIA 版本要求 glibc 2.28 及以上和 R580 及以上驱动。
  • 英文简介提到 Vulkan,但所给 README 节选未说明其使用方式或支持范围。

依据已读取的 README 资料编写;较长资料可能使用节选,未实际测试仓库功能。
资料来源:README · 内容生成时间:2026-11-13T12:49:48+00:00

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注