ashhart/TensorFold
TensorFold 是本地大语言模型推理引擎,用于在苹果芯片 Mac 和 NVIDIA GPU 上运行模型,并提供聊天与应用调用接口。
面向 Metal、CUDA 和 Vulkan 的大语言模型推理引擎。
- 适合想在本机部署模型的开发者,原生引擎负责读取模型、处理输入并生成回答,提供服务无需安装 Python 或 MLX。
- 入门流程:安装对应平台版本 → 下载推荐的 Qwen3.5-2B 四位量化模型 → 启动服务 → 发送聊天请求。
- 提供聊天、文本补全、Responses 和 Anthropic Messages 接口,也能读取本地模型目录或已有的 Hugging Face 缓存。
- 可用 tensorfold web 打开本地网页来选择模型、运行和聊天,Mac 桌面应用还集成模型下载与文档编辑。
- 硬件要求随模型而变,节选未给出统一最低内存;Linux NVIDIA 版本要求 glibc 2.28 及以上和 R580 及以上驱动。
- 英文简介提到 Vulkan,但所给 README 节选未说明其使用方式或支持范围。
发表回复