概念

本地优先 AI 智能体

本地优先的 AI 智能体运行在您自己的电脑上,而不是供应商的云端。这意味着什么、与云端及自托管方案有何差别、为何关乎隐私、成本与控制权,都在这里。

究竟哪些部分在本地运行?

本地优先不只是程序从哪里启动的问题。一个智能体有四个活动部件:负责规划决策的控制循环、逐步积累的记忆、运行的工具,以及用来思考的语言模型。在 Veyllo(VAF)中,前三者始终运行在您自己的硬件上。只有模型这一处,由您在本地与托管之间选择。这一划分正是与云端智能体的全部区别:在那里,四者都在供应商手里。

差别

云端、自托管与本地优先

运行智能体的三种方式,以及各自的数据在哪里。

云端智能体

完全运行在供应商的服务器上。上手方便,但您的数据、上下文和密钥都在供应商那里,开关也在:一次故障、一次条款变更或一个被停用的账户,都会让智能体停摆,无论原因为何。

自托管智能体

运行在您运维的基础设施上,通常是一台您管理的服务器。控制权在您这边,但服务器也要您来运行和维护。

本地优先智能体

运行在您自己的电脑上,在自己的窗口里。安装程序为您配好本地服务器和账户,数据留在您手中。没有需要开通或维护的远程基础设施。这是 Veyllo 的默认运行方式。

本地优先与自托管有交集:两者的控制权都在您这边。本地优先特指智能体运行在您所在之处、您的设备上。用 Veyllo 两者皆可:本地运行,或把 harness 自托管到您自己的服务器上。

本地,但不是单人

一个主机,全团队。

本地优先不等于一个人用。就连桌面应用也只需一个开关即可向网络开放,无需单独安装服务器。您的电脑、家里的闲置机器或公司服务器成为主机,局域网内所有人通过 HTTPS 访问。

Server
共享只需一个开关。 在应用里拨一下开关(或运行 vaf server on),VAF 即可在局域网内通过 HTTPS 访问。普通桌面安装就够了,不需要单独的服务器。
每人一个独立账户。 每个人都有自己的隔离空间:记忆、任务与偏好各自独立。谁也看不到别人的。
无按席位订阅。 一套实例服务全团队或全家。您只需运行一次,而不是为每位用户付费。
为何重要

它给您带来什么。

从不出门的提示词。 不离开电脑的文本无法被记录、留存、用于训练或应要求交出。配合本地模型,这覆盖整条处理链,而不只是存储。
您与工作之间没有供应商。 没有人能涨价、下线您依赖的模型、更改速率限制或停用账户。今天能用的部署,明年还能用,模型权重原封不动。
花电费,不花 token。 本地模型没有按 token 的账单。长上下文、反复运行和通宵批处理,成本和一台待机的电脑一样,这正是定时与多步骤工作负担得起的原因。
断网也能干活。 在火车上或封闭网络里,智能体靠本地模型继续工作,记忆和文件都在。
唯一真正的选择

本地模型还是托管模型?

本地优先智能体的其他一切都已定型。真正由您做的决定是这一个,而且以后随时能改。

本地模型。 跑在您自己的 GPU 或 CPU 上。什么都不离开电脑,没有 token 账单;速度与质量取决于硬件。小模型足以胜任日常起草、摘要和文件工作,高难度推理则需要一块强力 GPU。
托管模型。 智能体照旧本地运行,只有模型调用发往外部。这样无需购置硬件即可用上前沿模型,按 token 计费;提示词和附带的文件会到达模型供应商。
两者兼用,按任务切换。 多数部署最终是混合的:本地模型跑常规与机密材料,托管模型啃硬骨头。切换只是一行配置,选择从不是永久的。
Veyllo 如何实现

Veyllo 在模型之上加了什么。

Veyllo 把语言模型变成一个在本地干活的智能体:跨会话记忆的持久向量记忆、完整工具集(网页、代码、文件、浏览器)加上您通过 MCP 接入的一切、可分派的子智能体,以及沙箱中的代码执行。用本地模型运行,或在需要云端后端时指向托管的 OpenAI 兼容 Veyllo API。开源,AGPL-3.0,另有商业许可证可选。

常见问题

有问必答。

什么是本地优先 AI 智能体?

控制循环、记忆和工具都运行在您的设备上;只有当您选择托管模型时,模型才可能在别处。云端智能体把这一切都放在供应商的服务器上,包括每次请求的上下文。

本地优先智能体和自托管是一回事吗?

在控制权归谁上两者相同,在工作发生在哪里上不同。自托管把软件搬到您管理的服务器上;本地优先把它放到您面前的电脑上,无需开通服务器。Veyllo 两者皆可,自托管的主机还能服务整个团队。

使用 Veyllo 必须把数据发到云端吗?

不必。Veyllo 是本地优先的:您可以把智能体连同模型完全运行在自己的电脑上。托管的 Veyllo API 是可选项:如果您不想自己跑模型,它提供 VAF 所需的模型(文本、视觉与语音)。

一套 Veyllo 安装能供多人使用吗?

能。打开网络共享后,VAF 即可在局域网内通过 HTTPS 访问,普通桌面安装也一样。每个人用自己的账户登录,记忆和任务相互隔离;一个主机服务所有人,没有按席位订阅。

Veyllo API 能配 OpenAI SDK 使用吗?

能。Veyllo API 兼容 OpenAI。把任意 OpenAI SDK 或 HTTP 客户端指向 api.veyllo.app/v1,使用您的 Veyllo 密钥即可。支持对话与视觉。

我能用 VAF 构建自己的 AI 智能体吗?

能。VAF 已发布到 PyPI:pip install --pre vaf 安装核心运行时,您可以在框架之上构建自己的 AI 智能体、工具和解决方案,包括您自己的 harness。服务器或记忆栈等可选组件以同样方式安装,VAF 文档中的嵌入指南有逐步讲解。VAF 处于 alpha 阶段期间需要 --pre 参数。

Veyllo 使用什么许可证?

Veyllo Agentic Framework(VAF)双许可:开源使用适用 AGPL-3.0,需要不同条款的团队可选商业许可证。

Veyllo 支持哪些操作系统?

Veyllo 运行在 macOS、Windows 和 Linux 上:桌面应用、服务器或终端均可。

本地优先 AI 智能体详解 · Veyllo