Konzept

Local-first KI-Agenten

Ein local-first KI-Agent läuft auf dem eigenen Rechner statt in der Cloud eines Anbieters. Was das bedeutet, wie sich local-first zu Cloud- und Self-Hosting-Setups verhält und warum das für Datenschutz, Kosten und Kontrolle zählt.

Welche Teile laufen wirklich lokal?

Local-first ist mehr als die Frage, wo ein Programm startet. An einem Agenten hängen vier Teile: die Ablaufsteuerung, die plant und entscheidet, das Gedächtnis, das dabei entsteht, die Tools, die er ausführt, und das Sprachmodell, mit dem er denkt. Bei Veyllo (VAF) laufen die ersten drei immer auf der eigenen Hardware. Das Modell ist die einzige Stelle mit einer Wahl zwischen lokal und gehostet. Genau diese Trennung unterscheidet local-first von einem Cloud-Agenten, bei dem alle vier beim Anbieter liegen.

Der Unterschied

Cloud, Self-Hosting und local-first

Drei Arten, einen Agenten zu betreiben, und wo die Daten dabei liegen.

Cloud-Agent

Läuft vollständig auf den Servern eines Anbieters. Der Einstieg ist bequem, aber Daten, Kontext und Keys liegen beim Anbieter, und damit auch der Schalter: Eine Störung, geänderte Bedingungen oder ein gesperrtes Konto legen den Agenten still, aus welchem Grund auch immer.

Selbst gehosteter Agent

Läuft auf eigener Infrastruktur, meist auf einem selbst verwalteten Server. Die Kontrolle bleibt auf der eigenen Seite, dafür will der Server betrieben und gepflegt werden.

Local-first Agent

Läuft auf dem eigenen Rechner, in einem eigenen Fenster. Der Installer richtet einen lokalen Server samt Konto ein, die Daten bleiben vor Ort. Keine entfernte Infrastruktur, die bereitgestellt oder gewartet werden muss. Bei Veyllo ist das die Voreinstellung.

Local-first und Self-Hosting überschneiden sich: Beide behalten die Kontrolle auf der eigenen Seite. Local-first heißt darüber hinaus, dass der Agent dort läuft, wo gearbeitet wird, auf dem Gerät selbst. Mit Veyllo geht beides, lokal betreiben oder die Harness auf dem eigenen Server hosten.

Lokal, nicht Einzelplatz

Ein Host für das ganze Team.

Local-first heißt nicht Einzelperson. Schon die Desktop-App öffnet sich mit einem Schalter ins Netzwerk, eine separate Server-Installation braucht es nicht. Der eigene Rechner, ein freier Rechner zu Hause oder ein Firmenserver wird zum Host, und alle im LAN erreichen ihn über HTTPS.

Server
Ein Schalter zum Teilen. Einen Schalter in der App umlegen oder vaf server on ausführen, und VAF ist im LAN über HTTPS erreichbar. Eine normale Desktop-Installation genügt, ein separater Server ist nicht nötig.
Ein eigenes Konto pro Person. Jede Person bekommt einen abgetrennten Bereich mit eigenem Gedächtnis, eigenen Aufgaben und Einstellungen. Niemand sieht die der anderen.
Kein Abo pro Nutzer. Eine Instanz bedient das ganze Team oder den Haushalt. Einmal betreiben statt pro Person zahlen.
Warum das zählt

Was das konkret bringt.

Prompts, die nie unterwegs sind. Text, der den Rechner nicht verlässt, kann nicht protokolliert, gespeichert, für Training verwendet oder auf Anfrage herausgegeben werden. Mit einem lokalen Modell gilt das für die gesamte Verarbeitung, nicht nur für die Ablage.
Kein Anbieter zwischen Ihnen und der Arbeit. Niemand erhöht Preise, schaltet das genutzte Modell ab, ändert Rate-Limits oder sperrt ein Konto. Was heute läuft, läuft nächstes Jahr noch, mit denselben Modellgewichten.
Strom statt Tokens. Ein lokales Modell hat keine Abrechnung pro Token. Lange Kontexte, wiederholte Läufe und Nachtschichten kosten so viel wie ein Rechner im Leerlauf, und genau das macht Zeitpläne und mehrstufige Arbeit bezahlbar.
Läuft ohne Verbindung. Im Zug oder im abgeschotteten Netz arbeitet der Agent mit lokalem Modell weiter, samt Gedächtnis und Dateien.
Die eine echte Entscheidung

Lokales Modell oder gehostetes Modell?

Alles andere an einem local-first Agenten ist damit geklärt. Das hier ist die Entscheidung, die tatsächlich bei Ihnen liegt, und sie lässt sich später ändern.

Lokales Modell. Läuft auf der eigenen GPU oder CPU. Nichts verlässt den Rechner, es gibt keine Token-Abrechnung, Tempo und Qualität hängen an der Hardware. Kleine Modelle erledigen Entwürfe, Zusammenfassungen und Dateiarbeit gut, für schweres Schlussfolgern braucht es eine starke GPU.
Gehostetes Modell. Der Agent läuft weiterhin lokal, nur der Modellaufruf geht hinaus. Damit sind Spitzenmodelle ohne eigene Hardware erreichbar, abgerechnet pro Token, und der Prompt samt angehängter Datei erreicht dabei den Modell-Anbieter.
Beides, je nach Aufgabe. Meistens läuft es gemischt: das lokale Modell für Routine und Vertrauliches, ein gehostetes für die harten Fälle. Der Wechsel kostet eine Zeile Konfiguration, die Entscheidung ist also nie endgültig.
Wie Veyllo das löst

Was Veyllo um das Modell herum baut.

Veyllo macht lokal aus einem Sprachmodell einen arbeitenden Agenten: ein dauerhaftes Vektor-Gedächtnis über Sitzungen hinweg, ein vollständiger Satz Tools für Web, Code, Dateien und Browser, dazu alles, was über MCP hinzukommt, delegierbare Sub-Agents und Code-Ausführung in der Sandbox. Betrieben wird das mit einem lokalen Modell oder mit der gehosteten, OpenAI-kompatiblen Veyllo API als Cloud-Backend. Open Source unter AGPL-3.0, eine kommerzielle Lizenz gibt es dazu.

FAQ

Fragen und Antworten.

Was ist ein local-first KI-Agent?

Ablaufsteuerung, Gedächtnis und Tools laufen auf dem eigenen Gerät, allein das Modell darf woanders sitzen, wenn ein gehostetes gewählt wird. Bei einem Cloud-Agenten liegt alles davon beim Anbieter, inklusive des Kontexts jeder einzelnen Anfrage.

Ist local-first dasselbe wie Self-Hosting?

Sie überschneiden sich darin, wer die Kontrolle hat, nicht darin, wo gearbeitet wird. Self-Hosting verlagert die Software auf einen selbst verwalteten Server, local-first legt sie auf den Rechner, vor dem man sitzt, ganz ohne Server. Veyllo kann beides, und der selbst gehostete Host bedient ein ganzes Team.

Müssen Daten in die Cloud, um Veyllo zu nutzen?

Nein. Veyllo ist local-first: Der Agent lässt sich vollständig auf dem eigenen Rechner betreiben, Modelle eingeschlossen. Die gehostete Veyllo API ist optional und liefert die Modelle, auf denen VAF läuft (Text, Bild und Sprache), wenn eigene Modelle nicht infrage kommen.

Können mehrere Personen eine Veyllo-Installation nutzen?

Ja. Mit eingeschalteter Netzwerkfreigabe ist VAF im LAN über HTTPS erreichbar, auch aus einer normalen Desktop-Installation heraus. Jede Person bekommt ein eigenes Konto mit abgetrenntem Gedächtnis und eigenen Aufgaben, ein Host bedient also alle, ohne Abo pro Nutzer.

Lässt sich das OpenAI SDK mit der Veyllo API nutzen?

Ja. Die Veyllo API ist OpenAI-kompatibel. Ein beliebiges OpenAI SDK oder einen HTTP-Client auf api.veyllo.app/v1 richten und den Veyllo-Key verwenden. Chat und Bild werden unterstützt.

Lassen sich mit VAF eigene KI-Agenten bauen?

Ja. VAF liegt auf PyPI: pip install --pre vaf holt die Kern-Runtime, und darauf lassen sich eigene KI-Agenten, Tools und Lösungen bauen, samt eigener Harness. Optionale Extras wie der Server oder der Gedächtnis-Stack installieren sich genauso, und der Embedding-Guide in der VAF-Doku führt Schritt für Schritt hindurch. Das Flag --pre ist nötig, solange VAF in der Alpha ist.

Welche Lizenz nutzt Veyllo?

Das Veyllo Agent Framework (VAF) ist dual lizenziert: AGPL-3.0 für den Open-Source-Einsatz, dazu eine kommerzielle Lizenz für Teams, die andere Bedingungen brauchen.

Welche Betriebssysteme unterstützt Veyllo?

Veyllo läuft unter macOS, Windows und Linux, als Desktop-App, auf einem Server oder im Terminal.

Local-first KI-Agenten, erklärt · Veyllo