VAF 0.1.0a35: Lokale Modelle laufen jetzt auch mit vLLM
VAF 0.1.0a35 bringt vLLM unter Linux für NVIDIA-GPUs ab Turing und für unterstützte AMD-GPUs, llama.cpp bleibt der Standard.
0.1.0a35 ist veröffentlicht. Neben llama.cpp, das der Standard bleibt, führt VAF lokale Modelle jetzt auch mit vLLM aus, gedacht für Server und starke PCs, die viele Anfragen gleichzeitig beantworten. vaf engine vllm prüft die Hardware, installiert vLLM nach Rückfrage, wählt ein Modell nach dem Grafikspeicher, lädt es, prüft, ob es passt, und stellt erst um, wenn vLLM im Test antwortet. Dieselbe Wahl gibt es in den Einstellungen unter KI & Modell.
vaf updateMit einer NVIDIA-GPU braucht vLLM Linux, eine Karte ab Turing, den Treiber 580 oder neuer und eine nicht zu alte Distribution, etwa Ubuntu 20.04 auf einem PC oder 22.04 auf ARM. Mit einer unterstützten AMD-GPU wie der Radeon RX 7900 oder einem Ryzen AI MAX braucht vLLM Linux, ROCm 7.2 oder neuer, Python 3.12 und glibc 2.39 oder neuer, etwa mit Ubuntu 24.04. VAF prüft das vorher und sagt, was fehlt.
Zwei Funktionen sind neu.
- Die Einstellungen unter KI & Modell beginnen mit „Wer macht was“. Die Übersicht zeigt, welcher Anbieter und welches Modell jede Aufgabe übernimmt, vom Chat bis zur Ausfallsicherung, nennt den Grund, wenn eine Aufgabe nicht laufen kann, und lässt beides direkt dort ändern. Im Terminal zeigt vaf providers dieselben Zeilen.
- Nutzen mehrere Personen VAF gleichzeitig, ist bei Chat, lokalen Sprachdiensten, dem Browser-Agenten im gemeinsamen Browser und der Dokumentvorschau als Nächstes an der Reihe, wer am längsten nicht bedient wurde. Eine wartende Nachricht zeigt ihren Platz und die erwartete Wartezeit.
Zwei Fehler sind behoben.
- Im gemeinsamen Browser gehen Dateien und Logins nicht mehr von einem Konto ins nächste über. Lief beim Wechsel noch eine Dateiübertragung oder die Abmeldung der vorherigen Person, konnten deren Dateien aus dem Arbeitsordner in der Dateiauswahl der nächsten Person auftauchen. Dabei konnte auch ein Download im falschen Konto landen, und die gespeicherten Logins der vorherigen Person konnten die der nächsten aufnehmen. Eigene Browser waren nicht betroffen.
- Ein Sub-Agent-Anbieter, den du in den Einstellungen der Weboberfläche wählst, gilt jetzt nach dem Speichern. Vorher blieb die Wahl ohne Wirkung, und die Sub-Agents liefen weiter beim Hauptanbieter. Eine so gespeicherte Wahl aus einer älteren Version bleibt aus, bis du sie erneut auswählst und speicherst.
Gespeicherte Workflows in ~/.vaf/workflows liest VAF jetzt als Daten, ohne die Datei auszuführen. Ein Workflow, dessen Name oder Text präpariert wurde, kann so beim Laden keinen Code mehr ausführen. Eine Datei, die du dort von Hand schreibst, muss deshalb ein schlichtes WORKFLOW = {...} enthalten. Berechnet sie ihren Inhalt, überspringt VAF sie und nennt sie im Log.