VAF 0.1.0a26: Niedrigere Kosten je Anfrage durch Prompt-Caching
Das Tageslimit von VAF stoppte zu spät, weil zwischengespeicherte Anteile bei Anthropic in der Schätzung fehlten; 0.1.0a26 rechnet sie mit.
0.1.0a26 ist veröffentlicht. Der Agent führt eine feste Auswahl an Tools mit, und seine Anweisungen sind von einer Nachricht zur nächsten Byte für Byte gleich. Uhrzeit, die Anleitung für die jeweilige Aufgabe und die Liste der erlaubten Tools standen bisher am Anfang und änderten sich mit jeder Nachricht; sie werden jetzt hinter dem Gesprächsverlauf mitgeschickt. Im laufenden Betrieb gemessen werden sieben von zehn Token einer Chat-Anfrage wiederverwendet, und dasselbe Gespräch kostet ein Drittel weniger.
pip install -U --pre vafZwei Fehler sind behoben:
- Die Kostenschätzung rechnet zwischengespeicherte Token zu dem Preis, den der Anbieter dafür veröffentlicht. Bei Anthropic zählten sie gar nicht mit: Die Schätzung lag zu niedrig und das Tageslimit von VAF stoppte zu spät. Bei OpenAI und kompatiblen Anbietern galt umgekehrt der volle Preis für den ganzen Prompt. Ohne veröffentlichten Preis rechnet VAF voll; die Schätzung bleibt eine Obergrenze.
- Die Nutzungsübersicht bucht die Token auf den Aufruf, der sie verbraucht hat. Die Anbieter melden den Verbrauch in einem abschließenden Teil der Antwort, der keinen Text enthält, und VAF las ihn zu früh: Jeder Aufruf trug die Zahlen des vorigen. Ältere Aufzeichnungen werden nicht korrigiert.
Vier Einstellungen zu den Modell-Anbietern lassen sich nicht mehr von jedem Konto im Netzwerk ändern, darunter der Endpunkt, über den Prompts den Rechner verlassen. Sie sind jetzt Administratoren vorbehalten. Wer eine davon ohne Administratorrechte gesetzt hat, lässt sie von einem Administrator neu setzen.
Die Nutzungsübersicht kam mit 0.1.0a24; seit 0.1.0a26 gehört jede Zeile zu dem Aufruf, den sie abrechnet.