Qwen3.8-Flash-Next als Coding-Agent auf dem HP ZBook Ultra G1a

Der Agent bekommt ein Repository auf dem Stand vor der Reparatur und das Issue im Wortlaut, dazu einen Satz: Löse das Issue, du darfst Befehle und die vorhandenen Tests ausführen, höre auf, wenn du fertig bist. Die Tests, mit denen gewertet wird, bekommt er nicht. Die Abhängigkeiten sind installiert; erreichbar ist nur der eigene Sprachmodell-Server.

Die Aufgaben stammen aus SWE-bench Verified, und zwar aus der leichtesten Stufe: Issues, für die ein erfahrener Entwickler laut Datensatz weniger als 15 Minuten braucht. Infrage kommen die 87 Aufgaben dieser Stufe aus Django, sympy, Sphinx und pytest, die unter Python 3.9 bis 3.11 laufen. Daraus sind 40 zufällig gezogen, geschichtet nach Repository, mit festem Startwert. Ausgewählt ist nichts nach Lösbarkeit. Eine Sphinx-Aufgabe ließ sich in der Umgebung der Wertung nicht prüfen und ist durch die nächste gezogene ersetzt.

Gewertet wird wie bei SWE-bench: Der Patch, den der Agent im Arbeitsbaum hinterlässt, kommt auf einen frischen Stand, dazu die Tests der Aufgabe. Gelöst ist eine Aufgabe, wenn die Tests zum Fehler bestehen (FAIL_TO_PASS) und kein vorher bestehender Test fällt (PASS_TO_PASS). Die Wertung läuft ohne Docker in einer Python-Umgebung nach der Harness von SWE-bench in Version 4.1.0. Jede der 40 Aufgaben bestand dort vorab mit der Referenzlösung.

Einstellungen: Kontext bis 262.144 Token, Ausgabe bis 32.768 Token je Anfrage, Temperatur 1,0, top_p 0,95, Denkstufe xhigh, automatische Kompaktierung an, Prompt-Cache im Arbeitsspeicher. Erst laufen alle 40 Aufgaben einmal, dann alle ein zweites Mal, in derselben Reihenfolge, mit einem Serverstart für alle Durchgänge. Nebenher läuft nichts.

Der Agent löst 72 von 80 Durchgängen, also 90,0 %. Der 95-%-Bereich reicht von 80,0 bis 97,5 %; er ist über die Aufgaben gezogen, nicht über die Durchgänge, weil zwei Durchgänge derselben Aufgabe nicht unabhängig sind. Die Quote gilt für die 87 Aufgaben, aus denen gezogen wurde, nicht für SWE-bench Verified insgesamt.

Die beiden Durchgänge einer Aufgabe gehen immer gleich aus: 36 Aufgaben löst der Agent beide Male, 4 keinmal, keine nur einmal.

G01 (django__django-15127): Der Agent beendet beide Durchgänge nach 1,8 und 2,1 Minuten mit einem Patch, unter dem alle bisherigen Tests bestehen, der Test zum Fehler aber nicht.

G18 (sympy__sympy-15875): dasselbe Bild nach 27,8 und 39,8 Minuten und 68 bzw. 90 Schritten.

M08 (sphinx-doc__sphinx-7462): Von den zwei Tests zum Fehler besteht im ersten Durchgang keiner, im zweiten einer.

M04 (sphinx-doc__sphinx-8595): Der Agent legt in beiden Durchgängen eine Testdatei an, tests/roots/test-ext-autodoc/target/empty_all.py, die auch der Testpatch der Aufgabe anlegt. Der Testpatch lässt sich deshalb nicht anwenden, und der Durchgang zählt als nicht gelöst.

Die Hälfte der Durchgänge ist nach 4,6 Minuten fertig. Django und sympy brauchen im Median 4,2, Sphinx und pytest 5,9 Minuten. Einzelne dauern viel länger: Die drei längsten brauchten 120,0, 59,7 und 39,8 Minuten. Alle 80 Durchgänge liefen in einem Stück und ohne Eingriff durch, in 13,0 Stunden einschließlich der Wertung.

Jeder Schritt des Agenten ist eine Anfrage an den Server: Er liest den neuen Teil des Verlaufs ein, meist die Ausgabe des letzten Werkzeugs, und schreibt Denken und den nächsten Werkzeugaufruf. Die Durchgänge selbst dauerten zusammen 12,8 Stunden. Davon entfallen 49 Minuten aufs Einlesen, 403 auf die Ausgabe und 313 auf Werkzeuge, vor allem die Tests, die der Agent selbst laufen lässt, und OpenCode. Das Tempo des Servers ändert sich mit wachsendem Kontext kaum.

Im Median braucht ein Durchgang 29 Schritte. Am tiefsten ging eine Sitzung mit 140.268 Token, gut die Hälfte des Kontextfensters von 262.144. Von 2.992 Werkzeugaufrufen scheiterten 19.

Ein Durchgang endete an der Zeitgrenze: G20 im ersten Durchgang, nach 120 Minuten und nur 49 Schritten. Der Patch, den der Agent bis dahin geschrieben hatte, besteht alle Tests und zählt deshalb als gelöst, wie bei SWE-bench.

Außer zum eigenen Server kam in keinem Durchgang eine Verbindung zustande. Die Sandbox des Betriebssystems sperrt jedes andere Ziel; eine Netzwache prüft das je Durchgang.