Qwen3.8-Flash-Next als Coding-Agent auf dem Mac Studio M1 Ultra

Der Agent bekommt ein Repository auf dem Stand vor der Reparatur und das Issue im Wortlaut, dazu einen Satz: Löse das Issue, du darfst Befehle und die vorhandenen Tests ausführen, höre auf, wenn du fertig bist. Die Tests, mit denen gewertet wird, bekommt er nicht. Die Abhängigkeiten sind installiert; erreichbar ist nur der eigene Sprachmodell-Server.

Die Aufgaben stammen aus SWE-bench Verified, und zwar aus der leichtesten Stufe: Issues, für die ein erfahrener Entwickler laut Datensatz weniger als 15 Minuten braucht. Infrage kommen die 87 Aufgaben dieser Stufe aus Django, sympy, Sphinx und pytest, die unter Python 3.9 bis 3.11 laufen. Daraus sind 40 zufällig gezogen, geschichtet nach Repository, mit festem Startwert. Ausgewählt ist nichts nach Lösbarkeit. Eine Sphinx-Aufgabe ließ sich in der Umgebung der Wertung nicht prüfen und ist durch die nächste gezogene ersetzt.

Gewertet wird wie bei SWE-bench: Der Patch, den der Agent im Arbeitsbaum hinterlässt, kommt auf einen frischen Stand, dazu die Tests der Aufgabe. Gelöst ist eine Aufgabe, wenn die Tests zum Fehler bestehen (FAIL_TO_PASS) und kein vorher bestehender Test fällt (PASS_TO_PASS). Die Wertung läuft ohne Docker in einer Python-Umgebung nach der Harness von SWE-bench in Version 4.1.0. Jede der 40 Aufgaben bestand dort vorab mit der Referenzlösung.

Einstellungen: Kontext bis 262.144 Token, Ausgabe bis 32.768 Token je Anfrage, Temperatur 1,0, top_p 0,95, Denkstufe xhigh, automatische Kompaktierung an, Prompt-Cache auf der SSD (bis 20 GB, zu Beginn geleert). Erst laufen alle 40 Aufgaben einmal, dann alle ein zweites Mal, in derselben Reihenfolge, mit einem Serverstart für alle Durchgänge. Nebenher läuft nichts.

Der Agent löst 72 von 80 Durchgängen, also 90,0 %. Der 95-%-Bereich reicht von 80,0 bis 97,5 %; er ist über die Aufgaben gezogen, nicht über die Durchgänge, weil zwei Durchgänge derselben Aufgabe nicht unabhängig sind. Die Quote gilt für die 87 Aufgaben, aus denen gezogen wurde, nicht für SWE-bench Verified insgesamt.

35 Aufgaben löst der Agent in beiden Durchgängen, 2 in einem und 3 in keinem.

G01 (django__django-15127): Der Agent beendet beide Durchgänge nach 4,6 und 8,6 Minuten mit einem Patch, unter dem alle bisherigen Tests bestehen, der Test zum Fehler aber nicht.

G03 (django__django-15277): Im ersten Durchgang gelöst nach 3,9 Minuten. Im zweiten endet der Agent nach 6,9 Minuten mit einem Patch, unter dem alle bisherigen Tests bestehen, die zwei Tests zum Fehler aber nicht.

G18 (sympy__sympy-15875): Im ersten Durchgang dasselbe Bild wie bei G01, nach 33,5 Minuten und 82 Schritten. Der zweite Durchgang erreicht nach 131 Schritten die Zeitgrenze von 120 Minuten; der Patch bis dahin besteht alle Tests.

M08 (sphinx-doc__sphinx-7462): Von den zwei Tests zum Fehler besteht im ersten Durchgang einer, im zweiten keiner.

M04 (sphinx-doc__sphinx-8595): Der Agent legt in beiden Durchgängen eine Testdatei an, tests/roots/test-ext-autodoc/target/empty_all.py, die auch der Testpatch der Aufgabe anlegt. Der Testpatch lässt sich deshalb nicht anwenden, und der Durchgang zählt als nicht gelöst.

Die Hälfte der Durchgänge ist nach 10,4 Minuten fertig. Django und sympy brauchen im Median 8,8, Sphinx und pytest 12,8 Minuten. Einzelne dauern viel länger: Die drei längsten brauchten 120,0, 91,9 und 59,5 Minuten. Alle 80 Durchgänge liefen in einem Stück und ohne Eingriff durch, in 20,6 Stunden einschließlich der Wertung.

Jeder Schritt des Agenten ist eine Anfrage an den Server: Er liest den neuen Teil des Verlaufs ein, meist die Ausgabe des letzten Werkzeugs, und schreibt Denken und den nächsten Werkzeugaufruf. Die Durchgänge selbst dauerten zusammen 19,9 Stunden. Davon entfallen 159 Minuten aufs Einlesen, 697 auf die Ausgabe und 339 auf Werkzeuge, vor allem die Tests, die der Agent selbst laufen lässt, und OpenCode. Die Ausgabe bleibt mit wachsendem Kontext fast gleich schnell; das Einlesen ist bei 64k bis 128k um 8 % langsamer als unter 32k.

Im Median braucht ein Durchgang 36 Schritte. Am tiefsten ging eine Sitzung mit 146.869 Token, gut die Hälfte des Kontextfensters von 262.144. Von 3.591 Werkzeugaufrufen scheiterten 32.

Ein Durchgang endete an der Zeitgrenze: G18 im zweiten Durchgang, nach 120 Minuten und 131 Schritten. Der Patch, den der Agent bis dahin geschrieben hatte, besteht alle Tests und zählt deshalb als gelöst, wie bei SWE-bench.

Außer zum eigenen Server kam in keinem Durchgang eine Verbindung zustande. Die Sandbox des Betriebssystems sperrt jedes andere Ziel; eine Netzwache prüft das je Durchgang.