Tabellen sind der Ort, an dem Büroarbeit tatsächlich stattfindet, doch die meisten Agenten behandeln sie als Text. Diese Arbeit überträgt das Agent-Harness aus Coding-Agenten auf Tabellen: ein festgelegter Satz an Tabellenaktionen, ausgeführt gegen ein echtes Tabellenprogramm in einem isolierten Container. Geplant ist, etwa fünf Open-Weight-Modelle auf einem Harness zu vergleichen, dann das beste Modell festzuhalten und mein Harness mit fertigen Agent-Harnesses zu vergleichen, auf SpreadsheetBench. Ich bin in der Literaturrecherche; es ist noch nichts implementiert und es gibt noch keine Ergebnisse.
01Warum Tabellen
Bitte einen Agenten, „die Rechnungen des letzten Quartals abzugleichen“, und er muss das richtige Blatt finden, Bereiche lesen, die er nicht auf einmal sieht, fremde Formeln respektieren und die Datei in einem Zustand hinterlassen, dem ein Mensch vertraut. Das ist Recherche und Ausführung in derselben Schleife. 1
Ein Benchmark, der nur die Endantwort prüft, übersieht den Weg dorthin. In einer Tabelle zählt auch der Weg: Eine korrekte Zahl, die über eine Formel geschrieben wurde, ist trotzdem eine kaputte Datei.
prüfen · D3 · 5/5
02Das geplante Harness
Die Idee ist, das Agent-Harness aus Coding-Agenten auf Tabellen zu übertragen. Der Agent bekommt einen festgelegten Satz an Tabellenaktionen, etwa Zellen lesen, eine Formel schreiben, filtern, sortieren und eine Pivot-Tabelle bauen, und arbeitet in einem isolierten Container an einer echten Tabelle. Aktuell geplant ist LibreOffice mit seiner Python-Brücke, ein Docker-Container pro Aufgabe, kein Netzwerk. 2
# a sketch of the planned action set (not implemented)read_cells(range)write_formula(cell, formula)filter(range, condition)sort(range, key)build_pivot(source, rows, values)validate()Eine korrekte Zahl über einer Formel ist trotzdem eine kaputte Datei.
03Die geplante Studie
Zwei Experimente, beide auf SpreadsheetBench 1. Erstens ein Harness und etwa fünf Open-Weight-Modelle. Zweitens das beste Modell festgehalten, während das ganze Harness getauscht wird: meines gegen fertige Agent-Harnesses, darunter SWE-agent 2 als Kandidat. Aus beiden zusammen will ich ableiten, ob ein starkes Modell oder ein starkes Harness mehr zählt. 3
04Stand der Dinge
Ich bin in der Literaturrecherche und gestalte das Studiendesign mit meinem Betreuer. Es ist noch nichts implementiert und es gibt noch keine Ergebnisse. Diese Seite wird aktualisiert, sobald sich die Arbeit bewegt.
Quellen
- 1. Z. Ma et al. SpreadsheetBench: towards challenging real-world spreadsheet manipulation. 2024.
- 2. J. Yang et al. SWE-agent: agent-computer interfaces enable automated software engineering. 2024.