Open Source

agent-surface-tester

Setze frische KI-Agenten vor dein MCP, deine API, CLI oder dein SDK und beobachte, wo sie ins Stolpern geraten.

Ein lokales Test-Harness, das isolierte KI-Agenten ohne Repository-Kontext startet und jedem nur einen einzigen Zugang zu deinem Produkt gibt: deinen MCP-Server, deine REST-API und llms.txt, deine CLI oder dein SDK. Jeder Aufruf wird aufgezeichnet und durch Schutzvorkehrungen im Code abgesichert, damit Testläufe keine echten Ressourcen verändern können. Alle Ergebnisse fließen in einen einzigen Triage-Bericht ein.

Rolle: Autor
Jahr: 2026
Stack: Node ohne Framework, MCP SDK, OpenRouter
Besuchen: Quellcode

Warum dein Coding-Agent Fehler übersieht

Wenn du den Agenten in deinem Editor bittest, deinen MCP-Server zu testen, schummelt er unabsichtlich. Er hat deinen Quellcode bereits gelesen und kennt deshalb die Antwort aus deinen TypeScript-Typen, wenn ein Parametername mehrdeutig ist oder ein Beispiel in llms.txt fehlt. Der Agent eines echten Nutzers sieht nur, was deine Schnittstelle preisgibt. Dieses Test-Harness startet frische Modelle, die dein Repository noch nie gesehen haben.

Ein Zugang pro Durchlauf

Jeder Durchlauf verbindet sich jeweils mit nur einer Schnittstelle. Ein MCP-Agent erhält nur Zugriff auf deine MCP-Tools. Ein API-Agent bekommt nur einen abgesicherten HTTP-Client und deine öffentlichen Dokumente. Ein CLI-Agent erhält nur deine Binärdatei. Wenn du dasselbe Szenario durch alle vier Zugänge laufen lässt, fallen Abweichungen sofort auf: etwa ein sauberer 400-Validierungsfehler bei REST, der bei MCP zum 500-Absturz wird, oder eine CLI-Hilfe, die so lang ist, dass sie mitten im Durchlauf abgeschnitten wird.

Sicherheit steckt im Code, nicht im Prompt

Bei unserem ersten Testlauf ignorierte ein kostenloses Modell die Prompt-Regel, nur selbst erstellte Ressourcen zu ändern, und pausierte ein bestehendes Widget. Deshalb setzt das Test-Harness die Eigentümerschaft im Code durch: Es erfasst die IDs, die während des Durchlaufs erstellt werden, und blockiert Änderungen oder Löschungen an bereits vorhandenen Ressourcen, bevor die Anfrage deinen Rechner verlässt. Dateisperren pro Zugangsdaten verhindern Kollisionen bei parallelen Durchläufen.

Schnelle Regressionstests und Stresstests für Frontier-Modelle

Ein umfassender Testlauf kostet bei schnellen Modellen einen Bruchteil eines Cents und bei Frontier-Modellen mit Reasoning-Fähigkeiten ein paar Cents. Schnelle Modelle finden Lücken in der Dokumentation, Tippfehler in Schemas und unbehandelte Fehler. Frontier-Modelle testen die Grenzen von Richtlinien, logische Sonderfälle und die Überprüfung der Bereinigung.

4Getestete Schnittstellen: MCP, API, CLI, SDK

94End-to-End-Testläufe mit 7 Modellfamilien

< $0.05pro umfassendem mehrstufigem Testlauf