Open source
agent-surface-tester
Mettez de nouveaux agents IA à l’épreuve de votre MCP, API, CLI ou SDK, et observez où ils trébuchent.
Un banc de test local qui lance des agents IA isolés, sans aucun contexte sur votre dépôt, et donne à chacun un seul accès à votre produit : votre serveur MCP, votre API REST et votre llms.txt, votre CLI ou votre SDK. Chaque appel est enregistré et protégé par des garde-fous intégrés au code, afin que les tests ne touchent pas aux ressources réelles. Les résultats sont regroupés dans un rapport de triage unique.
- Rôle
- Auteur
- Année
- 2026
- Stack
- Node sans framework, MCP SDK, OpenRouter
- Visiter
- Code source
Pourquoi votre agent de programmation passe à côté des bugs
Si vous demandez à l’agent de votre éditeur de tester votre serveur MCP, il triche sans le vouloir. Il a déjà lu le code source : face à un nom de paramètre ambigu ou à un exemple absent de llms.txt, il se souvient de la réponse grâce à vos types TypeScript. L’agent d’un vrai utilisateur ne voit que ce que votre interface expose. Ce banc de test lance des modèles vierges qui n’ont jamais vu votre dépôt.
Un accès par exécution
Chaque exécution se connecte à une seule interface à la fois. Un agent MCP n’a accès qu’à vos outils MCP. Un agent API ne dispose que d’un client HTTP sécurisé et de votre documentation publique. Un agent CLI n’a accès qu’à votre binaire. Exécuter le même scénario par les quatre accès permet de repérer immédiatement les divergences : une erreur de validation 400 claire sur REST qui devient un plantage 500 sur MCP, ou une aide CLI si longue qu’elle est tronquée en plein tour.
La sécurité est assurée par le code, pas par le prompt
Lors de notre premier test, un modèle gratuit a ignoré une règle du prompt qui lui demandait de ne modifier que les ressources qu’il avait créées, et a mis en pause un widget existant. Le banc de test impose donc la propriété dans le code : il suit les ID créés pendant l’exécution et bloque toute mise à jour ou suppression d’une ressource préexistante avant que la requête ne quitte votre machine. Des verrous de fichiers par identifiant empêchent les exécutions parallèles d’entrer en conflit.
Vérifications rapides de régression et tests de résistance des modèles avancés
Un parcours complet coûte entre une fraction de centime avec les modèles rapides et quelques centimes avec les modèles avancés de raisonnement. Les modèles rapides repèrent les lacunes de la documentation, les erreurs de schéma et les erreurs non gérées ; les modèles avancés sondent les limites des règles, les cas limites de la logique et la vérification du nettoyage.
4surfaces testées : MCP, API, CLI, SDK
94tests de bout en bout sur 7 familles de modèles
< $0.05par parcours complet en plusieurs étapes