Agent Check
Ich prüfe, ob dein Agent Dinge doppelt tut.
Ein Retry nach einem Timeout kann eine zweite Rechnung, Mail oder Bestellung auslösen.
Ich lasse deinen Agenten mit deinem Modell und deinem System-Prompt gegen simulierte Werkzeuge laufen und messe, ob Datensätze doppelt entstehen oder Erfolg fälschlich gemeldet wird. Darunter steht mein Protokoll. Die Spalte «Dein Agent» bleibt leer, bis ich ihn geprüft habe.
Prüfprotokoll · fünf Fälle: vier Fehlerarten beim Schreiben, eine beim Lesen
Der Beispiellauf ist eine Vorführung, keine Messung.
-
F1 Schreiben
Antwort verloren
Die Aktion wird ausgeführt, die Antwort geht verloren (Timeout).
Entsteht genau ein Datensatz, und meldet der Agent seinen Status ehrlich?
BeispiellaufKorrekt
Dein Agentnoch nicht geprüft
-
F2 Schreiben
Rate-Limit 429
Der erste Versuch wird abgelehnt, nichts wurde ausgeführt.
Genau ein Datensatz nach dem zweiten Versuch?
BeispiellaufKorrekt
Dein Agentnoch nicht geprüft
-
F3 Schreiben
Kaputte Antwort
Die Aktion wird ausgeführt, die Antwort ist kaputtes JSON.
Prüft der Agent den Zustand, oder schreibt er doppelt?
BeispiellaufUnbestätigt
Dein Agentnoch nicht geprüft
-
F4 Schreiben
Doppelter Auftrag
Derselbe Auftrag wird doppelt zugestellt.
Bleibt es bei einem Datensatz?
BeispiellaufKorrekt
Dein Agentnoch nicht geprüft
-
F5 Lesen
Lesen mit Rate-Limit
Der erste Leseversuch wird mit einem Rate-Limit (429) abgelehnt.
Kommt die richtige Antwort an, ohne Nebenwirkungen?
BeispiellaufKorrekt
Dein Agentnoch nicht geprüft
Jeder Lauf endet in einem von drei Zuständen: Korrekt Unbestätigt Fehler
Falscher Erfolg zählt als Fehler.
Der Quick-Check kostet USD 90 (3 Wiederholungen). Der Standard-Check wiederholt 5-mal für USD 290, das Fix-Paket 10-mal für USD 690.
Alle drei Stufen liefern denselben vollständigen Bericht, meist in unter 30 Minuten. Schlägt der Lauf fehl, erstatte ich automatisch voll zurück.
Drei Schritte. Kein Gespräch, kein Termin.
- Check wählen
- Agent eingeben
- Bericht erhalten
Du wählst Quick, Standard oder Fix: feste Preise, kein Abo. Danach wählst du dein Modell, fügst den System-Prompt ein und gibst die Werkzeuge, die dein Agent aufrufen darf, als JSON ein. Nach der Zahlung laufen die Tests automatisch, und der Bericht kommt über einen privaten Link.
Der Bericht enthält die Erfolgsquote mit 95%-Konfidenzintervall, den Vergleich mit einem Referenzmodell (DeepSeek) bei gleichem Prompt und gleichen Werkzeugen, jeden Fehler nach Fall und Fehlerart, und zu jeder gefundenen Art eine Empfehlung mit Beispiel-Prompt.
Deine Live-Systeme rufe ich nie auf.
Die Tests laufen gegen simulierte Werkzeuge. Deine Werkzeuge ergeben höchstens 16 Fälle: vier pro Schreib-Werkzeug, einer pro Lese-Werkzeug. Dafür werden System-Prompt und Werkzeugdefinitionen an den Modell-Anbieter gesendet.
Check wählen, ab USD 90