Stellen Sie sich vor, Sie entwickeln einen KI-Voice-Agent für einen Kunden. Wochen an Arbeit, ein knappes Budget und ein Übergabetermin im Kalender. An diesem Tag präsentieren Sie einen Testbericht.
Wie soll dieser Bericht aussehen?
Grün. Komplett. Das ist kein Zynismus, sondern schlicht der Anreiz. Der Bericht ist der Beleg dafür, dass das Projekt fertig ist, dass die Rechnung gerechtfertigt ist und dass der Kunde zufrieden sein wird. Niemand baut eine Testsuite in der Hoffnung, dass sie ihm sagt, das Projekt sei noch nicht fertig.
Genau das ist das leise Problem beim Einkauf von Voice Agents heute.
Der Entwickler ist zugleich der Prüfer
In den meisten Voice-Agent-Projekten macht eine einzige Partei alles: Sie entwirft die Gesprächsabläufe, schreibt die Prompts, konfiguriert den Agenten, definiert die Testfälle, führt die Tests durch und berichtet die Ergebnisse. Der Kunde erhält ein Dashboard oder ein PDF und soll darauf vertrauen.
Dafür braucht es keine bösen Absichten. Die meisten Agenturen und Anbieter arbeiten kompetent und ehrlich. Das Problem ist strukturell: Wer von einem bestandenen Test profitiert, kontrolliert auch, was getestet wird.
Das zeigt sich in kleinen, oft unbewussten Details:
- Testszenarien schreiben die Leute, die den Agenten kennen. Sie wissen, welche Formulierungen gut funktionieren, also werden genau diese getestet.
- Die simulierten Anrufer sind kooperativ. Sie sprechen deutlich, beantworten die gestellte Frage und unterbrechen nie. Echte Anrufer tun das nicht zuverlässig.
- Fehlschläge werden behoben, indem man den Test anpasst, nicht den Agenten. Ein Szenario, das dreimal scheitert, wird still und leise zum Szenario, das "nicht im Scope" liegt.
- Metriken werden im Nachhinein ausgewählt. Wenn die Latenz glänzt und die Sentiment-Erkennung schwächelt, steht im Bericht die Latenz vorn.
- Das Test-Setup ist auf den Agenten zugeschnitten. Saubere Audioqualität, stabile Verbindungen, keine Dialekte, keine Hintergrundgeräusche.
Jeder einzelne Punkt ist unter Termindruck nachvollziehbar. Zusammen ergeben sie einen Bericht, der "bereit" sagt über einen Agenten, den niemand ernsthaft zu brechen versucht hat.
Grüne Dashboards sind kein Beweis
Ein grünes Testergebnis bedeutet nur dann etwas, wenn der Test hätte scheitern können. Ein Test, der vom selben Team geschrieben wurde, das den Agenten gebaut hat, unter Bedingungen läuft, auf die der Agent abgestimmt ist, und von der Partei berichtet wird, die bei Abnahme bezahlt wird, kann kaum jemanden überraschen.
Deshalb ist eine gelungene Demo ein so schlechter Indikator für das Verhalten in der Produktion. Dieselbe Dynamik haben wir in Ab wie vielen Testanrufen können Sie Ihrem Voice-Agenten vertrauen? beschrieben: Eine fehlerfreie Demo und ein zuverlässiger Agent sind zwei verschiedene Dinge.
Dann passiert in der Produktion, was in der Produktion immer passiert. Anrufer mit regionalem Akzent. Menschen, die sich mitten im Satz umentscheiden. Jemand, der aus dem Zug anruft. Ein Kunde, der schon verärgert ist, bevor der Agent "Guten Tag" gesagt hat. Genau diese Situationen fehlen in selbst bewerteten Testsuiten häufig, und genau dort bilden sich Ihre Kunden ein Urteil über Ihre Marke.
In allen anderen Bereichen gilt dasselbe Prinzip
Das ist keine neue Idee. Andere Branchen haben das Problem längst gelöst:
- Jahresabschlüsse prüft ein externer Wirtschaftsprüfer, nicht die Finanzabteilung, die sie erstellt hat.
- Sicherheitsteams beauftragen externe Penetrationstests, statt sich nur auf eigene Scans zu verlassen.
- Wichtige Software durchläuft unabhängige Qualitätssicherung oder Zertifizierung, nicht nur die Unit-Tests der Entwickler.
- Wissenschaftliche Ergebnisse werden von Personen begutachtet, die sie nicht selbst erzeugt haben.
Die Logik ist immer dieselbe: Wer etwas gebaut hat, ist am schlechtesten geeignet zu beurteilen, ob es gut genug ist. Nicht weil er unehrlich wäre, sondern weil er zu viel weiß, will, dass es funktioniert, und dafür bezahlt wird.
Voice Agents sind kundennahe Systeme. Sie sprechen in Ihrem Namen mit Ihren Kunden, über Ihre Produkte, manchmal über Geld, Gesundheit oder Verträge. Sie verdienen mindestens dieselbe Prüfung wie ein Quartalsbericht.
Was unabhängiges Testing wirklich bedeutet
"Unabhängig" ist schnell behauptet und leicht verwässert. Eine brauchbare Definition hat drei Teile:
- Unabhängige Eigentümerschaft. Die Testplattform ist Ihnen als Kunde verpflichtet und nicht der Partei, die den Agenten gebaut hat. Der Entwickler kontrolliert weder Szenarien noch Schwellenwerte oder Berichte.
- Unabhängiges Testdesign. Die Szenarien definieren die Menschen, die für das Geschäftsergebnis verantwortlich sind (Ihre CX-, Produkt- und Compliance-Teams), auch die unbequemen: Unterbrechungen, Dialekte, Lärm, themenfremde Anfragen, Versuche, den Agenten zu Aussagen zu bringen, die er nicht machen sollte.
- Unabhängige, vergleichbare Metriken. Latenz, Word Error Rate, Sentiment-Genauigkeit und Compliance werden jedes Mal gleich gemessen. So lassen sich Releases untereinander vergleichen, und auch verschiedene Anbieter.
Fehlt einer der drei Punkte, fragen Sie am Ende wieder den Entwickler, ob der Entwickler gute Arbeit geleistet hat.
Was das für den Einkauf eines Voice Agents bedeutet
Sie müssen nicht jeder Agentur misstrauen. Sie müssen ändern, was Sie als Beweis akzeptieren. Einige praktische Fragen, bevor Sie die Abnahme unterschreiben:
- Wer hat die Testszenarien geschrieben, und wer kann neue hinzufügen?
- Können wir eigene Tests gegen den Agenten laufen lassen, ohne den Entwickler?
- Welche Szenarien sind fehlgeschlagen, und was ist daraus geworden? Ein Bericht ohne einen einzigen Fehlschlag in irgendeiner Phase ist ein Warnsignal, keine Beruhigung.
- Wie wurden die Metriken definiert? Und würden sie nächstes Quartal genauso definiert?
- Was passiert, wenn sich das zugrunde liegende Modell oder ein Prompt ändert? Gibt es eine Regressionssuite, die Sie kontrollieren?
Gute Agenturen begrüßen diese Fragen. Sie haben nichts zu verbergen, und ein unabhängiges Ergebnis, das ihre Arbeit bestätigt, ist für sie viel mehr wert als ein selbst ausgestelltes.
Wo Wir_Schwatzen ins Spiel kommt
Genau dafür gibt es Wir_Schwatzen. Wir bauen Ihren Voice Agent nicht und verkaufen Ihnen auch keinen. Wir testen ihn, von außen und nach Ihren Regeln.
- Eine neutrale dritte Partei. Unsere Ergebnisse hängen weder davon ab, wer den Agenten gebaut hat, noch davon, ob das Projekt im Zeitplan liegt.
- Nur eine Telefonnummer. Wir brauchen keinen Zugang zur Plattform des Entwicklers. Deshalb funktioniert der Test mit Agenten jedes Anbieters.
- Szenarien, die Sie kontrollieren. Wir generieren sie aus einer Beschreibung oder dem System-Prompt, Ihre CX-Expertinnen und -Experten sowie Product Manager passen sie im No-Code-Editor an, auch die Fälle, die ein Entwickler lieber nicht sehen würde.
- Derselbe Test für jedes Release. Jedes Szenario läuft mehrfach. Das Ergebnis lautet Bestanden, Fehlgeschlagen, Instabil oder Unklar, mit Begründung und der genauen Stelle im Anruf als Beleg.
- Entwickelt und gehostet in Europa. Der Testprozess selbst erfüllt die Standards, die Sie auch vom Agenten erwarten.
Besteht Ihr Agent einen unabhängigen Test, haben Sie einen Beleg. Besteht er ihn nicht, wissen Sie es, bevor Ihre Kunden es merken. Beides ist besser als ein grünes Dashboard, das niemand hinterfragen durfte.
Vertrauen Sie den Entwicklern Ihres Voice Agents, dass sie ihn gut bauen. Und lassen Sie ihn dann von jemandem prüfen, der am Ergebnis nichts verdient.