Chatbots: Metriken zur Generierung von Customer Insights

Das große Interesse an Chatbots in der Online-Industrie hat innerhalb kurzer Zeit hunderte Chatbots für verschiedenste Zwecke entstehen lassen. Von Produktivitätsbots, Brainstorminghilfen und Kochbots bis hin zu Meditations- und Unterhaltungsbots ist alles dabei. Die Anbieter in der Kernbranche der Bot-Programmierung und angrenzender Services wie Tracking, Visualisierung und Konzeption blühen auf.

Obwohl einige Kunden eine eher von Vorsicht geprägte Einstellung zum Thema künstliche Intelligenz haben, vertrauen immer mehr Kunden den Chatbots und sehen sie als nützliche Tools.
Das sagte Jeremy Pounder, Futures Director bei Mindshare, in einem Statement:

Chatbots have emerged as a new way for brands to engage with customers […]. Surprisingly consumers are very receptive to AI chat technology, and even trust it over human interaction in certain scenarios.

Chatbots – neuer Bestandteil der Customer Journey

Viele Unternehmen nutzen Bots hauptsächlich zu Imagezwecken, um sich als innovatives, technologisches Unternehmen darzustellen. Darüber hinaus können Bots als hilfreiche Tools in allen Phasen der Customer Journey eingesetzt werden. Abgesehen von ihren Hauptaufgaben, generieren Bots wertvolle Daten, die zur Gewinnung von Customer Insights dienen können.
Da ein Bot in vielen Aspekten direkte menschliche Kommunikation ersetzt, gibt es die Möglichkeit, nahezu „normale“ Gespräche mit Kunden in Form von Text aufzuzeichnen und zu analysieren. Die Texte selbst und die dazugehörigen Interaktionskennzahlen zeigen neue und interessante Möglichkeiten für Marketiers.

Welche Chatbot-Metriken sind relevant?

Angefangen bei den grundsätzlichen Fragen nach der Nutzung des Chatbots bis hin zu qualitativen Merkmalen der Gesprächsabläufe bieten die Chatbot-Kennzahlen einen guten Überblick über die Interaktion mit dem User.

Active und engaged rates – interagieren die User mit dem Bot?

Mit dem Anstieg des Vertrauens der User gegenüber Chatbots, stellt sich nicht mehr die Frage, ob die User einen Erstkontakt zum Chatbot aufbauen würden. Ferner stellt sich manchmal die Frage, ob eine Unterhaltung mit dem Chatbot aufrechterhalten werden kann.

Abbildung: Ein Chatverlauf in der App "Morning Text"

Wenn der User eine Nachricht in einer Session liest, gilt diese Session als active. Somit ist eine active rate die Anzahl der active Sessions geteilt durch die Anzahl der gesamten Sessions des Users. Wenn der User auf eine Nachricht in einer Session antwortet, gilt diese Session als engaged. Somit ist eine engaged rate die Anzahl der engaged Sessions geteilt durch die Anzahl der gesamten Sessions des Users.

Die Aussagekraft der beiden Kennzahlen (insbesondere ihrer Kombination) hängt maßgeblich davon ab, welche Aufgabe der Chatbot verfolgt und um welches Produkt es sich handelt.
Chatbots, die zum Beispiel dem User täglich Updates zu einem bestimmten Thema oder Motivationszitate liefern, erfordern keine Interaktion und haben deswegen eine sehr niedrige engaged rate (siehe: Morning Text). Bei einem Chatbot, der einen Verkaufsservice als Ziel hat, wäre dies fatal.
Eine hohe active rate ist jedoch für alle Arten von Chatbots relevant, da auch eine einseitige Kommunikation einen Mehrwert für den User und für das Unternehmen darstellen kann.

Confusion rate und triggers – wie oft entstehen Missverständnisse zwischen Bot und User?

Je nach Frage und Fragestellung können User sehr viele verschiedene Inputvarianten eingeben, vor allem solche, die der Chatbot nicht versteht (siehe MojiHunt: Es gibt mehrere Schlüssel-Emojis!). Andererseits gibt es auch Fälle, wenn der User den Chatbot aufgrund einer Formulierung, einer unglücklichen Wortwahl oder fehlender Kenntnisse nicht versteht.

Abbildung: Ein Chatverlauf in der App "MojiHunt"

Beide Arten von Missverständnissen lassen sich mit der Kennzahl confusion rate beobachten. Die confusion rate ergibt sich aus der Anzahl der Sessions mit einer confusion-Situation geteilt durch die Anzahl der gesamten Sessions des Users.

Jedoch kann diese Kennzahl nicht ohne eine qualitative Analyse eingeordnet werden. Eine Auswertung der Dialogtexte ermöglicht einen sehr guten Einblick in die confusion triggers (Auslöser der confusion-Situationen) und ist Voraussetzung dafür, neue Inputvarianten einzubauen.
Eine qualitative Analyse der confusion triggers kann die Entscheidung darüber beeinflussen, wann der Chatbot das Gespräch an einen CRM-Mitarbeiter übergeben sollte. Außerdem können confusion triggers auf Kundenfragen hinweisen, die bei der Konzeption des Chatbots nicht bedacht wurden.

Conversation steps – wie viel wird getextet?

Wie oft müssen Fragen und Antworten ausgetauscht werden, bis der User sein Ziel erreicht? Wie kann der User einen Dialog mit dem Chatbot lenken? Diese Fragen lassen sich mithilfe der Anzahl der conversation steps beantworten.
Ein conversation step ist ein Austausch von Aussagen im Chat. Beispiel für einen conversation step: Der Chatbot stellt eine Frage und der User antwortet mit Ja oder Nein.
Eine große Anzahl an conversation steps ist nicht immer ein Zeichen für eine produktive Unterhaltung mit dem Chatbot. Oft bedeutet das sogar, dass der Bot den User nicht eindeutig versteht und immer wieder nachfragen muss. Oder aber der User gibt falsche oder nicht ausreichende Informationen an, die für den Service bzw. für die Unterhaltung nötig wären.
Umgekehrt sind sehr kurze Unterhaltungen ein Zeichen für eine hohe Abbruchrate. Diese kann entweder standardisiert betrachtet oder mit einer individuellen Zeitspanne der Nichtreaktion definiert werden.
Das Überwachen der Anzahl der conversation steps und der dazugehörigen Abbruchrate kann dabei helfen, die User nach ihren Zielen und typischen Gesprächsverläufen zu clustern und ihre Dialogpfade entsprechend zu optimieren.

Durchschnittliche Anzahl der Conversations/User – wie oft interagieren die User mit dem Bot?

Viele Chatbots werden als Promotion Touchpoints positioniert. Damit sind sie nur innerhalb einer begrenzten Zeitspanne wirklich relevant. Andere Chatbots stellen eine Verlängerung eines andauernden Services dar und haben damit ein längeres Leben.
Die durchschnittliche Anzahl der Conversations/User ist eine Kennzahl, die ohne Hintergrundinformationen zum Produkt oder Service nur eine rein deskriptive Beobachtung liefert. Beispielsweise könnten folgende Fragen gestellt werden:

• Wie entwickelt sich die durchschnittliche Anzahl der Conversations im Zeitverlauf?
• Wie hoch ist die durchschnittliche Anzahl der Conversations pro Tag, Woche und Monat?
• Wie oft wird der Service normalerweise benutzt?
• Wie oft wird der User dazu animiert, eine Unterhaltung mit dem Chatbot fortzuführen? Muss der User mit dem Chatbot interagieren?
• Welche Antwortformate bietet der Chatbot an?
   

Eine sinkende Anzahl der Conversations/User könnte ein Indikator dafür sein, dass die angebotenen Informationen oder Formate für den User uninteressant sind oder aber die Fragen des Users nicht beantworten. Wenn der Chatbot z. B. Produktalternativen zum Kauf anbieten soll, könnte eine sinkende Anzahl der Conversations/User ein Indikator dafür sein, dass die angebotenen Produkte den Bedürfnissen des Users nicht entsprechen; eine logische Konsequenz wäre, vorab mehr Fragen zu stellen.
Diese Kennzahl hat auch eine gute Aussagekraft, wenn neue Features eingeführt und getestet werden.

Retention – wie oft kommen die User wieder?

Die Kombination aus der durchschnittlichen Anzahl der Conversations/User, active rate und engaged rate sagt unter anderem etwas über die User Retention aus. Ein Clustering nach den Einführungszeitpunkten von neuen Features, Dialogsträngen, Formaten, Promotions etc. lässt eine qualitative Wirkung auf die User Experience erkennen. Die Wiederkehrrate als Basisindikator für die Retention darf natürlich auch nicht vernachlässigt werden.

Sentiment Analysis – die Kirsche auf der Sahnehaube

Chatbots führen Dialoge mit echten Menschen, die Gefühle haben. Ein empathischer Chatbot ist nicht nur unterhaltsam, sondern kann auch Insights über die emotionale Einfärbung verschiedener Dialogthemen generieren.
In der Neurolinguistischen Programmierung können Worte, die Emotionen beschreiben, entweder nach Kategorien oder mit numerischen Werten ausgewertet werden.
So kann ohne tiefere Analyse der Texte eine Aussage darüber getroffen werden, wie die Gespräche insgesamt aus der emotionalen Perspektive des Users verlaufen. So können positive und negative Gespräche unabhängig von ihren Inhalten und Zielen identifiziert und zu Optimierungs- und Schulungszwecken genutzt werden.

Funktionen und Ziele

Chatbots können sehr vielseitig innerhalb der Customer Journey eingesetzt werden. Am Anfang eines Chatbot-Projekts ist es zunächst wichtig zu verstehen, welches Ziel ein Bot erfüllen soll. Die Ziele eines Bots können aus den Unternehmenszielen abgeleitet werden. Die Aufgaben und Ziele eines Chatbots sowie der Charakter des Produkts, das damit beworben werden soll (Service, Produkt-Service-Kombination, Produktreihe etc.), entscheiden über die Metriken, die getrackt werden sollen und über die Customer Insights, die gewonnen werden können.
Ein Chatbot wird in die bestehende Customer Journey eines Unternehmens integriert. Deswegen können Chatbot-Metriken nicht isoliert von anderen Journey-Stationen und entsprechenden KPIs betrachtet werden.
Das folgende Beispiel zeigt eine schematische Ableitung der Funktionen und Ziele eines Chatbots in einem serviceorientierten Unternehmen:

Abgesehen von harten Zahlen, spielen auch qualitative Aspekte eine Rolle. Die Metriken geben Auskunft darüber, wie effizient die Prozesse ablaufen. Sie können jedoch nicht dazu animieren, einzelne Dialogstränge qualitativ zu hinterfragen.

Eine Phase der Generierung von Learnings sollte bei jeder Auswertung dabei sein. Genauso wie ein Mensch durch jede zusätzliche Erfahrung dazulernt, sollte ein Chatbot immer weiterentwickelt werden.

Quellen:

Venturebeat.com: 5 metrics every chatbot developer needs to track
Businessinsider.com: Here's how chatbot metrics differ from traditional apps
Chatbotsmagazine.com: The Top 5 Analytics Platforms For Chatbots
Chatbotsmagazine.com: Empathic Chatbots