13. Dezember 2016

Studie: Virtuelle Assistenten und Chatbots

Clara, Jana, Carla – virtuelle Assistentinnen, die alle gleich freundlich, aber nicht alle gleich kompetent sind. In einer Studie wurden drei deutschsprachige Chatbots getestet, die Kunden online beraten und unterstützen. Dabei zeigte sich, dass sich die jeweiligen Kommunikations- und Supportfähigkeiten stark unterscheiden.

In Kooperation mit der Heinrich-Heine-Universität Düsseldorf wurde von Kauz eine Vergleichsstudie über die Qualität von virtuellen Assistenten durchgeführt. Ziel der Studie war es, zu ermitteln, wie der Chatbot Carla im Vergleich mit anderen aktuellen virtuellen Assistenten und Chatbots auf dem deutschsprachigen Markt abschneidet. Verglichen wurde Carla von Kauz Linguistic Technologies mit der Assistentin Jana, welche auf der Webseite der E-Post Auskunft gibt und Clara, die auf der Seite vom Versandhaus Otto zu finden ist.

Sprachfähigkeit

Im ersten Teil der Studie wurden zunächst die sprachlichen Fähigkeiten der Assistentinnen und Chatbots untersucht. Dabei wurden diese von Experten in zehn Kategorien ausgiebig getestet. Dabei ging es besonders um drei Kernpunkte:

  • flexible und natürliche Kommunikationsfähigkeit
  • die Möglichkeit komplexe und detailreiche Sätze zu verstehen
  • dem Verständnis entsprechend genau die richtige Antwort zu geben

Carla von Kauz zeigte bei diesen Tests herausragende Leistungen und übertraf ihre Konkurrentinnen deutlich. Sie erreichte knapp 80% der möglichen Punkte, Clara von Otto lag mit weniger als 55% deutlich darunter und E-Post-Jana erreichte nicht einmal die Hälfte der möglichen Punkte.

Nutzerfreundlichkeit

Im zweiten Teil der Studie wurden die Assistentinnen von 44 Studierenden der Heinrich-Heine-Universität Düsseldorf getestet. Für diese Nutzerstudie wurden die Tester in drei Gruppen aufgeteilt: Jeweils eine Gruppe testete eine Assistentin. Aufgabe war es, sich von den Assistentinnen beraten zu lassen und Fragen rund um die Produkte, das Unternehmen und den Support zu stellen. Anschließend wurden die Erfahrungen der Tester in Form eines Fragebogens festgehalten.

Ich konnte mit Carla ein richtiges Gespräch führen und sie konnte nach Zwischenkommentaren den Gesprächsfaden wiederaufnehmen.

(Zitat, Tester von Carla)

Auch hier überzeugte Carla. Sie bewies, dass zusätzlich zu sprachlichen Fähigkeiten auch Aspekte, wie abwechslungsreiche, charmante Antworten und eine umfassende Wissensbasis ausschlaggebend für die Zufriedenheit der Nutzer sind.

Die Ergebnisse der Studie zeigen, dass sich Carla deutlich von den anderen Assistentinnen abhebt. Durch ihre sprachlichen Fähigkeiten ist die durchaus in der Lage, die Aufgaben eines menschlichen Verkäufers zu übernehmen. Die Studie wurde vor einem halben Jahr durchgeführt und nun veröffentlicht. Mittlerweile konnten wir die Anwendung von Carla noch einmal deutlich verbessern.

Newsmail

Noch mehr Informationen?

Jetzt für den Newsletter anmelden