Intelligente Sprachassistenten sind auch nicht perfekt

31.10.2023

Wie gut beherrschen Siri, Alexa & Co. die Feinheiten der französischen Sprache? Diese Frage hat die Romanistikstudentin Nayibe Tutschku in ihrer Bachelorarbeit untersucht. Die Ergebnisse zeigen: Da ist noch Luft nach oben.

Die französische Grammatik hält so manche Fallstricke parat – auch für intelligente Sprachassistenten. (Bild: KI-generiertes Bild)

Es ist schon vertrackt mit der französischen Aussprache: Wer sich gemerkt hat, dass les hommes – die Männer – „lesomm“ ausgesprochen wird, blamiert sich bei seinem nächsten Paris-Besuch unweigerlich, wenn er sich nach dem Weg nach „lesall“ – Les Halles erkundigt. Die ehemaligen Großmarkthallen werden nämlich im modernen Französisch „le all“ ausgesprochen.

Wenn sich schon der deutsche Tourist mit den Feinheiten der französischen Grammatik schwertut: Wie schneiden in solchen Fällen intelligente Sprachassistenten wie Siri, Alexa oder die Word-Sprachausgabe ab? Beherrschen sie die Regeln besser, weil sie perfekt darauf programmiert wurden? Oder geht es ihnen wie dem deutschen Besucher, der sich an sein Schulfranzösisch zu erinnern versucht und dann doch mal richtig, mal falsch liegt?

Die Liaison ist eine Herausforderung

Nayibe Tutschku, bis vor Kurzem Romanistikstudentin an der Julius-Maximilians-Universität Würzburg (JMU), hat diese Fragen im Rahmen ihrer Bachelorarbeit wissenschaftlich überprüft. Sie hat sich dafür ein sprachliches Phänomen ausgesucht, das in der Fachsprache Liaison genannt wird. Am Beispiel von 463 Wortgruppen hat sie drei Sprachsynthesesysteme dahingehend getestet, wie gut sie französische Texte vorlesen können – mit Blick auf die verschiedenen Varianten von Liaisons. Betreut wurde die Studentin von Dr. Sandra Ellena, Wissenschaftliche Mitarbeiterin an dem von Professorin Esme Winter-Froemel geleiteten Lehrstuhl für Romanische Sprachwissenschaft der JMU.

„In der Sprachwissenschaft unterscheidet man drei Fälle von Liaisons“, erklärt Nayibe Tutschku. Mal ist die Aussprache des Konsonanten an der Wortgrenze obligatorisch, wie im Fall von les hommes. Mal ist sie verboten, wie bei les halles. Und dann gibt es noch Fälle, in denen beides korrekt ist, wobei das Aussprechen des Konsonanten als stilistisch gewählteres Französisch wahrgenommen wird. Nayibe Tutschku hat untersucht, ob Siri, Alexa oder die Word-Sprachausgabe diese Feinheiten des Französischen beherrschen.

Große Unterschiede zwischen den drei Programmen

Ihr Ergebnis zeigt große Unterschiede: „Bei der Realisierung der obligatorischen Liaison schnitt Alexa mit 93 Prozent am besten ab, knapp gefolgt von Siri mit 91 Prozent, während die Sprachausgabe von Word nur 79 Prozent der obligatorisch zu realisierenden Endkonsonanten korrekt erzeugt hat“, erklärt Tutschku. Dafür erzielte Word bei der verbotenen Liaison das beste Ergebnis mit einer Fehlerquote von 13 Prozent fälschlicherweise ausgesprochener Endkonsonanten, während Siri mit einer Fehlerquote von 25 Prozent das Schlusslicht bildet.

Bei der fakultativen Liaison zeigte sich ein besonders heterogenes Bild: Hier entschied sich Siri in 64 Prozent der getesteten Fälle für die gehobene Ausdrucksweise, Word machte dies bei 48 Prozent und Alexa bei 35 Prozent. „Diese Ergebnisse legen den Schluss nahe, dass sich bei der Programmierung der Entscheidungsbäume für die einzelnen Liaison-Kategorien, bei den Lernalgorithmen und den von der jeweiligen KI verwendeten Datenbanken große Unterschiede und auch Inkonsistenzen ergeben“, erklärt Tutschku.

Sprachwissenschaft ist wichtiger Teil des Studiums

Wie kommt man als Romanistikstudentin auf die Idee, sich in der Bachelorarbeit nicht mit den Werken Balzacs, Flauberts oder Zolas zu beschäftigen, sondern mit intelligenten Sprachassistenten? „Ich habe selbst regelmäßig Sprachassistenten benutzt, als ich vor fünf Jahren aus Kolumbien nach Deutschland gekommen war, um die Aussprache zu üben“, erklärt Tutschku. Dabei seien ihr die Grenzen dieser Technik aufgefallen. Im Studium habe sie dann Kurse im Bereich IT und Programmieren belegt und ihr Wissen bei Nebenjobs in IT-Unternehmen in die Praxis umgesetzt.

Ungewöhnlich sei diese Kombination nicht, sagt Sandra Ellena. „Natürlich gehört zum Romanistikstudium die Beschäftigung mit Klassikern der – je nach Schwerpunkt – französischen, italienischen oder spanischen Literatur“, so die Wissenschaftlerin. Eine wichtige Rolle nimmt aber auch die Untersuchung der Strukturen und der Geschichte der studierten Sprache ein. Dabei werden die Entwicklungen bis in die Gegenwart eingeschlossen und auch die Rolle von digitalen Techniken und Anwendungen untersucht.

Weit über den Anforderungen einer Bachelorarbeit

Stunden- beziehungsweise tagelang Siri, Alexa und Word dabei zuzuhören, wie sie französische Sätze formulieren, war dementsprechend nur ein kleiner Teil der Arbeit von Nayibe Tutschku. Davor musste sie sich erst einmal um das passende „Futter“ kümmern – das Sprachkorpus, das alle drei Liaison-Kategorien gut repräsentiert, also jeweils möglichst alle komplexen Bedingungen ihres Vorkommens berücksichtigt. Als das erledigt war, tauchte die nächste Hürde auf: „Siri und Word konnte ich problemlos die Texte vorlesen lassen. Bei ihnen konnte ich sogar die Geschwindigkeit individuell einstellen. Bei Alexa ging das nicht“, sagt die Romanistin. In diesem Fall musste sie sich erst in eine spezielle Programmiersprache einarbeiten, um damit Alexa zum Vorlesen bewegen zu können.

„Die Studie geht meines Erachtens weit über den Anforderungsrahmen einer Bachelor-Thesis hinaus“, lautet denn auch Sandra Ellenas Urteil. Sie könne als gutes Beispiel wissenschaftlicher Praxis und interdisziplinären Arbeitens gelten und verbinde theoretische Betrachtung mit einer anwendungsbezogenen Ausrichtung. Damit zeige das Projekt, dass zur Verbesserung Künstlicher Intelligenz geisteswissenschaftliche Expertise notwendig beziehungsweise unentbehrlich ist. Schließlich könne die Informatik nun die Ergebnisse dazu nutzen, die Software für maschinelle Sprachausgabe an den als kritisch ermittelten Stellen noch weiter zu verbessern, so die Sprachwissenschaftlerin.

Wechsel in die Industrie

Nayibe Tutschku arbeitet mittlerweile – nach dem erfolgreichen Abschluss ihres Bachelorstudiums – in der Industrie. In einem IT-Unternehmen in Stuttgart kümmert sie sich zwar nicht um die Perfektionierung von Sprachassistenten. Dank ihrer Sprachkenntnisse berät sie jedoch Kunden in ganz Europa und unterstützt das Entwicklerteam dabei, die User-Experience zu verbessern.

Das bedeutet allerdings nicht, dass sie ein Masterstudium abgehakt hat – ganz im Gegenteil. Wenn die Umstände passen, will sie diesen Traum unbedingt verwirklichen – gerne auch an der Universität Würzburg. Und wer weiß, wie es dann weitergeht: Für Sandra Ellena hat Nayibe Tutschku definitiv auch das Potenzial für eine Promotion.