Wer vor ein paar Wochen LinkedIn aufmachte, staunte nicht schlecht: Eine deutsche KI-Firma schaltete Werbung auf Schweizerdeutsch.
«Vieu Tools chöme bim Schwiizerdütsch nid druus», stand da. «DeepL scho. Ab jetzt live – teschte es am Beschte sälber.»
Die Kampagne weckte einige Skepsis auf LinkedIn, unter anderem bei Reto Vogt. Er testete einen Ausdruck, mit dem man sich auf Berndeutsch einen guten Abend wünscht – «e hiube hinech» – und DeepL machte daraus «Ich bin ein weibliches Schaf.»
Es blieb unklar, wie gut dieses Produkt wirklich Schweizerdeutsch kann. Auch ein Blogpost vom Hersteller konnte die Verwirrung nicht aufklären, da er manchmal über Schweizerdeutsch sprach («How we brought Swiss German to DeepL»), manchmal über Hochdeutsch. War alles nur ein grosses Missverständnis?
Als Computerlinguist finde ich diese Fragen enorm spannend: Wie bringt man einer KI so etwas wie Dialekt bei? Und wie überprüft man methodisch korrekt, ob ein Sprachmodell oder Übersetzungssystem eine Sprache kann?
Soeben haben wir ein Forschungsprojekt mit 244 Beteiligten abgeschlossen, das dazu neue Erkenntnisse liefert. Konkret haben wir eine Sammlung von Sätzen veröffentlicht, die für KI schwierig zu übersetzen sind, genannt Last Translation Benchmark. Einige der Sätze sind auf Schweizerdeutsch – eine perfekte Gelegenheit, DeepL damit auf die Probe zu stellen.
Aus Butter wird ein Berufungsverfahren
Was beim Übersetzen von Schweizerdeutsch schiefgehen kann, zeigt eine kurze Frage: «Hemmer no anke dihei?» Gemeint ist: Haben wir noch Butter zu Hause? ChatGPT übersetzt das im folgenden Beispiel richtig, DeepL nicht (und klassifiziert den Satz überdies als Norwegisch).
Das ist Beispiel Nr. 395 aus Last Translation Benchmark – und dieser neue Test ist in mehreren Hinsichten einzigartig. Er deckt über 100 Sprachen ab, darunter Dialekte und Sprachvarianten, die in der KI-Forschung oft wenig Aufmerksamkeit bekommen, wie eben Schweizerdeutsch. Und zu jedem Beispiel gehört eine Checkliste, die festhält, worauf es bei der Bewertung ankommt.
Beim obigen Beispiel gibt es nur ein Kriterium: «Anke» muss als «butter» übersetzt werden. Somit fokussiert die Bewertung direkt auf das schwierigste Element des Textes. Andere Beispiele haben mehrere Kriterien. Bei diesem Satz wird etwa geprüft, ob «Haubfinau» und «seckle» richtig verstanden werden:
Natürlich könnten Muttersprachler:innen auch ohne ein Checklisten-Verfahren beurteilen, ob eine KI sinnvollen Output produziert. Aber eine solche Stichprobenkontrolle hat ihre Tücken: Sie kann subjektiv sein und ist nicht beliebig oft wiederholbar. Unser Verfahren ist hingegen vollständig automatisiert.
KI-Systeme im Vergleich
Last Translation Benchmark kann einerseits für eine qualitative Analyse verwendet werden: Man kann vergleichen, wie sich alternative Angebote wie Supertext und Apertus auf den Beispielen verhalten, und ob die Übersetzungen eventuell nur einen Teil der Kriterien erfüllen.
Über 23 Texte hinweg entsteht auch ein quantitatives Bild: Wie viele Übersetzungen bestehen insgesamt alle Qualitätskriterien?
DeepL übersetzt nur einen den schweizerdeutschen Texte vollständig korrekt. ChatGPT und Gemini schneiden besser ab, aber auch dort gibt es noch Luft nach oben.
In einer entgegengesetzten Richtung, bei der Übersetzung von Standardsprache nach Schweizerdeutsch, besteht ChatGPT 12 von 18 Beispielen, Gemini deren 11. DeepL bietet Schweizerdeutsch als Ausgabesprache derzeit nicht an und lässt sich deshalb in dieser Richtung nicht vergleichen.
Ist die Behauptung, DeepL verstehe Schweizerdeutsch, also objektiv Chabis? Zu beachten ist, dass Last Translation Benchmark bewusst realistische, aber schwierige Texte umfasst. Einerseits heisst das, dass DeepL auf einfacheren Texten vielleicht besser performen würde. Andererseits zeigt die Forschung, dass Nutzer:innen besonders empfindlich auf schwere Fehler reagieren: Auch wenn ein Übersetzungssystem meistens gut funktioniert, kann schon ein einziger Fehler das Vertrauen in das System stark verringern. Das ist die Grundmotivation hinter unserem Testverfahren.
Welchen Dialekt sollen wir als Nächstes testen?
Die erste Version von Last Translation Benchmark ist veröffentlicht, letzten Freitag haben wir einen Preprint mit den Zwischenergebnissen online gestellt. Wir sammeln aber weiterhin Daten für eine nächste Version der Benchmark.
Gesucht sind zum Beispiel Beiträge auf weiteren schweizerdeutschen Dialekten – kennt sich jemand mit Altbaseldeutsch aus? Auch für Rätoromanisch decken wir aktuell vor allem Sursilvan ab und könnten Beiträge in anderen Idiomen gut gebrauchen. Und schliesslich sind auch Daten in den Schweizer Gebärdensprachen aktuell rar, vor allem aus lizenzrechtlichen Gründen.
Wer bei Last Translation Benchmark mitmachen möchte, findet hier die Anleitung.
Mit Dank an das LTB-Team, Reto Vogt, und Michelle Wastl. Die Rohdaten sind hier zugänglich.