Retresco – dpa, 1:1 (1:0)

Die Aufmerksamkeit um das Thema Roboterjournalismus und die Anzahl derer, die sich mit dem Thema auseinandersetzen, wird immer größer. Derer, die dazu forschen, erfreulicherweise auch. Aus gegebenem Anlass also ein Blick in die aktuelle Forschung.

Besonders spannend und daher teilenswert erschienen uns die Ergebnisse der Bachelorthesis „Roboter als Gatekeeper?“ von Milena-Sophia Schwoge an der Hochschule Hannover.

Anhand journalistischer Qualitätskriterien¹ wurden 70 automatisch generierte Fußballberichte der rtr textengine – ohne menschliches Einwirken ausgewählt, also weder außerordentlich gelungene Texte noch welche mit einer außerordentlich sauberen Datengrundlage – mit 70 – ebenso zufällig ausgewählten – von Journalisten verfassten Fußballberichten der dpa verglichen.

 

Das Ergebnis?

 

Fangen wir vorne an. Die faktische Berichterstattung der automatisch und journalistisch erstellten Texte nimmt sich erstmal nichts – selbes Spiel, selbes Ergebnis. Überraschenderweise sind die automatisch erstellten Texte jedoch deutlich verständlicher geschrieben. Die dpa-Texte ließen sich dem ermittelten Lesbarkeitsindex² zufolge oft als strukturell „schwierig“ oder „anspruchsvoll“ einordnen. Und nicht nur das, auch in puncto Unterhaltsamkeit steht der automatische Text dem journalistischen Bericht in nichts nach. So heißt es in der Arbeit, dass “eine gut trainierte Software ebenfalls in der Lage ist, einen Spielbericht unterhaltend und somit anregend zu gestalten.” ³

Nicht zu übertreffen sind die Texte unserer textengine außerdem in ihrer Aktualität. Während die automatische Textgenerierung ungefähr 450 Millisekunden braucht, benötigt der menschliche Reporter durchschnittlich 7,8 Minuten. Das ist nicht weltbewegend, möchte man meinen, und wahrscheinlich würde jeder Fußballfan auch einige Minuten auf den Nachbericht zum Spiel seines Teams warten – der entscheidende Unterschied liegt aber in der Unmöglichkeit, zu jedem Spiel jeder Regionalliga einen Reporter zu schicken. Und zwischen einem Reporter im Zeitdruck und einem Nachbericht per Knopfdruck.

Als Folge dessen häufen sich die (Flüchtigkeits-)Fehler eher auf Seiten der Reporter, beim Roboterjournalisten kommen sie quasi gar nicht vor.

 

So weit, so gut. 1:0 für die textengine.*

 

Durch das vorgegebene Repertoire an Formulierungen, das bei einem menschlichen Reporter logischerweise größer, um nicht zu sagen unbegrenzt, ist, kommt es bei den dpa-Berichten zu weniger sprachlichen Wiederholungen.

Die außerdem sehr ergebnisorientiert berichtende textengine, hat noch ausbaubares Potential bei der Einordnung von Geschehen: Von Spielergebnis, Eckstößen und roten Karten können Mensch und Maschine gleichermaßen berichten, ob der Sieg allerdings verdient, ungerechtfertigt oder notwendig war, um den Abstieg zu vermeiden, lässt sich nur bedingt aus der Datenlage ablesen. Diese Kontextualisierung fällt dem Sportjournalisten dann doch etwas leichter.

 

Um letztendlich bei der Fußballmetapher zu bleiben: Der Vergleich geht unentschieden aus. Und irgendwie ist es doch ein Sieg für den Roboterjournalismus.*

 

In Zeiten, in denen automatisch und journalistisch erstellte Texte sich nicht mehr unterscheiden lassen, wird es darum umso wichtiger, über den Unterschied zu informieren. Die Verfasserin Melina-Sophia Schwoge plädiert daher in ihrer Arbeit für eine Kennzeichnungspflicht automatisch generierter Texte. Ein Standpunkt, den wir so teilen.

 

Vielen Dank an Milena-Sophia Schwoge (@MilenaSchwoge) für die Bereitstellung ihrer Bachelorthesis „Roboter als Gatekeeper“.

 

Über Retresco

Bereits seit 2008 entwickelt Retresco führende AI-Lösungen im Bereich Content Automation. In den letzten Jahren hat sich das Unternehmen zunehmend zu einem der weltweit führenden Anbieter in der automatischen Textgenerierung (NLG) entwickelt und dutzende Projekte für Kunden aus den Bereichen Medien, E-Commerce und Finanzdienstleistungen umgesetzt.

 


¹ Untersuchte Kriterien: Vielfalt, Aktualität, Relevanz, Richtigkeit, Objektivität, Transparenz, Verständlichkeit und Unterhaltsamkeit.
² Analyse nach dem sogenannten Flesch-Index, untersucht wurde die Struktur des Textes – ein Wert von 61,51 für die textengine und ein Wert von 51,51 für dpa.
³ Untersucht wurde die Anzahl an Metaphern, witzigen Formulierungen und Reizwörtern – bei der Häufigkeitsverteilung der einzelnen lag die textengine stets wenig unter und dpa stets wenig über 50%.
⁴ Anzahl von Fehlern/Unstimmigkeiten: 23/70 bei der dpa, 1/70 bei der textengine.

 

* Hierbei handelt es sich um Meinungen, die so von uns, nicht aber in der Bachelorthesis vertreten werden.

 

©  Mpho Mojapelo