Blog
Anastasia Linnik
Chief Artificial Intelligence Officer, Retresco
Die Einführung von OpenAIs GPT-3 im Frühjahr 2020 sorgte für einen Umbruch in der Welt der Textautomatisierung mit großen Sprachmodellen. Der enorme Leistungssprung gegenüber GPT-2 überraschte alle, die mit dem Thema vertraut waren. Schnell wurde klar, dass die Fähigkeiten zur Textautomatisierung mit GPT-3 mit keinem anderen großen Sprachmodell vergleichbar ist.
Die Tatsache, dass sich OpenAI über den Vorgänger GPT-4 sehr bedeckt hielt weckte bei viele hohe Erwartungen an den Nachfolger. Und es sieht so aus, als würden sie nicht enttäuscht werden – wie neue Hinweise auf den Veröffentlichungstermin und die erweiterten Fähigkeiten des neuen Modells kürzlich zeigten. Tatsächlich könnten wir das neue Modell schon irgendwann zwischen Ende 2022 und Anfang 2023 zu sehen bekommen.
Als OpenAI GPT-3 herausbrachte, war es das erste große Sprachmodell, das Fähigkeiten zur Textautomatisierung bot, die frühere Generatoren in diesem Umfang nicht hatten. Das Marketingversprechen des End-to-End-Ansatzes ist, dass jede Art von Inhalt “on demand” und ohne Setup erstellt werden kann. Das Modell benötigt lediglich eine Anleitung und grob strukturierte Daten – und mittels Deep Learning “liest” der Algorithmus frei verfügbare Internetinhalte und eignet sich das nötige Wissen an, um einen Text “auszuspucken”.
Nachdem nun Informationen über den Nachfolger GPT-4 durchgesickert sind, stellt sich die Frage, ob GPT-3 nur eine geringere Leistung des futuristischen größeren Modelle zur Textautomatisierung bereitstellen könnte. Mehrere Anhaltspunkte führen in diese Richtung. Während zum Beispiel GPT-3 derzeit 175 Milliarden Parameter hat – das ist zehnmal mehr als jedes andere Modell auf dem Markt –, sagte Andrew Feldman, CEO des KI-Unternehmens Cerebras: “Aus Gesprächen mit OpenAI geht hervor, dass GPT-4 etwa 100 Billionen Parameter haben wird”. Dies würde in der Tat einen großen qualitativen Sprung zwischen den beiden Modellen bedeuten.
Aber das ist noch nicht alles.
Obwohl die Leute, die GPT-4 offenbar seit August in der Beta-Phase testen, ein NDA unterschreiben mussten, sind einige detailliertere Beschreibungen dessen, wie GPT-4 aussehen könnte, an die Oberfläche gelangt. Die Verlässlichkeit der Quellen ist zwar nicht garantiert, aber sie sorgen dennoch für große Aufregung bei Expert/innen und Nutzer/innen. Im Wesentlichen wurden drei Merkmale hervorgehoben:
Wenn das stimmt, ist das natürlich eine äußerst spannende Nachricht. Aber wir werden noch ein paar Monate warten müssen, um zu sehen, ob die neuen Möglichkeiten mit GPT-4 so vielversprechend sind, wie sie klingen.
Nicht erst seit dem Aufkommen der durchgängigen Textautomatisierung hat der Anwender die “Qual der Wahl” zwischen einem datenbasierten Ansatz mit anfänglichem Einrichtungsaufwand, aber auch mit anschließender “Belohnung” durch Vollautomatisierung und fehlerfreie Textausgabe, – und kreativen Lösungen über große Sprachmodelle, die zwar wenig Vorarbeit erfordern, aber im Betrieb fehleranfällige Texte erzeugen und daher manuell bearbeitet werden müssen. Auch GPT-4 wird dieses Problem nicht lösen können.
Aus diesem Grund hat Retresco den datenbasierten Ansatz zur Textautomatisierung mit den Vorteilen großer Sprachmodelle in einer hybriden Natural Language Generation Lösung, genannt “Hybrid NLG”, zusammengeführt. Das neue Assistenzsystem Hybrid NLG kombiniert Textvorschläge, die von einem großen Sprachmodell generiert werden, mit den datenbasierten Textmodellen der Content Automation Plattform textengine.io. Der zentrale Vorteil dabei ist, dass alle relevanten Textmodelle für die automatisierte Content-Generierung deutlich schneller aufgebaut werden können und unterschiedlichste Textsorten unterstützt werden.
Weitere Informationen zu Hybrid NLG.