Antworten aus der Ursuppe

Noch nie haben so viele Menschen in so kurzer Zeit ein neues Computerprogramm benutzt: Im Februar, nur drei Monate nach seiner Veröffentlichung, verzeichnete das sprachbasierte KI-Modell ChatGPT bereits 100 Millionen Nutzer. ChatGPT scheint auf jede Frage eine Antwort zu wissen. Selbst akademische Abschlussprüfungen soll die KI schon bestanden haben.

Der von der kalifornischen Firma OpenAI entwickelte Chatbot setzt die Branchenführer Google und Microsoft mächtig unter Druck. Microsoft hat bereits Milliarden in OpenAI investiert und Ende Januar eine weitere Kapitalspritze von zehn Milliarden Dollar angekündigt. Ziel ist es, ChatGPT in die Microsoft-Suchmaschine Bing und die Office-Software einzubinden. Die Google-Mutter Alphabet holte gar die Gründer Larry Page und Sergey Brin aus dem Ruhestand, um eine Gegenstrategie zu entwickeln. Am 21. März ging der Google-Chatbot Bard für einen ausgewählten Nutzerkreis in den USA online.

Bis auf weiteres ist jedoch ChatGPT der Platzhirsch bei den auf generativer KI basierenden Chatbots. Generative KI, die neueste Spielart der künstlichen Intelligenz, setzt Algorithmen des maschinellen Lernens ein, um aus vorhandenen Texten oder Bildern neue Inhalte zu erstellen. Nicht wenige Experten glauben, dass die generative KI unser Leben ebenso einschneidend verändern wird, wie es zum Beispiel das Internet oder das Smartphone getan haben. OpenAI-Chef Sam Altmann fabulierte in einem Interview mit dem Wirtschaftsmagazin «Forbes» gar, dass die generative künstliche Intelligenz über das Potenzial verfüge, dem Kapitalismus ein Ende zu bereiten.

Reden wie ein Mensch

ChatGPT, basiert auf dem «Generative Pre-trained Transformer 3», kurz GPT-3, einem KI-Sprachmodell, das OpenAI bereits im Jahr 2020 veröffentlicht hat. Sein Wissen bezieht dieses Sprachmodell von einer riesigen Menge an Internetseiten. Was GPT-3 besonders gut beherrscht, ist das Verstehen und Generieren von Sätzen. Mit anderen Worten: GPT-3 kann reden wie ein Mensch. Doch genau wie beim Menschen gilt auch für Chatbots: Reden allein genügt nicht. Welche nützlichen Aufgaben kann generative KI in absehbarer Zukunft übernehmen? Silvia Quarteroni, Chief Transformation Officer am Swiss Data Science Center (SDSC) - einem Joint Venture zwischen der EPF Lausanne und der ETH Zürich – sieht hohes Anwendungspotenzial vor allem in der Textproduktion: «Ich denke dabei an textlastige Aufgaben - das Schreiben von Zusammenfassungen, Übersichten, Berichten und sogar ersten Entwürfen von Marketingslogans», so Quarteroni im EPFL-Magazin «Dimensions». «Die Programme sind vielleicht nicht immer so gut wie Menschen, aber ihr Output hat oft einen gewissen Nutzen.»

Um diesen Nutzen zu erschliessen, bedarf es jedoch derzeit noch erheblicher Anwenderkompentenz. Wer gute Antworten erhalten will, muss gute Fragen stellen. Und: je genauer die Aufgaben definiert sind, die man der KI überträgt, desto brauchbarer wird auch das Ergebnis. Das klingt trivial, ist es aber nicht. Zumindest in der aktuellen Frühphase der generativen KI, ist so viel Expertenwissen gefragt, dass das neue Berufsbild des Prompt-Designers entstanden ist. Das sind Menschen, die die Funktionsweise von Chatbots und Bildgeneratoren so gut kennen, dass sie mit ausgeklügelten Fragen und Befehlen bessere Ergebnisse erzielen können als Laien.

Plausibel aber falsch

Doch selbst, wer ChatGPT und Co. die richtigen Fragen stellt, kann nicht sicher sein, dass auch die Antworten stimmen. «Wenn man dem Chatbot eine Frage stellt, gibt er eine plausible und gut formulierte Antwort», sagt Antoine Bosselut, Leiter des Natural Language Processing Laboratory der EPF Lausanne. Nur kann die eben auch falsch sein: «ChatGPT hat keine Möglichkeit zu wissen, ob seine Aussagen wahr oder falsch sind», sagt Bosselut. «Es schustert lediglich Antworten zusammen, die auf der Wahrscheinlichkeit beruhen, dass bestimmte Wörter nebeneinander vorkommen.»

«ChatGPT hat keine Möglichkeit zu wissen, ob seine Aussagen wahr oder falsch sind.»
Antoine Bosselut, EPFL

Bosseluts Kollege Robert West ist sich sicher, dass im Wissensschatz von ChatGPT eine Menge Falschinformationen stecken. Das zentrale Problem: Man weiss nicht, was ChatGPT weiss. «In den heutigen Sprachmodellen wie GPT-3 ist das zugrundeliegende Wissen über eine Ursuppe von 175 Milliarden Parametern verteilt», erklärt West, der an der EPFL als Assistenzprofessor dem Gebiet der Verarbeitung natürlicher Sprache mit neuronalen Netzen forscht. «Wir können die Box nicht öffnen und auf alle darin gespeicherten Fakten zugreifen. Daher wissen wir Menschen nicht, was das Modell weiss, es sei denn, wir fragen es. Wir können folglich nicht einfach etwas Falsches korrigieren, denn wir wissen nicht, was falsch ist.»

Mit seiner Forschungsarbeit will Robert West Struktur in diese Ursuppe bringen. Dafür hat sein Data Science Lab kürzlich einen Starting Grant des Schweizerischen Nationalfonds in Höhe von 1,8 Millionen Franken erhalten. Trotz dieser Finanzspritze ist das Vorhaben alles andere als einfach. Der Versuch, Modelle wie GPT-3 zu verstehen, sei im Prinzip eine Art Neurowissenschaft, sagt West. «Wenn wir etwas studieren, das in der Natur vorkommt, versuchen wir etwas zu verstehen, das wir nicht gebaut haben. Aber diese Dinge haben unsere Computer nie verlassen und wir verstehen einfach nicht, wie sie funktionieren.»

Lesen Sie mehr zum Thema im Dossier «Artificial Intelligence: Friend or Foe?» im EPFL-Magazin «Dimensions».

Autor: Hendrik Thielemann
Bildquelle: ht/Leonardo AI

Weitere Artikel aus der STZ
Die polytechnische Fachzeitschrift SWISS ENGINEERING STZ und das französischsprachige Pendant SWISS ENGINEERING RTS erscheinen zehn Mal jährlich. Das Magazin berichtet über Entwicklungen in der Branche, zeigt Trends auf und gibt Einblick in die Aktivitäten des Berufsverbands. Mitglieder erhalten die Fachzeitschrift samt Spezialausgaben Bau & Architektur, Automation, Energie, Maschinen und Bahntechnik in der Schweiz kostenlos nach Hause geliefert.
Hier finden Sie eine Auswahl an weiteren Artikeln