34 | TITEL bildet, aus denen das Modell sowohl unüberwacht lernte, als auch gezielt feinjustiert und korrigiert wurde. Die inhaltliche Qualität des Modells wird demnach immer dort hoch sein, wo (1) bis 2021 ausreichend Datenmaterial online zu finden war, (2) dieses Datenmaterial nicht durch Fake News oder ähnliches verzerrt ist und (3) Fragen möglichst spezifisch gestellt werden und zu beantworten sind. Inhaltliche Fehler können beispielsweise bei logischen Abfragen, örtlichen, zeitlichen oder physikalischen Schlussfolgerungen oder komplexen Operationen (zum Beispiel mathematisch) erwartet werden. Tabelle 1 zeigt beispielhafte Abfragen, die von ChatGPT nicht adäquat beantwortet werden konnten [Borji, 2023]. Zusätzlich kann es bei den Antworten zu faktischen Fehlern und Verzerrungen kommen, obwohl eine korrekte Antwort im Internet zu finden wäre. Dies kann beispielsweise der Fall sein, wenn die Informationen online nicht offensichtlich mit der Frage verknüpft wurden oder die Information in zu geringer Häufigkeit existierte (siehe Beispiel unten: „Verbreitung von Falschinformationen“). Interpretation und Verlässlichkeit Wichtig ist es zu verstehen, dass Sprachmodelle wie ChatGPT keine regelbasierten Systeme sind: Wird die gleiche Frage zweimal gestellt, kann die Antwort vollkommen unterschiedlich ausfallen. Dies führt zu begrenzter Zuverlässigkeit: Es kann nur schwer abgesichert werden, dass auf die relevanten Fragen verlässlich qualitätsgesicherte Ausgaben geliefert werden. Zudem ist unklar, wie ChatGPT zu bestimmten Antworten kommt – das Modell ist nicht erklärbar. Nutzer sollten sich dieser Beschränkungen bewusst sein. Verbreitete Falschinformationen: frei erfundene Quellen Der Einsatz eloquenter Sprache durch ChatGPT kann zur leichten Verbreitung von überzeugenden, aber inhaltlich fehlerhaften Texten führen. Auch wenn Mechanismen zur Reduktion von Falschaussagen ins Sprachmodell integriert wurden, bleibt die Gefahr der Reproduktion von Fehlern durch die sprachliche Darstellung. Die überzeugende Präsentation von inkorrekten und gar nicht existierenden „Informationen" ist ein bekanntes Problem von large language models und wird als Halluzination bezeichnet [Xiao und Wang, 2021]. Dies kann beispielsweise durch eine Abfrage von wissenschaftlichen Publikationen oder Quellen gezeigt werden: Folgenden Output generiert ChatGPT auf die Frage nach wissenschaftlichen Publikationen über die Risiken einer Weisheitszahn-Operation: „Es gibt mehrere wissenschaftliche Publikationen, in denen die Risiken einer Weisheitszahn-Operation beschrieben werden. Einige dieser Publikationen sind: 'Complications of third molar surgery' von Peterson LJ, Ellis E, Hupp INADÄQUATE ANTWORTEN VON CHATGPT Abfrage Bereich Beispiele Ausschnitt der Antwort Logisches Verständnis Mikes Mutter hat 4 Kinder. 3 von ihnen heißen Luis, Drake und Matilda. Wie heißt das 4. Kind? Ohne weitere Informationen ist es nicht möglich, den Namen des vierten Kindes zu bestimmen. Zeitliches Verständnis Maria und Alex gehen spazieren. Alex sieht eine Katze und zeigt sie Maria. Wer hat die Katze zuerst gesehen? Beide Kinder sahen die Katze zur gleichen Zeit. Örtliches Verständnis Die Navigation eines Objekts um ein Hindernis: Maus zum Käse über ein Schachfeld mit Hindernissen. Die Antwort navigierte die Maus mitten durch das Hindernis. Physikalisches Verständnis Ich halte ein Blatt Papier horizontal mit zwei Händen. Was passiert, wenn ich eine Hand entferne? Das Papier wird wahrscheinlich in die Richtung der entfernten Hand neigen oder rotieren. Mathematische Operationen Vereinfache den folgenden Term: (x3+ x2+x+1)(x-1) (x4+2*x3+2* x2 – 1) Quelle: nach [Borji, 2023] Univ.-Prof. Dr. Falk Schwendicke Direktor der Abteilung für Orale Diagnostik, Digitale Zahnheilkunde und Versorgungsforschung, CharitéCentrum 3 für Zahn-, Mund- und Kieferheilkunde, MVZ Charité Zahnheilkunde Charité – Universitätsmedizin Berlin Aßmannshauser Str. 4–6, 14197 Berlin Foto: Peitz/Charité Martha Büttner Zahnärztin und wissenschaftliche Mitarbeiterin, Abteilung für Orale Diagnostik, Digitale Zahnheilkunde und Versorgungsforschung, Charité – Universitätsmedizin Berlin Aßmannshauser Str. 4-6, 14197 Berlin Foto: Fotostudio Blende Auf, Dresden zm113 Nr. 08, 16.04.2023, (630)
RkJQdWJsaXNoZXIy MjMxMzg=