„ChatGPT“ im Test: Künstliche Intelligenz versagt bei „Soest-Quiz“
Wenn Soest plötzlich 71.000 Einwohner hat und der Bürgermeister Manfred Weber heißt: Die Künstliche Intelligenz hat viel zu bieten. Die Antworten, die sie auf unser „Soest-Quiz“ ausspuckt, lassen zu wünschen übrig. Ein Versuch.
Soest – Ein Online-Programm sorgt derzeit für Aufruhr: Es handelt sich um die „künstliche Intelligenz“ (KI) namens „ChatGPT“. Bei Schülern ist sie beliebt, weil sie Hausaufgaben in Sekundenschnelle lösen kann. Doch wie gut ist die KI bei lokalen Fragen? Wir haben sie mit einem kleinen „Soest-Quiz“ herausgefordert. Um das Ergebnis vorwegzunehmen: Die KI hat auf ganzer Länge versagt.
Was ist „ChatGPT“? Das onlinebasierte Werkzeug gleicht einem Chatfenster, wie es beispielsweise von Whatsapp bekannt ist. Nutzer können dem Programm Fragen und Aufgaben stellen. Die künstliche Intelligenz versteht die menschliche Sprache und in wenigen Sekunden gibt es ausführliche Antworten in Form von Texten, die angesichts ihrer Formulierungen auch aus der Feder eines Menschen stammen könnten. Auch Matheaufgaben können von „ChatGPT“ gelöst werden – inklusive Lösungsweg. An der Universität von Pennsylvania hat „ChatGPT“ den Master in Betriebswirtschaftslehre mit der Note „B“, also einer 2, absolviert. Im Rahmen einer Studie hatte ein Professor getestet, wie die Software die Aufgabenstellung der Master-Abschlussprüfung beantworten würde.
„ChatGPT“: Soest hat 71.000 Einwohner
Mit anderen Fragen, deren Antworten in wenigen Sekunden per Online-Suche gefunden wären, hat „ChatGPT“ jedoch große Schwierigkeiten: So fragten wir die KI: „Wie viele Einwohner hat Soest in NRW?“. Die Antwort: „Soest ist eine Stadt in Nordrhein-Westfalen, Deutschland. Laut dem Statistischen Bundesamt hat die Stadt Soest eine Bevölkerung von etwa 71.000 Einwohnern (Stand: 2020).“ Falsch!
Tatsächlich hat Soest etwa knapp mehr als 50.000 Einwohner. Als wir „ChatGPT“ darauf hinweisen, dass Soest deutlich weniger Einwohner als 70.000 hat, antwortet das Programm: „Ich entschuldige mich, falls meine vorherige Antwort ungenau war.“ Die KI berufe sich auf Daten von 2020 (doch auch da hatte Soest natürlich keine 70.000 Einwohner). Das Programm rät, die aktuelle Bevölkerungszahl direkt bei der Stadt zu erfragen.
Frage an „ChatGPT“: Wie heißt der Bürgermeister von Soest?
Die nächste Frage: „Wie heißt der Bürgermeister von Soest in NRW?“, die „ChatGPT“-Antwort: „Der Bürgermeister von Soest ist Herr Manfred Weber.“
Die KI ergänzt ihre Antwort direkt mit der Empfehlung, „die aktuelle Information direkt bei der Stadtverwaltung zu erfragen“. Ob die KI hier ein Pseudonym von Bürgermeister Dr. Eckhard Ruthemeyer enttarnt hat? Wohl eher nicht. Die Antwort auf unsere letzte Frage hat uns in der Redaktion wahrlich schmunzeln lassen: „Für welche Großveranstaltung ist die Stadt Soest in NRW bekannt?“ Die Antwort: „Ich konnte keine Informationen darüber finden, dass die Stadt Soest für eine bestimmte Großveranstaltung bekannt ist. Soest ist jedoch eine historische Stadt mit vielen Sehenswürdigkeiten wie zum Beispiel dem Soester Dom, der zu den schönsten gotischen Kirchenbauten in Westfalen zählt und dem Soester-Anzeiger-Medienhaus, welches eine der ältesten Tageszeitungen Deutschlands ist.“ Wir empfehlen der KI, ein Auge auf die Anzeiger-Berichterstattung im November über die Allerheiligenkirmes zu werfen.
Doch nicht so intelligent?
Schüler, Studenten und Co., die überlegen, „ChatGPT“ als Ghostwriter zu nutzen, sollten also ganz genau überlegen, ob das, was das Programm ihnen dort liefert, nicht vielleicht vollkommener Quatsch ist.