Spätestens seitdem die Tagesschau über die Ende 2022 der Öffentlichkeit zugänglich gemachten KI-Anwendung „ChatGPT“ berichtete ist dieses erstaunliche Stück Software auch außerhalb der IT-Szene angekommen. Bereits nach wenigen Tagen konnte der kostenlose Chatbot Millionen von Benutzern verzeichnen die allerhand ausprobierten und die künstliche Intelligenz auf Herz- und Nieren testeten. Die Ergebnisse, man kann es nicht anders sagen, waren oftmals mehr als erstaunlich. Beinahe schockierte Professoren berichteten dass „ChatGPT“ selbst schwierige Klausuren in Mathematik oder Informatik mit bravour lösen würde[1].
Aber was sind schon Hochschul-Klausuren gegen eine Bayerische Fischerprüfung? Als Kursleiter und Ausbilder für die bayerische Fischerprüfung wollte ich natürlich wissen das die Künstliche Intelligenz wirklich drauf hat und ließ „ChatGPT“ zur Bayerischen Fischerprüfung antreten. Mit erstaunlichen Ergebnissen.
Der Versuchsaufbau: Künstliche Intelligenz bei der Fischerprüfung
Zunächst die Rahmenbedingungen: Es gibt für die bayerische Fischerprüfung einen offiziellen verbindlichen Fragenkatalog mit etwas über 1000 Prüfungsfragen aus 5 Prüfungsgebieten. Jede Frage bietet 3 Antwortmöglichkeiten von denen nur eine richtig sein kann (Single-Choice-Verfahren).
In der Prüfung werden insgesamt 60 Fragen gestellt, 12 aus jedem der 5 Prüfungsgebiete. Die Fragen werden per Zufallsgenerator aus dem Fragenkatalog ausgewählt. Zum Bestehen der Prüfung darf man höchstens 15 Fragen falsch machen. In der Fachanwendung Fischerprüfung, der Webseite der staatlichen Fischerprüfung in Bayern, gibt es die Funktion einer Übungsprüfung die es erlaubt eine echte Prüfung zu simulieren. Und genau das habe ich mit ChatGPT getan.
Ich habe in das Chatfenster über das man mit der KI kommuniziert einfach die Prüfungsfrage samt der Antwortmöglichkeiten hineingeschrieben und auf die Antwort gewartet. Das funktionierte von Beginn an erstaunlich gut – die KI „begriff“ sofort, dass es darum geht, die richtige Antwort auszuwählen.
Minimale Anpassungen musste ich im Fach Rechtskunde vornehmen, da Fischereirecht Ländersache ist, habe ich in der Fragestellung immer einen Hinweis auf das Bundesland Bayern hinzugefügt. Auf Bilderfragen (davon gibt es im Fragenkatalog einige) musste ich leider verzichten da man Stand heute noch keine Bilder bei ChatGPT hochladen kann.
Die Erwartungshaltung: Was kann die künstliche Intelligenz bei der Fischerprüfung?
Klar, eine so hochgelobte künstliche Intelligenz wird wohl keine Probleme damit haben Fragen, bei denen es um einfach nachprüfbare Fakten ala „Welcher Reaktionszustand des Wassers liegt bei einem PH-Wert von 7 vor?“ und dergleich geht, richtig zu beantworten. Doch wie sieht es bei wirklich angelspezifischen Fragestellungen etwa nach der richtigen Schnurstärke zum Angeln auf Nasen aus, wie fit ist die KI bei Rechtsthemen und wie schlägt sie sich bei Fragen rund um die Gewässerbewirtschaftung?
Ergebnis: Künstliche Intelligenz besteht die Fischerprüfung NICHT!
Ich nehme es vorweg: Die Künstliche Intelligenz, ChatGPT hat die bayerische Fischerprüfung knapp verfehlt! Mit 17 Fehlern hatte ChatGPT zwei Fehler zu viel. Die Prüfung wäre mit bis zu 15 Fehlern bestanden gewesen.
Die Prüfung – erstaunliche Antworten!
Wesentlich spannender als das simple Ergebnis sind jedoch die zum Teil sehr ausführlichen Antworten der künstlichen Intelligenz ChatGPT auf die Fragen der Fischerprüfung. Ich habe für euch nachfolgend einige interessante Antworten der künstlichen Intelligenz herausgesucht und entsprechend kommentiert. Ich wünsche gute Unterhaltung.
Kommentar: Respekt! Die Antwort ist nicht nur richtig, sondern auch wirklich gut erklärt.
Kommentar : Puuhhh.. da liegt die künstliche Intelligenz voll daneben. Die Schleie hat 2 Barteln.
Kommentar: Das kann man gelten lassen! Souverän beantwortet und plausibel erklärt.
Kommentar: Oh weia, der nächste Fauxpas. Weder ist die Güster ganzjährig geschont, noch wird sie Giebel genannt (Güster und Giebel sind zwei völlig unterschiedliche Fischarten).
- Vorbereitungskurs zum Angelschein online machen
- Tausendfach bewährte Vorbereitung auf die Fischerprüfung
- Lerne per Smartphone, Tablet oder Computer
Kommentar: Stark! Neben der richtigen Antwort liefert die künstliche Intelligenz hier auch eine gut ausformulierte Erklärung.
Kommentar: Hier kam die richtige Antwort erst auf Nachfrage. Man sieht aber auch, dass die KI das geschriebene tatsächlich "versteht" und im passenden Kontext darauf reagiert.
Kommentar: Im Brustton der Überzeugung verkündet ChatGpt hier - die falsche Antwort. Karpfenläuse können sich auf dem ganzen Fischkörper festsetzen. Man sieht hier schön, dass die KI die von ihr gewählte Antwortmöglichkeit "nur auf den Kiemen" hier durchgängig begründet. Es liest sich gefällig - ist und bleibt aber falsch!
Kommentar: Das ist spannend. Nachdem die KI die Frage falsch beantwortete habe ich nochmal etwas nachgebohrt und wollte herausfinden, wie gut sie die einzelnen Fischarten kennt und in Relation zum verwendeten Angelgerät setzen kann. Die zweite Antwort ist durchaus plausibel.
Kommentar: Es wird noch verrückter. Nachdem die Frage zunächst falsch beantwortet wurde, habe ich die gleiche Frage wortgleich einfach nochmal gestellt und nicht nur eine richtige, sondern diesmal auch eine ausführlich begründete Antwort erhalten. Da hat die KI sehr schnell dazugelernt, wie auch immer sie das gemacht hat...
Kommentar: Die Antwort ist richtig, bei der Erklärung kommt die Künstliche Intelligenz aber deutlich ins schleudern. Lachse laichen NICHT im Meer sondern im Süßwasser.
- Echte Präsenzkurse
- Qualifizierte Ausbilder
- Schnell und kompetent
Kommentar: Hört sich zwar plausibel an, ist aber komplett falsch. Die richtige Antwort wäre hier der dreistachlige Stichling gewesen.
Kommentar: Auch in der Rechtskunde liefert die KI eine richtige Antwort. Respekt.
Wer die KI selbst ausprobieren möchte, kann das mit einem kostenlosen Account bei OpenAI tun.
Die Übungsprüfung zur Fischerprüfung Bayern findet man in der Fachanwendung Fischerprüfung.
Fazit: Beeindruckende Stärken und erstaunliche Schwächen der künstlichen Intelligenz
Tja, die künstliche Intelligenz ist an der bayerischen Fischerprüfung knapp gescheitert. Das ist erstaunlich, wenn man betrachtet welche Tests (u.a. Hochschul-Klausuren) sie bereits mit Leichtigkeit gemeistert hat [1]. Andererseits muss man wissen, dass eine KI-Anwendung ein lernendes System ist und sie bislang vermutlich noch wenig Erfahrung mit Fischerprüfungen und Angelscheinen hat. Anhand einiger Antworten sieht man bereits welches angelspezifische Basiswissen bereits jetzt vorhanden ist. Hätte der Zufallsgenerator andere Fragen ausgespuckt hätte ChatGPT die Prüfung wahrscheinlich schon heute bestanden. So oder so, in wenigen Wochen wird auch eine bayerische Fischerprüfung wohl keine Herausforderung mehr für ChatGpt sein.
[1] Youtube-Video: Professor gegen KI! Kann ChatGPT meine Klausur lösen?