Chatbots tendieren zu Selbstüberschätzung
Bescheidenheit sollte man von einem KI-Assistenten nicht erwarten: Chatbots wie Google Gemini und ChatGPT neigen einer Studie zufolge dazu, ihre Fähigkeiten zu optimistisch einzuordnen.
In mindestens einem Punkt ähneln sich Menschen und KI-Chatbots nachweislich: Sie überschätzen ihre Fähigkeit, Fragen korrekt zu beantworten. Allerdings können Menschen nach einer Quizrunde tendenziell besser einschätzen, wie viele ihrer Antworten richtig waren. Das zeigen Tests mit verschiedenen KI-Chatbots, die eine Forschungsgruppe um Trent Cash von der Carnegie Mellon University in Pittsburgh durchführte.
In ihrer Studie, die im Fachjournal »Memory & Cognition« veröffentlicht wurde, wollten Cash und Kollegen herausfinden, ob die Programme selbst einschätzen können, wie vertrauenswürdig ihre Antworten sind. Dazu gaben sie menschlichen Probanden und vier KI-Chatbots dieselben Aufgaben und forderten sie auf, jeweils die Anzahl ihrer korrekten Antworten abzuschätzen. Zu den Chatbots zählten ChatGPT, Google Gemini samt Vorgänger Bard sowie Claude Sonnet und Claude Haiku.
