Die Anekdote sagt alles aus, denn sie führt vor Augen, dass LLMs nicht Fragen beantworten, sondern eine Antwort auf die Frage simulieren, ohne die Frage zu "verstehen".

Zur falschen Antwort kommt es, weil das System findet, dass diese einer typischen Antwort auf diese Frage am ähnlichsten sieht.