最先端LLMが依然として簡単ななぞなぞや視覚パズルで失敗する理由

MIT Technology Reviewは、 一連の論理と空間パズルを用いて、現在のAIの限界を検証した。 コロンビア大学の研究では、モデルは2024年後半から2025年初頭にかけて、ニューヨークタイムズ（NYT）のConnectionsパズルの18％からほぼ100％を解くように改善した。 この進歩にもかかわらず、レポートは、フロンティアモデルがIQテストでよく見られる空間回転タスクに失敗し続けており、記憶されたトレーニングデータへの過度の依存のために、ナイツ・アンド・クナーヴズのような古典的な論理パズルのわずかなバリエーションによって簡単に騙されることを強調している。 これらのテストは、LLMがトリビアでは優れているが、人間の空間思考者に内在する堅牢な認知柔軟性と3D操作能力を欠いていることを明らかにし、「ワールドモデル」はまだ物理的推論をマスターしていないことを示唆している。