AI検出ツールは一貫性を欠き、人間の文章を不当にAI生成と判定する恐れ
Authors Guildのテストでは、PangramとGrammarlyのツールは人間が書いた文章をすべて正しく識別した一方、Sidekickerはすべての記事で失敗した。この一貫性のなさは著者にとってリスクとなり、偽陽性は契約の喪失や評判の低下を招きかねない。
著者ギルドは、2020年から2022年の記事に対して5つのAI検出ツールをテストした。その結果、PangramとGrammarlyはすべての人間の執筆を正しく識別したが、SidekickerはすべてのテキストをほとんどAIによって生成されたものとしてフラグを立てた。いくつかのツールの高いパフォーマンスにもかかわらず、ギルドは、検出ツールを信頼できず、安定したものではなくブラックボックスであると警告している。プロの執筆はトレーニングデータと統計的なパターンを共有するため、熟練した著者は、契約を無効にする可能性のある誤った非難のリスクが最も高い。結果は、人が訓練を支援した出力を真似ることで、人間の専門知識がペナルティを受けるというパラドックスを浮き彫りにしている。