『ChatGPTで作成した要旨を盗作チェッカーにかけたところ、オリジナリティスコアの中央値が100％となり、盗作だと検出されませんでした。次に同じ要旨をAI出力チェッカーにかけたところ、66％をChatGPTによるものと検出できたそうです。一方で、専門の研究者によるチェックはChatGPTで生成された要旨のうち32％を本物だと誤認した他、本物の論文のうち14％をAIによって生成された要旨だと誤認しました。』
オックスフォード大学で技術と規制について研究しているサンドラ・ワクテル氏は、「私は非常に心配しています。何が真実で何が真実でないかを専門家が判断できない状況になってしまったら、複雑なテーマを導くためにどうしても必要な存在を失ってしまうという悲惨な結果になりかねません」と強い懸念を述べています。ワクテル氏によると、科学者が研究の真偽を判断できないことで、自分が読んでいる研究が偽物だという理由で問題のある調査ルートに迷い込んでしまう可能性がある他、研究結果に基づく政策決定が正しく行われなくなるなど、社会全体にとっても影響があるとのこと。
一方で、ニュージャージー州のプリンストン大学のコンピューター科学者であるアルビンド・ナラヤナン氏は「真面目な科学者がChatGPTを使って論文の要旨を生成することはないでしょう。また、偽の要旨を検出できるかどうかは関係なく、問題はツールが正確で説得力のある要旨を生成できるかどうかです。それができない以上、ChatGPTを使うことによるプラス面はごくわずかであり、マイナス面は大きいのです」と見解を述べています。
論文では、「研究論文や会議録などの科学的コミュニケーションを評価する側は、AIが生成した文章の使用を阻止するためのポリシーを導入すべきです。また、特定のケースでチャットAIの使用を許可する場合は、何をどこまでAIで生成したのかという開示に関する明確なルールを設ける必要があります」と提案しています。
