人工知能のChatGPTに、日本正月協会の「お正月検定」に挑戦させました。この検定は、お正月に関する知識を試すもので、日本語版を例年実施しており、英語版リリースに向け準備中です。情報発信者の日本正月協会(本部／群馬県渋川市、代表／今成優太) は、日本全国各地のお正月の文化を研究・発信する団体です。
ChatGPTは、日本語版では、合格点の70点に到達できず、不合格となりました。一方、英語版では85点を獲得し、合格となりました。この結果について、人間の場合は、不合格者は全体の20％未満であり、満点合格者もいることから、この分野においての情報の信頼性は、ChatGPTよりも人間の方が高いと言えるでしょう。
現在、ChatGPTの性能には世間の注目が集まっています。しかし、今回の「お正月検定」においては、人間に勝てないという意外な結果となりました。
「お正月検定」英語版は、5月にリリース予定であり、10月末まで受検が可能です。オンラインで無料で受検できますが、合格証の発行は有料（価格未定）となります。問題内容は、昨年11月から本年1月末まで実施された日本語版とほぼ同一です。
お正月検定公式ページは以下より。
コメント