AIに生成と採点を別々のモデルに分担させても、評価が甘くなる問題は解消されないことが実務経験から判明した。解決策はAIの性能向上ではなく「順番」にあり、AIに事前予測を書かせて封じた後に人間が回答し、ズレた箇所をもとに出力ではなくプロンプト(指示)を改善するアプローチが有効とされる。AI評価の信頼性に課題を感じている開発者・企業担当者にとって実践的な示唆を持つ内容だ。
読み込み中...
コメントを投稿するにはログインしてください