LLM評価プラグイン

質問・回答・参照文脈をもとに、LLM回答の関連性や根拠との一致を評価します。変更前後の比較に使えます。

Dify上の実行結果は掲載していません。

回答のどこを改善したいか、評価項目を決める

プロンプトを変えた後、回答が良くなったかを印象だけで比べないためのプラグインです。質問と回答に加え、RAGなら参照文脈も渡し、関連性や根拠との一致を評価します。

同じ質問群で変更前後を比べ、下がった項目を調べます。Faithfulnessは回答が参照文脈に沿うかを見る指標、G-Evalは独自の評価基準を与える方式です。スコアだけで本番公開を決めず、業務上の誤りや見落としを人が確認します。

同じ質問群で変更前後を比較し、点が変わった回答と参照文脈を開いて確かめます。

対応環境・入力・出力・制約

配布物、利用条件、申請後の案内を専用フォームで確認できます。