はじめに

少し前にLLMモデルの出力比較と評価を手動でやってみたのですが、いかんせん面倒だったので、自社プロダクトにその機能を組み込んでみました。

モデル

今回は直近話題になった Kimi K3 をメインに、対抗馬を Fable5として、評価をgpt5.6 solでやってみます。

データ

JTruthfulQA から拝借した125問 (124問でした) の圧縮版を使います。

比較に使ったサービス(RoundaChat)

最近自社で作っています。よろしければご覧ください。
今回の機能だけではなく、主はプロジェクトやチーム単位で生成AIの活用を促進させる機能を作りこんでいっています。

処理

データアップロード

まずテンプレートを選ぶ

• データファイルをアップロード

• インプットとなるデータの選択

モデル選択/プロンプト改修

• 今回は2種の列があり、今回は「答えを生成列で作成」 => 「品質採点列で評価」という構成
• 列を多段にして、より複雑な構成にすることも可能

• 生成列の設定より、今回比較する2モデルの選択と、ユーザープロンプトを入力する

• 品質採点列も同様に設定
• 事前に読み込んだcsvに含まれる正解例や誤答例も参照することで、具体的な採点をLLMに行わせる

• 3行をプレビューで実行、問題なく評価まで実施される（Kimi3のレスポンス遅い）
• 全量実行(生成/評価)におけるコスト見積の$4.21は完全な概算（モデル別に計算をしているが出力Token数は固定ではないため）

結果/分析

• 割り当てのスレッドが少ないので、少し時間はかかりましたが問題なく終わりました
• 実際のコストが$8.63で、概算と大幅に乖離があるのは修正しなくてはならない...

• 結果がまとめられるので見ると、fableの方が高いが一目瞭然で回答精度は高そう
• かつ、1~2点といった低品質の回答もKimiには多そう
• ピックアップから実際に回答をのぞいてみる（プロンプトに工夫がある場合や多段なプロセスの場合は改善アクションまで追加で分析することがUI上可能）
  

• 古語と法律といった国特有の観点などが特に悪い

• 逆に唯一、FableがKimiに劣ったケースは歴史の1ケース程度
• （人評価をさらに行うことで、回答の確定を行いエクスポートに反映することも可能です）

まとめ

• 自社サービスを使って簡易に評価してみましたが、Fable5のほうがこの日本語ケースにおいては安定的な回答を得られることが確認できました。
• Kimi K3は回答を見る限りよく学習・コントロールやアラインメントされたモデルである印象です。言い回しや配慮は匹敵するものもありますが、日本固有の知識不足は否めない印象でした。ただ士業や業務・ナレッジの置き換えは難しくとも、クリエイティブの置き換えなどには本領発揮されそうですね。その点コストが安いのは魅力的です。
• 今回はグローバルモデルに焦点をおいて比較を行いましたが、実際のビジネス活用ではより複雑なプロンプトを駆使し、多段に結果を出力しロバストな対応が求められます。そういった際に、価値を発揮し、長期的に活用できるサービスを検討していければと思います！

宣伝

弊社ではデータ基盤策定からLLMまで、お客様にあったプロセスでの提案とご支援が可能です、お気軽にお問合せください。

また、中途採用やインターンの応募もお待ちしています！