LLM仕様レビュー比較――結論と実務での使い方

1. この実験で確認したこと

同じ銀行システム仕様、同じ正本資料、同じレビュー指示を16件のLLM実行へ渡し、重大な欠陥をどこまで見つけられるか比較しました。

最終的な仕様判定はFAIL / NOT READYです。Major Findingは4件ありましたが、根拠と重大度を含めて正しく不合格へ到達したレビューは16件中8件でした。

2. Round 2の実行環境

同じモデル名でも、実行環境やツールの違いによって結果が変わる可能性があります。本記事の点数は、モデル単体ではなく、その実行条件を含む一回の観測です。

3. 点数・速度・用途の一覧

時間は手元で測った概算です。APIの純粋な推論時間ではなく、画面操作、資料読込み、ツール処理、回答表示を含む場合があります。厳密な速度ランキングではありません。

4. 重要な発見

上位モデルでも全部は見つからない

今回の最上位モデルでも、Gold Findingをすべて検出していません。特に「解約後に許可する操作は2種類だけ」という限定は、16件中14件が見逃しました。

速さと精度は単純比例しない

Sol Fastは約2分で90点でした。一方、約1分のGemini Flashは54点、約18分のKimi K3は76点です。長時間実行やThinking設定だけで品質が保証されるわけではありません。

同じモデルでも結論が変わる

Claude Sonnet 5 Highは、Browserでは77点・NOT READY、Desktop appでは58点・READYでした。どちらも約12分です。モデル名だけでは再現性を保証できません。

多数決も安全ではない

重大な欠陥を14件が見逃した例がありました。多数派が正しいとは限りません。重要なのは票数ではなく、正本に照らした根拠です。

5. 実務で推奨する構成

日常的な一次レビュー

Sol FastまたはSol Middleを使います。短時間で高いPrecisionが得られ、明らかな不備を早期に絞り込めます。

高リスク仕様の最終レビュー

Sol HighまたはSol XHighを追加します。別文書をまたぐ制約、限定語、製品範囲など、横断推論が必要な論点を確認します。

専門論点の補完

GorkまたはLuna XHighで、冪等性、競合後再試行、利用者管理、役割権限などを確認します。

最終審理

複数モデルの指摘をそのまま足し合わせず、同じ根本原因を統合します。正本の該当箇所、重大度、修正方針、最終Verdictの整合を人間または独立Agentが確認します。

6. 最終結論

LLMレビューは有用ですが、1モデルの1回の回答を承認ゲートにしてはいけません。

実務上の基本形は、高速な一次レビュー、高精度モデルによる再確認、専門モデルによる補完、根本原因単位の最終審理です。

モデルの点数だけでなく、実行環境、所要時間、見逃した論点、誤検知、Verdictの整合まで記録することで、LLMレビューを再現可能な品質保証プロセスへ近づけられます。