amane AI Lab / Raw results & evidence

Benchmarks

試行ごとの順位をそのまま出します。順位だけで終わらせず、実行条件、全候補、生データ、PR、CIまで辿れるようにしています。

ここでの順位は、そのIssue・そのModel + Agent/Harness + Effort・その1回の実行結果です。モデル一般の性能順位ではありません。

FND-03 / Major Fix

PostgreSQL test基盤 — 14修正候補

14 / 14 exact Head CI SUCCESS。それでも3-Judge裁定でmerge-readyは1 / 14。

1GPT-5.6 Sol
Codex94
2Claude Opus 5
Claude Code80
3GPT-5.6 Luna
Codex77

初期実装・17レビュー・Major修正の全結果を見る

FND-02 / Implementation

API実行契約 — 14候補

error、correlation ID、TimeProvider、JSON technical loggingを実装。Coding Scoreで比較。

1GPT-5.6 Sol
Codex96
2GPT-5.6 Terra
Codex95
3GPT-5.6 Luna
Codex94

FND-02 / Independent Review

独立レビュー — 17モデル

CI green / 23 tests PASSのFinal Synthesisに残った4件の重大root causeを、どこまで検出できたかを比較。

1GPT-5.6 Sol xHigh
Codex100.0
2Claude Opus 5 xhigh
Claude Code92.5
3GPT-5.6 Luna
Open Code88.0

FND-01 / Foundation

.NET基盤構築 — 14候補

Solution、project境界、build/test CIを同じIssueで比較。候補PR・CI・処理時間は保存済みです。

当時の候補別Coding Score表はarchiveに保存されていません。順位を後付けせず、生データを公開しています。

FND-03 完全実験

Issue #41「実PostgreSQL integration test基盤を確立する」。初期実装14構成、Final Synthesisへの17-model independent review、cleanup Major修正14構成、3-Judge adjudication、最終production outcomeまでを一つのarchiveとして追跡できます。

Stage	結果	詳細
Initial implementation	1位 GPT-5.6 Sol / Codex — 96	13 scored / 1 stopped
Independent review	blocking Gold G-01検出 0 / 17	Goldはpost-hoc adjudication
Major fix	14 / 14 CI SUCCESS、merge-ready 1 / 14	1位 GPT-5.6 Sol / Codex — 94
Production	Agent B APPROVE / findings 0	PR #104 MERGED / Issue #41 CLOSED

FND-03 詳細Benchmark Canonical archive 関連記事

FND-02 実装ランキング

Issue #40「共通API実行契約を確立する」の14候補。主ランキングはCoding Scoreです。

順位	Model	Harness	Coding	Time	Practical	PR / CI
1	GPT-5.6 Sol	Codex	96	17	91.11	PR #71 / CI SUCCESS
2	GPT-5.6 Terra	Codex	95	14	91.21	PR #68 / CI SUCCESS
3	GPT-5.6 Luna	Codex	94	27	87.56	PR #66 / CI SUCCESS
4	Grok 4.5	Cursor	92	14	88.51	PR #65 / CI SUCCESS
5	GPT-5.6 Luna	Open Code	84	29	78.36	PR #72 / CI SUCCESS
6	Claude Sonnet 5	Claude Code	80	24	75.33	PR #80 / CI SUCCESS
7	DeepSeek V4 Flash	Open Code	80	24	75.33	PR #81 / CI SUCCESS
8	Claude Opus 5	Claude Code	72	31	67.38	PR #79 / CI SUCCESS
9	Composer 2.5	Cursor	70	24	66.33	PR #69 / CI SUCCESS
10	Qwen3.7 Plus	Open Code	66	30	62.07	PR #70 / CI SUCCESS
11	MiniMax M3	Open Code	64	11	64.87	PR #76 / CI SUCCESS
12	MiMo-V2.5-Pro	Open Code	56	35	52.69	PR #78 / CI SUCCESS
13	MiMo-V2.5	Open Code	55	24	52.83	PR #74 / CI SUCCESS
14	DeepSeek V4 Pro	Open Code	46	39	43.45	PR #67 / CI SUCCESS

速度を10%加味したPractical Scoreでは、1位 Terra / Codex 91.21、2位 Sol / Codex 91.11、3位 Grok / Cursor 88.51でした。Coding Scoreの主順位とは分けて見ています。

正式評価全文 FND-02 raw data 関連記事

FND-02 独立レビューランキング

同じPR #83・同じレビュー依頼で17モデルを比較。Reference Reviewで確定した4件のmerge-blocking root causeの検出、誤検知、Severity、最終判定を採点しました。

順位	Model	Harness	Score
1	GPT-5.6 Sol xHigh	Codex	100.0
2	Claude Opus 5 xhigh	Claude Code	92.5
3	GPT-5.6 Luna	Open Code	88.0
4	ChatGPT Opus 5.6 Sol xhigh	Browser	87.5
5	GPT-5.6 Luna xHigh	Codex	82.0
6	DeepSeek V4 Flash	Open Code	77.0
7	GPT-5.6 Terra xHigh	Codex	75.5
8	Claude Sonnet 5 xhigh	Claude Code	60.0
9	Composer 2.5	Cursor	54.5
10	Grok 4.5 high fast	Cursor	54.0
11	ChatGPT Opus 5.5 xhigh	Browser	53.0
12	DeepSeek V4 Pro	Open Code	47.5
13	chatgpt o2	Browser	35.0
14	MiMo-V2.5-Pro	Open Code	19.0
15	MiMo-V2.5	Open Code	7.0
16	Qwen3.7 Plus	Open Code	2.0
17	MiniMax M3	Open Code	0.0

レビュー評価要約詳細評価 Raw results 関連記事

FND-01 候補生データ

Issue #39「Solution・project・build/test CIを確立する」。14候補はそれぞれ独立branch / PR / CIとして保存されています。

候補別Coding Scoreはarchive時点で未記録でした。そのため、このページでは順位を作らず、保存済みの処理時間・PR・CIを公開します。再評価する場合は「再評価ランキング」として別に記録します。

Model	Harness	Time	PR / CI
DeepSeek V4 Pro	Open Code	6	PR #48 / SUCCESS
Qwen3.7 Plus	Open Code	12	PR #49 / SUCCESS
GPT-5.6 Luna	Open Code	15	PR #50 / SUCCESS
DeepSeek V4 Flash	Open Code	10	PR #51 / SUCCESS
MiMo-V2.5	Open Code	12	PR #52 / SUCCESS
MiMo-V2.5-Pro	Open Code	9	PR #53 / SUCCESS
MiniMax M3	Open Code	17	PR #54 / SUCCESS
GPT-5.6 Luna	Codex	14	PR #55 / SUCCESS
GPT-5.6 Terra	Codex	13	PR #56 / SUCCESS
GPT-5.6 Sol	Codex	17	PR #57 / SUCCESS
Grok 4.5	Cursor	8	PR #58 / SUCCESS
Composer 2.5	Cursor	5	PR #59 / SUCCESS
Claude Sonnet 5	Claude Code	16	PR #60 / SUCCESS
Claude Opus 5	Claude Code	19	PR #61 / SUCCESS

FND-01 raw data Archive manifest