C3-DEMO-SPA-COMPARE-004
研究ベンチマーク
SPA Comparison 004 — 24 synthetic tasks
24の合成課題でSPA候補と事前選択した比較方法を比べました。平均改善は観測しましたが、事前基準には届かなかった研究記録です。
公開状態
研究記録
研究closeout / PASS昇格なし
現在の結果
NOT_ESTABLISHED_FOR_DECLARED_BENCHMARK
対象: SPA candidate vs preselected conventional comparators
観測したこと
- 24課題: 18勝・0引分・6敗
- 平均balanced accuracy: SPA 86.9% / 比較方法 83.2%
- 改善 +3.7ポイント < 事前基準 +5ポイント
- 3入力符号組合せでは SPA 49.2% / 比較方法 71.2%
判断を進めるための次の根拠
観測結果の次に、何を決め・何を確かめるか
平均改善が見えた一方で事前基準を満たさなかった結果から、SPAの追加価値をどう再評価するか。
現在わかっていること
- 24課題で18勝・0引分・6敗
- 平均balanced accuracyはSPA 86.9% / 比較方法83.2%
- 改善+3.7ポイントは事前基準+5ポイント未満
- 3入力符号組合せではSPA 49.2% / 比較方法71.2%
まだ判断できないこと
- 宣言したベンチマークでSPAの追加価値は確立していない
- 3入力符号組合せの弱点を一般化できるだけの根拠はない
- 第三者盲検・実制御ライブ実証ではない
1
事前基準を固定したまま追加評価
+5ポイントの受入基準を後から緩めず、追加データや別セットでも同じ基準で再評価する。
2
弱点条件を分離して再観測
3入力符号組合せで見えた性能低下を、他の条件と混ぜずに再現・境界化できるか確認する。
3
主張を広げるなら別Evidence class
第三者性や実制御での有効性を主張する場合は、この合成ベンチマークとは別の検証を行う。
平均値の改善を、事前基準未達のまま『優位』へ読み替えません。
主張上限（Claim Boundary）
ここから先は言わない
- SPA一般の優位性は確立していない
- 独立第三者盲検試験でも、実制御ライブ実証でもない
証拠の扱い
このページは実証台帳から外部公開可能な要旨だけを表示しています。 非公開またはProtectedの証拠について、生ログ、ローカル環境情報、内部の実行手順は掲載していません。 研究結果は再現性が確認できても、事前の受入条件を満たしていなければPASSへ昇格しません。