批評(critic)の指摘を事実と推測に仕分ける
一言まとめ
レビューや批評の各指摘を「出典ある確定事実」「未 sourced の推測」「前提数値を直せば済む誤認」「構造的に回避不能な fatal」の 4 区分に仕分けると、鵜呑みにも無視にもならない再現可能な判断材料になる。連続 kill や書かれていないパラメータへの攻撃はバイアスのシグナル。
目次 5 sections
調査時点: 2026-04。企画案に対する LLM・人のレビューを扱う中で整理した手順で、レビュー一般に適用できる。
4 区分
critic の各指摘を次のどれかに仕分ける。
- 確定事実(sourced): 一次または強い二次の出典がある。前提として固定してよい
- 未 sourced / 弱い根拠の推測: 出典が個人ブログ 1 件のみ、閉鎖済みコミュニティへの曖昧な参照、導出計算のない閾値、体感的な主張など。critic の内部知識が漏れ出した「推測」としてラベルする
- fix-premise(前提数値の更新で済む): 事実誤認だが、正しい数値で再計算すれば対象が生き残る。fatal ではなく Serious に格下げする
- 構造的 fatal(前提変更不可): 制度・物理的制約など、前提を変えない限り回避できない
critic バイアスの検出
- 連続 kill(2 件中 2 件など)は contrarian バイアスのシグナル。fix-premise や再設計で生き残る案まで kill 扱いしていないか疑う
- critic が文書に書かれていないパラメータ数・頻度を自分で推測して攻撃していないか
- 数学的に正しい指摘でも、「なぜその前提値がずれると想定するのか」の根拠がなければ悲観バイアスの可能性がある
critic プロンプトの改善方向
- kill 判定のときも、どの前提を変えれば生き残るか(pivot path)を 1 つ示す
- 自身の主張は sourced のみ。未 source の数値・割合は明示的に「推測」とラベルする
- fatal の基準を厳格化する(「前提数値を更新すれば済む事実誤認」は fatal でなく Serious)
- verdict を多段階に分ける(fix-premises / needs-evidence / pivot-constraint / kill)
- 文書に書かれていないパラメータ数・頻度を推測して攻撃しない
- 提案する反証実験は、対象者のリソース予算(費用・時間)を明示的に考慮する
関連
更新履歴
- 2026-04-24: 初版（ローカル調査ノート）
- 2026-10-17: Wiki へ移植、概念ページとして再構成