知识库/Web4 量化研究智库

预测校准闭环(Prediction Calibration Loop)

让研究系统自证比抛硬币强的机制:predictions ledger 钉死预测、base rate 反 lookahead 构造、Brier score 评校准、kill criteria 防自我延续

置信度·高创建 2026-07-03更新 2026-07-03依据 1 份原始资料

预测校准闭环

宪章 v2 中三方评审一致认定的 v1 最大缺口:“没有它,系统永远无法自证比抛硬币强。“这套机制不限于加密研究——任何做预测性判断的系统(含个人决策)都可复用。

四个组件

  1. Predictions ledger:每个预测发出即登记(唯一 ID、时间戳、可证伪条件、到期日、事前置信度桶),无论是否据此行动都钉死——防事后美化。
  2. Base rate 构造(反自欺三原则):显式定义参考类(基准是哪一群对象);只用预测日可得数据(anti-lookahead / walk-forward);分母含死亡样本(rug/废弃计入,防 survivorship bias);n<20 标“低置信”不强行下结论。
  3. 强制回看:到期由独立 audit 记录 hit/miss/inconclusive,滚动算命中率 vs base rate 与校准曲线(Brier score)。诚实性 audit(过程是否诚实)与有效性 audit(方法是否真有效)分开
  4. Kill criteria:某假设家族累计 ≥20 个已决预测后,命中率不显著高于 base rate 且 Brier 不优于“直接报 base rate”→ 该家族暂停回炉——方法论不允许无限自我延续

配套防线

  • 三概率只评 High/Med/Low 桶,不给伪精确小数;>80% 默认可疑
  • Owner 决策协议:人行动前也要写理由/假设 ID/止损,事后回填 ledger——堵住“系统越精密、人越过度自信”的放大效应

跨主题关联(本库解释)

这套闭环与 知识复利页所述的“外部化+按需读回”同构——ledger 就是预测的持久层;而“独立 audit 强制回看”与本知识库的红队审计、编译式 wiki 的错误放大风险防御是同一思想:生成方不能给自己打分