EVO 实验报告2：同等预算下 AI 研究分工的有效性（基本有效）
EVO 实验报告：同等预算下 AI 研究分工的有效性
版本：v3（审稿后证据链修复）
日期：2026-10-26
平台：PandaAI EVO 1.1.14
模型：DouBao-2，普通模式
数据：平台 A 股行情/财务数据，截止 2026-09-30
这个信号在中证500、2021-2025回测区间内表现非常突出，是有效性、显著性、单调性全部达标的优质候选因子。
核心绩效指标
RankIC 均值——0.0231
IC 均值——0.0243
ICIR——0.54
t 值 (NW)——7.73
p-value——0.001
IC 胜率——69.7%
单调性——1.00
多空日均收益——+0.93%
因子换手率——1.69%
全市场覆盖度
100.00%
核心亮点
- 统计显著性极强：t值 7.73 远高于常规2倍标准差阈值，p值几乎为0，预测力几乎不存在偶然成分，统计可信度非常高。
- 分层效应极其干净：单调性满分1.00，说明5个分组的收益完全严格单调递增，不存在任何跳组反序，因子对股票未来收益的排序能力非常强。
- IC胜率近7成：接近70%的时间因子IC方向正确，累计IC曲线长期持续向上，没有长时间大幅回撤的阶段。
- 持仓摩擦极低：日频换手率仅 1.69%，因子持仓稳定性极高，交易成本对多空收益的侵蚀非常小，实盘可落地性强。
累计 IC 曲线
待优化点
唯一需要注意的细节是有效值率为 53.74%，截面约半数位置因子为空值，建议后续排查空值集中的标的和时间段：如果是财报数据缺失导致可补全财报覆盖，若为预处理逻辑过滤可评估过滤规则是否过严，优化后覆盖度还有不小提升空间。
分组净值曲线
口径说明：本次回测基准股票池为中证500，时间区间2021-01-01 \~ 2025-12-31，预测窗口为20个交易日，日频调仓。
如果需要进一步验证因子稳健性，可以后续提交跨股票池、跨年度切片检验，以及和现有公开因子库的相关性正交检验，进一步确认因子的增量alpha价值。
09:14
本报告是审稿后的修订版，取代 v1
REPORT.md。v1 中“B 质量 96/100、效率前沿”“C1-R2 审查误放行”等结论已作废；当前报告以PAPER.mdv3 与CORRECTION.md为准。
0. 结论先行
Q = 65/100，V = 0.60，major revision。 这一版不声称分数已提高；它修正了硬错误、恢复了缺失证据、并把不可识别的主张降级为描述性。
三点核心结论：
- T1 上 B 分步骤是最便宜的流程（24.29 算力点），但不是质量赢家。 A 平均 30.12、C1 平均 45.94；三臂质量分（82/80/78）主要测流程合规，且 T1 的符号/方向设置没有被系统记录，不能据此排序。
- T2 上三条实现不是同一个构念。 A 用单字段 OCF（2021-2025 重跑：RankIC +0.0231），B 用 4 天 rolling（TTM 无效：+0.0262 不能当有效应计因子），C1 用每股份 OCF × 流通市值/close（-0.0052）。实现与 workflow 共线，不能识别 workflow effect。
- A2A 审查有单点价值，但不等于已验证的协议。 审计把 T2-B 的 release 改成 needs_revision/observe，但它漏掉了 TTM 无效；导师仲裁两次失败（第二次无工具仍失败）；回退仲裁被提示词规则锁定。EGAP 是提案，不是已验证协议。
1. 平台与实验设置
| 项 | 值 |
|---|---|
| 平台 | PandaAI EVO 1.1.14，真实团队工作区 |
| 模型 | DouBao-2，普通模式，实验期间未切换 |
| 数据 | 平台 A 股行情/财务数据，截止 2026-09-30 |
| 预算 | 每 run ≤6 用户轮次、≤300 算力点；算力余额差计成本 |
| 平台能力 | 因子作品、因子分析报告、官方 Skills、官方 Agents（研究/审查/导师/通用） |
| 证据 | 平台作品、会话历史、算力账本、失败日志、原始会话文本 |
1.1 任务
T1：20 日收益反转
- 中证 500 月末快照；剔除 ST、停牌、上市不足 60 日。
- 研究期 2021-01-01 至 2025-12-31；样本外 2026-01-01 至 2026-09-30。
f = -1 × 过去 20 日收益率；行业 + log 流通市值中性化；月末调仓、持有 20 日、等权多空 10 组、单边 10bp。
T2：应计质量
- 股票池、样本、调仓、成本同 T1。
f = -1 × (净利润 - 经营活动现金流净额) / 总资产；最新已公告 PIT 财务数据，公告后下一交易日生效；行业 + 市值中性化。- 必检：公告时点、字段版本、负资产/金融股、前视、幸存者、交易可行性。
1.2 三条主流程与两个 A2A 扩展
- A 单助手：一次任务书，助手自行完成。
- B 分步骤：研究规格 → 因子编写 → 因子分析 → 决策备忘，四个用户轮次。
- C1 顺序研究—审查：
/factor_researcher→/factor_auditor→/factor_researcher修订。 - C4 测试门控：短窗口 smoke test + 审查门控；C4-R1 用错误符号契约，C4-R2 用正确符号契约。
- C3-B 对最佳候选做审查 + 仲裁：审计 T2-B → 导师仲裁 → 无工具回退仲裁。
2. 执行与证据链
2.1 证据恢复
审稿指出 T1-B、C1-R1 的 raw 文件错标为 A-R2，C1-R1 的分析曾失败。已从 EVO 会话/作品恢复：
raw/T1_B_R1_chat_restored.txt：T1-B，RankIC 0.0217、ICIR 0.06、t 0.90、拒绝 95%，窗口 2021-2025。raw/T1_C_R1_chat_restored.txt：T1-C1-R1，RankIC 0.0243、ICIR 0.08、t 1.14、拒绝 95%，窗口 2021-2026；分析先因NameError/AttributeError失败，修复后成功。它和 A-R1 指标相同，是因为同窗口、同反转定义，不再判为“疑似复制”。
2.2 窗口修复
原 T2-A 分析到 2026-09，2026 是样本内；B/C1 只到 2025。审稿后 T2-A 按 2021-01-01 至 2025-12-31 重跑（成本 14.15，RankIC 0.0231），主表使用同窗口 A；原 2021-2026 run 保留为 extension。
2.3 T2-B 的 TTM 已确认无效
平台数据字典查询（raw/T2_B_TTM_query.txt）：
is_n_income/cfs_net_cash_operating是季度原始财报科目；data.panels是日频面板，财报字段按公告日前向填充；rolling(4).sum()是 4 个交易日同一季度值之和，等于4 × 最近季度，不是 TTM。
因此 T2-B 的 RankIC 0.0262 / ICIR 0.62 / t 8.26 是无效构念的输出；审计的 TTM pass 是错的；T2-B 的 78 分是流程分，不是因子效度分。
2.4 C4-R2 的 G2 违规
C4-R2 的 smoke test 为 +0.0309，审查官 allow_full_analysis，全量为 +0.0217、观察 62%。但审查官对 PIT/前视给的是 not_obtained，仍允许全量分析，违反 EGAP 的 G2。C4-R1/R2 的提示词也不只改了符号，还改了“不要翻系数/保持系数”和审查 allow 规则，不是单变量对照。
3. 结果
3.1 T1（每臂 1–2 次，窗口不同）
| Run | 流程 | 窗口 | 成本 | RankIC | ICIR | t | 换手 | 决策 | 质量 |
|---|---|---|---|---|---|---|---|---|---|
| T1-A-R1 | A 单助手 | 2021-2026 | 27.52 | 0.0243 | 0.08 | 1.14 | 17.18% | 拒绝 97% | 84 |
| T1-A-R2 | A 单助手 | 2021-2025 | 32.71 | 0.0218 | 0.06 | 0.92 | 17.18% | 观察 85% | 80 |
| T1-B-R1 | B 分步骤 | 2021-2025 | 24.29 | 0.0217 | 0.06 | 0.90 | 17.18% | 拒绝 95% | 80 |
| T1-C1-R1 | C1 审查 | 2021-2026 | 56.54 | 0.0243 | 0.08 | 1.14 | 17.18% | 拒绝 95% | 80 |
| T1-C1-R2 | C1 审查 | 2021-2025 | 35.34 | -0.0295 | 0.15 | 2.27 | 12.60% | 拒绝 | 76 |
| T1-C4-R1 | C4 错误符号 | 2021-2025 | 45.84 | -0.0218 | — | — | — | 观察（动量因子） | 55 |
| T1-C4-R2 | C4 正确符号 | 2021-2025 | 32.31 | +0.0217 | 0.06 | 0.90 | 17.93% | 观察 62% | 81 |
解读：
- B 最便宜；但质量分（A 82、B 80、C1 78）差异小，且主要测交付/规格/流程，不是研究效度，不能排序。
- A-R1→A-R2 的“拒绝→观察”同时混杂了窗口变化（2021-2026 vs 2021-2025）和一次人工停止/纠正；可辩护的弱结论是“没有预置阈值时，同一流程的决策不稳定”，不能归因于叙事。
- T1 的正负 RankIC 符号与平台
direction设置没有被系统记录；C1-R2 的负 RankIC 与反转假设不一致，审查官整体拒绝但逐项“符号通过”标注冲突；这是 item-level mislabel，不是已证明的 false release。 - C4-R2 的符号契约正确时方向正确；但 PIT
not_obtained仍 allow，违反 G2，不能称为“门控验证”。
3.2 T2（主表同窗口 2021-2025）
| 流程 | 实现 | 成本 | RankIC | ICIR | t | 换手 | 决策 | 质量 |
|---|---|---|---|---|---|---|---|---|
| A 单助手（重跑） | 单字段 OCF | 14.15 | +0.0231 | 0.54 | 7.73 | 1.69%/月 | 放行（>99.9%，仅样本内） | 76 |
| B 分步骤 | 4 天 rolling（TTM 无效） | 52.19 | +0.0262 | 0.62 | 8.26 | 1.22%/月 | 放行 95%（无效构念） | 78 流程分 |
| C1 研究—审查 | 每股份 OCF × 流通市值/close | 68.03 | -0.0052 | 0.03 | 0.48 | 1.94%/月 | 拒绝 100% | 70 |
解读：
- 三条实现使用了不同的财务字段/代理变量，得到从 +0.0262 到 -0.0052 的 RankIC 和三种不同决策。它们不是同一个构念；实现与 workflow 共线，不能识别 workflow effect。
- B 的 TTM 无效（4 天不是 4 季）；它的强正结果不能当有效应计因子。B 的 78 分是流程分。
- C1 的 OCF 代理把每股份 TTM 与流通市值/close 混用，分子是流通股口径、分母是全公司资产；审查官通过了 PIT/字段版本，但没识别这个构念偏差。近零 IC 可能是代理噪声，不一定是因子失效。
- A 的 2021-2025 重跑放行仅基于样本内；它没有 2026 OOS，不能称样本外验证。
- t 值是平台输出，ICIR/t 定义与 IC 频率未文档化；60 个月度 IC 下 0.62×√60≈4.8，不是 8.26，t 列不应跨臂比较。
3.3 A2A 审查的边际价值与边界
- T2-B 以 95% 置信度“放行”，审计改为 needs_revision：2026 OOS
fail、金融股剔除not_obtained、多重检验not_obtained。审计明确指出当前版本不得进入实盘池。 - 导师仲裁两次失败（第二次明确“不调用工具、只读包”仍失败）；无工具回退会话只读审查包，给出 observe 60%。
- 但回退仲裁的提示词规则锁定“任一关键项 fail/not_obtained 不得 release；needs_revision 只能 observe/reject”，observe 是唯一非拒绝答案，不是独立判断；60% 也未校准。
- 审计的 PIT/TTM pass 只基于代码/行号；TTM pass 实际是错的（4 天不是 4 季）。审计没有抓到 TTM。
- 审查成本：18.03 audit（34.5% of 52.19）+ ≈2.38 mentor + ≈0.79 fallback = 21.20（40.6%）。价值应归给“审计发现 OOS/金融股缺失”，不是“A2A 仲裁”。
4. 失败模式
| 失败类 | 例子 | 出现 | 影响 |
|---|---|---|---|
| 字段字典 | cfd_ocf_ttm、cfd_net_cash_operating 不存在 |
T2-B | 多次重试、字段替换 |
| 代码契约 | FactorBase/panels 导入、params_schema、硬编码系数、签名冻结 |
A/B/C1/C4 | 1–7 次重试 |
| 运行时 API | NameError: params、AttributeError: industry_dummies |
B/C1 | 全量分析失败后修复 |
| 工具选择 | confirm_compose_method 误用于普通因子 |
A/C1/C4 | 循环/人工停止 |
| 版本确认 | 审计工具要求确认 artifact 版本 | C3-B | 审计阻塞 |
| 符号/方向 | C4-R1 预期符号写错；C1-R2 方向未彻底审计 | C4/C1 | 因子方向错/证据不一致 |
| 构念/代理 | T2-B 4 天 rolling；C1 每股份 OCF × 流通市值 | T2-B/C1 | 强结果无效/近零不可解释 |
| 审查漏项 | 审计 TTM pass 错误；PIT 仅代码引用 | T2-B | 错误放行风险 |
| 仲裁失效 | 导师两次失败；fallback 规则锁定 | C3-B | 无独立仲裁 |
核心教训：多数失败来自平台接口/字段/代码契约，而不是“模型不够聪明”；更多 agent 会增加这些失败的机会，而不是自动提高质量。
5. 价值验收
5.1 改变了什么决策
- T2-B：release 95% → 审计 needs_revision → 回退 observe 60%。避免了在缺 OOS、金融股剔除和有效 TTM 的情况下进入实盘；但审计只抓到 OOS/金融股，没抓 TTM。
- T2 三臂决策分歧：A 放行、B 放行（无效 TTM）、C1 拒绝。说明“选择哪条实现/流程”本身会改变研究结论；但实现与 workflow 共线，不能识别因果。
- T1 基线 A 的决策翻转：窗口 + 人工干预混杂；弱结论是“没有预置阈值时决策不稳定”，足以支持“预置阈值”这一流程建议，但不足以证明“审查/叙事”是原因。
5.2 作用多大
- T2-B 审查成本 21.20，占该 run 的 40.6%；audit-only 34.5%。它改变了一个 release，但 B 的因子本身无效，因此“审查救了一个好因子”的叙事不成立；应表述为“审查阻止了一个无效/证据不足的 release”。
- T1 B 相对 A 平均省 19.4% 算力，但 T1 的质量分不支撑“B 更好”的排序；T1 的符号/方向仍未系统审计。
- T2 A 最便宜（14.15），B 中等（52.19），C1 最贵（68.03）；但 A/B/C1 的字段/代理不同，价格不能直接比较“同质量”。
5.3 适用边界
- B 分步骤：适合定义清晰、平台原生字段可表达、需要低成本流程的常规因子筛查；不等于质量保证。
- A2A 审查：适合“看起来可部署但缺 OOS/PIT 证据”的高价值候选；不适合简单拒绝任务，也不能替代构念校验/运行时验证。
- EGAP：是提案；G0/G0.5/G1-runtime 未执行，G2 被 C4-R2 违反，G5 未验证。可以作为下一轮实验设计，不能被包装成已验证协议。
- 可靠负结果：更多 agent/更多审查不是单调更好；字段/代理/符号约定是主要风险；T2-B 的“强正结果”是无效 TTM 的产物。
5.4 V=0.60
V=0.60 的依据是：审计确实把 T2-B 的 release 改为 needs_revision/observe，且 T2 三臂出现三种决策；但只有一个案例、B 的 TTM 无效且审计未抓到、无 workflow 重复、无 P&L 量级、符号/方向未系统审计。因此 0.60 合适，0.80 证据不足。
6. 更优 A2A：EGAP 提案（未验证）
EGAP = Evidence-Gated A2A Protocol：
- G0 符号契约：从公式推导预期 RankIC 符号，用合成面板验证，再允许 smoke test。
- G0.5 规范实现与跨流程等价性：冻结字段映射、单位、TTM 定义、参考实现；不同流程必须在固定短窗口上复现同一因子值/RankIC，或明确说明偏差。
- G1 测试门控：短窗口 smoke test，报告符号、字段、运行时错误。
- G2 审查门控：
pass / fail / not_obtained三态；not_obtained不得放行。 - G3 OOS 门控：没有样本外验证，不得 release。
- G5 仲裁：导师失败时用无工具回退仲裁者，只读结构化证据包；任一关键项 fail/not_obtained 不得 release。
验证状态：
| Gate | 状态 | 证据 |
|---|---|---|
| G0 | EVO 平台未执行 | 只有本地 SYNTHETIC_SIGN_TEST.txt（f=-past→正 RankIC；f=+past→负 RankIC） |
| G0.5 | 未执行 | 没有跨流程等价性测试，T2 质量比较不可识别 |
| G1-runtime | 未验证 | C4 smoke 无运行时错误；真正 NameError 的 B/C1 没跑 smoke |
| G2 | 被 C4-R2 违反 | PIT not_obtained 仍 allow；T2-B 审计 TTM pass 错误 |
| G3 | 单点有效 | T2-B 的 OOS 缺失被审计抓到 |
| G5 | 未验证 | 导师两次失败；fallback 规则锁定 |
7. 局限
- 样本量小：T1 A/C1 各 2 次、B 1 次；T2 A/B/C1 各 1 次；无 workflow 级重复；C2、完整 C3 未跑。
- 单平台/单模型：EVO 1.1.14 + DouBao-2；其他平台/模型可能不同。
- 构念不可识别：T2 的字段/代理不同，A/B/C1 不是同一因子；B 的 TTM 无效；C1 的 OCF 代理有单位/口径偏差。
- 符号/方向未系统审计：T1 的 platform direction 未逐 artifact 记录；C1-R2 的符号问题未彻底解决。
- 评分主观：质量分是单一结构化判断，不是双评分/kappa/ICC；主要测流程合规，不是研究效度。
- 统计预注册未执行：bootstrap、Wilson、Fisher、BH FDR 未做；不声称显著性；ICIR/t 定义未文档化。
- 账本含会话费：主链 run 成本 416.07；会话/空闲 14.43；post-review T2-A 重跑 14.15；均已单列。
- 截图稀疏：
screens/只有 T1-A-R1/A-R2；其余以 raw 文本为证据。 - 无 P&L 量级：V=0.60，不是 0.80 或 1.00。
8. 下一轮实验
- T2-B 季度末重跑：按公告日去重、季度粒度滚动 4 期，重跑 B；当前 0.0262 不得作为有效结果。
- 方向审计：逐 artifact 记录
direction；对 C1-R2 做 direction-neutral 重跑。 - G0.5 等价性：冻结 canonical 实现，跑短窗口 A/B/C1 因子值/RankIC 对比；不通过则不做质量比较。
- G0 平台合成测试：若平台支持，跑合成面板；否则论文明确 G0 只有本地单元测试。
- T2-C2 + 重复：T2 A/B/C1 各 2 次；C2 并行独立研究+裁决 1 次；双评分/kappa/ICC。
- P&L 量级：把 T2-B 的 observe vs release 映射到组合收益/回撤，支撑 V>0.60。
9. 证据索引
| 文件 | 内容 |
|---|---|
PAPER.md |
论文格式主报告（v3，权威） |
REVIEW_RESPONSE.md |
对审稿 F1–F7 的逐条回应 |
EVIDENCE_AUDIT.md |
逐 run 证据状态（verified/unverified/mislabeled/failed） |
LEDGER.md |
算力账本对账（含 14.43 会话费、post-review 14.15） |
DEVIATIONS.md |
预注册偏离、16 分重评、TTM 无效 |
SCORING_ITEM_LEVEL.csv |
每个 run 的 20 个子项评分 |
scoring_runs.csv |
逐 run 汇总评分 |
CORRECTION.md |
符号更正 + TTM 更正 |
A2A_PROTOCOL.md |
EGAP 协议与验证状态 |
BRIEF.md / BRIEF.txt |
一页纸简报 |
synthetic_sign_test.py / SYNTHETIC_SIGN_TEST.txt |
本地符号单元测试 |
raw/ |
平台会话/作品页原文 |
screens/ |
平台截图（T1-A-R1/A-R2） |
平台作品：EXP_T1_A_R1、EXP_T1_A_R2、EXP_T1_B_R1、EXP_T1_C_R1、EXP_T1_C1_R2、EXP_T1_C1_R2_2、EXP_T1_C4_R1、EXP_T1_C4_R2、EXP_T2_A_R1、EXP_T2_B_R1、EXP_T2_C_R1。
会话历史按 [EXP-...] 前缀检索；算力账本见 LEDGER.md。
10. 自评
| 维度 | 分数 | 依据 |
|---|---|---|
| 完成 | 24/30 | 核心臂与 C4-R2 完成；T1-B-R2、C2、完整 C3 未跑；截图稀疏 |
| 方法 | 18/35 | 符号/方向未系统控制；T2 构念不同；n=1–2；评分上限错误已修；统计/评分预注册未执行 |
| 平台 | 17/25 | 真实入口/作品/会话/账本存在；14.43 会话费、ICIR/t 定义、轮次口径需说明 |
| 文档 | 6/10 | v1 旧分数、34.5/40.6、scoring 指针、SCHEDULE 冲突已修；但仍不完美 |
| Q | 65 | major revision |
| V | 0.60 | 审计改变了 T2-B 的 release→observe；但 B TTM 无效、审计未抓 TTM、无重复/无 P&L |
| 若 D=1 积分 | 39 | 65×0.60=39；D 未在任务书中定义 |
声明：本报告仅用于研究方法与平台能力评估，不构成投资建议；未做实盘验证。
评论