EVO 研究简报：同等预算下哪种 AI 研究分工更有效

日期：2026-10-26
平台：PandaAI EVO 1.1.14， 研究人：易斋
模型：DouBao-2；数据截止 2026-09-30
`

结论

在同一冻结任务、同一模型/数据/预算下，分工结构不是唯一变量。

字段、代理变量和符号约定（构念可复现性）比“几个 agent、几轮审查”更能决定研究结果。

T1 上分步骤流程是成本前沿；

T2 上三条流程做出了三个不同因子、三种不同决策；

研究—审查在“强候选缺 OOS/PIT 证据”时最有价值，但不能保证构念正确。

实验设计

• 任务：T1 = 中证 500 20 日收益反转；T2 = 应计质量（净利润 − 经营现金流）/ 总资产，PIT 财务数据。
• 流程：A 单助手；B 四步工具流程；C1 研究—审查—修订；C4 测试门控（smoke test + 审查门控）；C3-B 对最佳候选做审查 + 仲裁。
• 控制：同一模型、同一数据截止、同一股票池/样本/调仓/成本；每 run ≤6 用户轮次、≤300 算力点；算力余额差计成本。
• 留痕：真实 EVO 入口登录、平台作品、会话历史、算力账本、失败日志、预注册与随机排程。

结果（部分）

T1：B 是成本优先，不是质量优先

流程	成本	质量	决策
A 单助手（2 次平均）	30.12	82	拒绝 97% / 观察 85%（1/2 翻转）
B 分步骤	24.29	80	拒绝 95%
C1 研究—审查（2 次平均）	45.94	78	拒绝 / 拒绝
C4-R1 错误符号契约	45.84	55	观察（因子变成动量）
C4-R2 正确符号契约	32.31	88	观察 62%

• A 在指标几乎相同时（RankIC 0.0243 vs 0.0218）从“拒绝”翻到“观察”，说明缺少预置阈值时决策不可复现。
• C1-R2 的 RankIC 为 -0.0295，与反转假设不一致；审查官整体拒绝，但逐项“符号通过”标注与假设冲突（item-level mislabel）。
• C4-R2：smoke RankIC +0.0309 → 门控 allow → 全量 +0.0217 → 观察 62%。门控机械上有效，但前提是符号契约正确。

T2：同一任务，三个因子、三种决策

流程	成本	RankIC	ICIR	t	换手	决策	质量
A 单助手	20.10	+0.0188	0.42	5.97	1.85%/日	放行至观察池（82%）	76
B 分步骤	52.19	+0.0262	0.62	8.26	1.22%/月	放行（95%）	79
C1 研究—审查	68.03	-0.0052	0.03	0.48	1.94%/月	拒绝（100%）	70

• A 用单字段 OCF；B 用 is_n_income + cfs_net_cash_operating 的 TTM 滚动；C1 用 cfd_ocf_per_share_ttm × market_cap_2 / close 重建 OCF。
• C1 的审查官通过了 PIT、字段版本、前视和代码契约，只判 IC/单调性 fail；它没有识别 OCF 代理变量的单位/口径风险。这是审查的构念效度盲区，不是代码 bug。

研究—审查的边际价值

• T2-B 以 95% 置信度“放行”，但缺 2026 样本外与金融股剔除证据。
• 独立审查改为 needs_revision；导师智能体仲裁两次因工具核验失败；无工具回退仲裁者只读审查包，给出 observe 60%。
• 审查总成本 21.20（占该 run 的 40.6%），把“放行”改为“不部署，先补证据”。这是本研究最强的 A2A 价值案例。

价值验收

• 改变了什么决策：
  1. T2-B：release → needs_revision → observe，避免在缺 OOS/金融股剔除证据时进入实盘；
  2. T2 三臂决策分歧（放行观察 / 放行 / 拒绝），说明“流程选择”本身会改变研究结论；
  3. T1 基线 A 的决策翻转，说明没有预置阈值的流程不可用于治理。
• 作用多大：审查成本 21.20，占 B run 的 40.6%；B 相对 A 在 T1 省 19.4% 算力，但质量差异小且被符号约定混杂；T2 上 A 最便宜（20.10）但放行证据最弱，C1 最贵（68.03）且结果近零。
• 适用边界：审查只用于通过一阶段筛选的高价值候选；简单拒绝任务用 B 即可；任何跨流程比较先做“规范实现 + 等价性测试”。
• 可靠负结果：更多 agent/更多审查不是单调更好；C1 的审查没有识别代理变量风险；C4-R1 的硬门控在错误符号契约下把正确因子翻成了错误因子。

更优 A2A：可复现优先的 EGAP

1. G0 符号契约：从公式推导预期 RankIC 符号，用合成面板验证，再允许 smoke test。
2. G0.5 规范实现与跨流程等价性：冻结字段映射、单位、TTM 定义、参考实现；不同流程必须在固定短窗口上复现同一因子值/RankIC，或明确说明偏差。
3. G1 测试门控：短窗口 smoke test，报告符号、字段、运行时错误。
4. G2 审查门控：pass / fail / not_obtained 三态；not_obtained 不得放行。
5. G3 OOS 门控：没有样本外验证，不得 release。
6. G5 仲裁：导师失败时用无工具回退仲裁者，只读结构化证据包；任一关键项 fail/not_obtained 不得 release。

局限

• B/C1/C4 每臂 1–2 次，T2 无 workflow 级重复；C2（并行独立研究 + 裁决）和完整 C3 未运行。
• 单一平台（EVO 1.1.14）、单一模型（DouBao-2）、单一市场（A 股中证 500）。
• 质量评分为结构化专家判断，不是独立盲评；算力点是平台内部货币，未暴露 token 级账单。
• 没有把因子决策连接到实际 P&L；V=0.60，而不是 0.80 或 1.00。

交付物

敬请期待