Collinear AI发布YC-Bench基准测试报告

此次测试设置三层核心挑战：基于不完整信息做不确定性规划、从延迟反馈中学习调整、应对早期决策失误的累积放大风险，同时加入难缠客户、上涨人力成本等对抗性压力。每个模型进行三轮独立测试，仅允许通过Scratchpad（草稿本）实现跨回合记忆，模型以“LLM+工具+决策框架”的Agent循环模式运作，而非单纯回答问题。

测试结果显示，12个模型中仅Claude Opus 4.6、GLM-5、GPT-5.4三个模型能持续跑赢起始资金，其余9个要么破产要么勉强持平。其中GLM-5以极低成本接近Claude Opus的表现，成为“性价比杀手”。

针对模型表现差异，研究总结出三个关键结论：

1. 顶级模型间差距远超预期，且API成本与结果不呈正相关。同样完成一年模拟，Claude Opus 4.6耗时70分钟、产生16.7M token，GPT-5.4 Nano仅耗时3分钟、产生2.0M token，差异源于Scratchpad写入量、每轮命令数、模型本身推理速度及API网络延迟叠加。

2. Scratchpad使用方式是“生死线”。持续规律用其做规划和反思的模型，表现远优于“走一步看一步”的模型。如旗舰款Gemini 3.1pro三次测试破产两次，而其轻量版Gemini 3 Flash全部存活；GPT-5.4靠高频率Scratchpad使用和高任务检查率维持稳定盈利。

3. 47%的破产始于对抗性客户，AI在识别客户恶意意图、核实背景上存在明显短板。此外，部分前沿模型存在过度并行化问题，如Claude Sonnet 4.6平均同时承接7.2个任务，导致资源分散、任务推进不足。