⚖️ 6 个 AI 助手实测 20 道题:贵的真不一定更好
分类:盘点 · 全流程实操
整理自 B 站 UP 主「Zhan丨」《「实测」越贵的 AI 越菜?我对各大 AI 工具进行了测试...》(BV11fJX6GEcL),视频声明无商业推广。本站做了要点提炼与改写。
实验怎么做的
从六个全球知名的 AI 助手里精选 20 道由易到难的任务,覆盖表格处理、数据分析、做 PPT、信息检索、做网页等能力;多项任务做多次独立重复试验,并尽量隔离对话历史,避免上下文互相污染。
作者自我定位很诚实:严谨程度比学术界不足,比自媒体有余。
结论一:能力差距没你想的那么大
各家总分咬得很紧,都能覆盖日常学习和办公需求。真正拉开差距的不是"能不能做对",而是做对要花多少钱、多少时间。
最意外的是腾讯系(元宝):用最低的成本跑出了第二名的成绩。这说明模型不是越贵越强,工程优化和调度策略同样重要。
结论二:高级模式不一定更好用,只是更贵
这是最反直觉的发现。同一个工具:
- 快速模式:87.37 分
- 极致模式:成本涨 30 倍,得分反而掉到 80.68 分
豆包的不同模式也出现了同样的"成绩倒挂"。原因在难题上体现得很清楚——一道需要绕开干扰条件、还夹带两处模糊错误信息的检索题:快速模式思考 22 分钟给出了正确答案;极致模式想得太多没收住,思考 36 分钟还是错的。另一家甚至思考 43 分钟、烧了 16 块钱,最后也答错。
结论:开最强模式之前先算账,很多任务根本不需要。
分项结果:哪些活可以放心交给 AI
- 表格处理:全部稳过。不管是统计任务还是把两千多条流水记录按分类汇总,各家都做对了,成本几分到几毛钱,几分钟出结果。这类活可以无脑丢给 AI。
- 数据分析:唯一拉开差距的项目。一道要从一千多条手续费规则里筛出特定卡种并算平均值、还得注意"没写=全部适用"隐藏规则的题,三道数据分析题只有 Codex 全对,其余各家都栽了。
- 做 PPT:水平接近。各家都能出 8-9 页,图表清晰、结论完整,只是字体排版、总成本汇总等细节会有小问题,人工过一遍就能修。
- 信息检索:普遍很强。除了那道超难的学术论文检索题,其余全部答对。
- 做网页:简单任务都好,复杂任务分化。一句话生成单页小工具,各家都行;但要"读取 Excel 并在网页展示",部分工具直接报无法解析,Codex 一类表现更好。
三条可以直接照用的建议
- 表格类任务随便用。几百条还是上千条,各家都稳,别为这个买贵的会员。
- 数据分析别省。要跑规则复杂、要交叉验证的分析,优先用 Codex 这类在硬题上验证过的工具。
- 难题才开高强度模式,并且盯着成本。普通问答用快速模式,正确答案率更高还更省钱。
作者也承认局限:题目总量偏少、只比了默认模式、制图/视频/音频等赛道没纳入。所以这份结果更适合当"使用参考",不适合当"权威排名"。