GemNews

全部文章 · 文章

Sonnet 5.5 消耗 Token 减少，但想要大额节省 AI 账单还得看其他招数

GitHub 的 Copilot 更新日志指出，新模型只需更少步骤和 Token 就能达到旧模型的效果。不过从本周发布的各项成本测试来看，想要大幅缩减团队月度账单，关键还在于智能路由、思考深度设置（effort settings）以及上下文管理。

作者 Janie Nguyen · · 5 分钟阅读

分享: WhatsApp · Telegram · X · Facebook · LinkedIn · Email

建议先替换日常使用的模型，毕竟尝试成本为零。随后再逐级优化：引入路由机制为每一步任务匹配低成本模型、加装决策层限制思考消耗，并清理调用框架（harness）。以下所有数据均来自各测试团队的自行报告，非代理商的月度账单。

  • 事件动态： 9月29日，@github (https://x.com/github/status/2104637226336538862) 正式在 Copilot 中全面上线 Claude Sonnet 5.5。官方表示，早期测试显示该模型在编程任务上表现与 Sonnet 5 持平，但所需的步骤、Token 和工具调用次数显著减少，运行速度也更快。@Israfilv2 (https://x.com/Israfilv2/status/2104637819402764747) 总结指出，大多数工作消耗的 Token 减少高达 30%，价格维持在输入每百万 Token $3、输出每百万 Token $15。对按 Token 计费的团队而言，单项任务成本直接降低；对按席位订阅且有额度限制的团队而言，账单虽然金额不变，但使用额度被变相拉长。
  • 本周测试揭示的成本优化路径： @gradientintern (https://x.com/gradientintern/status/2103363088397250605) 报告称，搭建简易路由后，在 SWE-bench Verified 测试中取得了 75/100 的成绩，花费仅 $25.66，相比全量使用 Opus 的 $54.73 节省了 53%。@mika_systems (https://x.com/mika_systems/status/2103921273852108955) 将六项编程任务重复运行了两次：最大深度（maximum effort）下的 Opus 5.5 消耗了 64,899 个思考 Token；而在模型前加装决策层后仅消耗 954 个。两者均通过了全部 12 项检查，API 总费用却从 $3.76 降至 $1.70。@kimmonismus (https://x.com/kimmonismus/status/2104628247296409952) 转发数据称，基于 Jev 的路由方案以少花 40% 的成本，实现了 Opus 5.5 和 GPT-6 Astra 99% 的性能。@jamiegrove (https://x.com/jamiegrove/status/2102858267441430708) 使用相同的模型和提示词在两种框架下校对 682 个 Shopify 商品详情页：第一种烧掉约 $185 且始终未能完成，第二种仅花费 $12.60。
  • 月度账单为何依然居高不下： @jensenloke (https://x.com/jensenloke/status/2104252961430102289) 记录了一次持续五天的 Devin 运维清理任务。该任务共消耗约 6.88 亿 Token 的上下文，写出 1 个 Token 平均需要读取约 129 个 Token。@cyrilxbt (https://x.com/cyrilXBT/status/2103752714941538621) 盘点发现，单个 Agent 后台往往挂载五到六个独立 API，涵盖向量嵌入（embedding）、重排序（reranking）、PDF 解析、安全审核和推理，各项都在单独计费。@rauchg (https://x.com/rauchg/status/2103216656747262419) 分享的 Vercel AI Gateway 数据显示，Anthropic 的支出份额在两个月内从 69% 降至 40%，同时 OpenAI 从 10% 升至 24%。这仅是供应商之间的预算转移，总支出并未下降。
  • 本周行动建议： 将目标明确的日常任务默认切换至 Sonnet 5.5，并重新评估思考深度设置。@mika_systems 的数据表明，调整思考深度对成本的影响甚至超越更换模型。限制单次会话长度，防止上下文无限膨胀。将模型选择、路由规则与预算上限统一收拢至一套共享配置中，正如 @databricks (https://x.com/databricks/status/2103207342061883611) 针对“大约每五天就会出现新模型”所推荐的应对方案。借助 @DataChaz (https://x.com/DataChaz/status/2096303020653101200) 推荐的本地工具，记录优化前后的单次会话支出，用真实数据衡量效果。

团队应该优先使用哪项优化手段？

从零成本的手段入手：将目标明确的工作默认交由更便宜的模型处理，这也是 @github 推荐使用 Sonnet 5.5 的方式。其次是调整思考深度设置，本周测试中最大的一笔节省正来自于削减思考 Token，而非更换模型。至于路由搭建和调用框架重构，由于需要投入工程精力，且公布的收益大多来自于自测，建议排在后面。

为什么单项任务变便宜了，月度账单却反而上升？

因为具体任务消耗的 Token 占比其实很小。在 @jensenloke 测量的会话中，上下文读取占据了绝大部分资源；按照 @cyrilxbt 的说法，Agent 每一步操作都会调用多个付费服务；再加上单次任务成本降低，往往会诱发更频繁的运行次数。@rauchg 提供的网关数据同样证实，支出在两个月内只是在不同服务商之间转移，总量并未缩减。如果团队只换模型而不设预算上限，就会遇到这种情况。

怎么验证优化手段确实见效了？

固定测试任务，并监控 GitHub 评估的三项核心指标：步骤数、Token 消耗量和工具调用次数，同时记录执行耗时与测试通过率。@mika_systems 的测试方法值得参考：相同的六个任务、两套配置、隐藏的检查项，并统计单次运行的最终金额。据 Search Engine Journal (https://www.searchenginejournal.com/anthropic-claude-opus-5-5-prompting-guidance/591278/) 报道，Anthropic 官方指南建议开发者在更换模型时重新测试深度设置，因此在两次对比测试中请务必保持思考深度一致。

来源

在 GemCommunity 讨论

esc