GemNews

Tất cả bài · Bài viết

Sonnet 5.5 Tốn Ít Token Hơn. Nhưng Cách Tiết Kiệm Tiền AI Lớn Hơn Lại Nằm Ở Chỗ Khác

Ghi chú từ Copilot của GitHub cho biết model mới đạt hiệu suất tương đương model cũ nhưng tốn ít bước và token hơn. Dù vậy, các bài test chi phí công bố tuần này chỉ ra rằng routing, thiết lập effort và context mới là những đòn bẩy lớn hơn giúp giảm hóa đơn hàng tháng của team.

Tác giả Janie Nguyen · · 5 phút đọc

Chia sẻ: WhatsApp · Telegram · X · Facebook · LinkedIn · Email

Đổi model dùng hàng ngày trước vì trải nghiệm chẳng mất gì, sau đó làm dần xuống các nấc tiếp theo: một bộ router tự chọn model rẻ hơn cho từng bước, một lớp quyết định để chặn bớt việc suy nghĩ thừa, và một harness gọn gàng hơn. Mọi con số dưới đây đều do chính các team tự chạy và báo cáo, không phải hóa đơn hàng tháng từ agency.

  • Chuyện gì đã xảy ra: Ngày 29 tháng 9, @github (https://x.com/github/status/2104637226336538862) đã mở bản GA cho Claude Sonnet 5.5 trên Copilot và cho biết qua kiểm thử ban đầu, model này làm các tác vụ code tốt ngang Sonnet 5 nhưng tốn ít bước, ít token và lượt gọi tool hơn hẳn, lại chạy nhanh hơn. @Israfilv2 (https://x.com/Israfilv2/status/2104637819402764747) tóm tắt bản cập nhật này giúp giảm tới 30% token trên phần lớn công việc, trong khi giá giữ nguyên ở mức $3/triệu input token và $15/triệu output token. Với các team trả phí theo token, chi phí cho mỗi tác vụ sẽ giảm xuống; còn với các team dùng gói theo seat có giới hạn lưu lượng, hóa đơn giữ nguyên nhưng dùng được nhiều việc hơn.
  • Thang đo chi phí từ các bài test tuần này: @gradientintern (https://x.com/gradientintern/status/2103363088397250605) báo cáo một bộ router đơn giản đạt 75/100 điểm trên SWE-bench Verified với chi phí $25.66, so với $54.73 nếu lúc nào cũng dùng Opus, giảm 53%. @mika_systems (https://x.com/mika_systems/status/2103921273852108955) chạy hai lần cho 6 tác vụ code: Opus 5.5 ở mức effort tối đa ngốn 64,899 token suy nghĩ, còn khi đặt một lớp quyết định phía trước thì chỉ tốn 954 token. Cả hai đều vượt qua 12/12 bài test, nhưng tổng tiền API giảm từ $3.76 xuống $1.70. @kimmonismus (https://x.com/kimmonismus/status/2104628247296409952) chia sẻ kết quả một bộ router dựa trên Jev đạt 99% hiệu năng của Opus 5.5 và GPT-6 Astra nhưng rẻ hơn 40%. @jamiegrove (https://x.com/jamiegrove/status/2102858267441430708) đọc sửa 682 trang sản phẩm Shopify với cùng một model và prompt trên hai harness khác nhau: cách đầu tiên ngốn khoảng $185 mà không xong, cách thứ hai chỉ tốn $12.60.
  • Vì sao hóa đơn vẫn có thể tăng: @jensenloke (https://x.com/jensenloke/status/2104252961430102289) kể lại một phiên làm việc 5 ngày của Devin để dọn dẹp hệ thống ops, tiêu tốn khoảng 688 triệu token context, trong đó cứ viết 1 token thì phải đọc lại tầm 129 token. @cyrilxbt (https://x.com/cyrilXBT/status/2103752714941538621) đếm được 5 đến 6 API riêng biệt đứng sau một agent (từ embedding, reranking, đọc file PDF, kiểm duyệt an toàn đến reasoning), dịch vụ nào cũng tính tiền riêng. @rauchg (https://x.com/rauchg/status/2103216656747262419) chia sẻ dữ liệu từ Vercel AI Gateway cho thấy tỷ trọng chi tiêu của Anthropic giảm từ 69% xuống 40% trong hai tháng, trong khi OpenAI tăng từ 10% lên 24% — đây là sự dịch chuyển tiền giữa các bên cung cấp chứ tổng chi phí không hề giảm.
  • Cần làm gì tuần này: Cài Sonnet 5.5 làm mặc định cho các tác vụ có phạm vi rõ ràng và test lại thiết lập effort, vì con số của @mika_systems cho thấy effort ảnh hưởng tới chi phí còn nhiều hơn bản thân model. Giới hạn độ dài phiên làm việc để context không bị dồn nén phình to. Gom việc chọn model, routing và hạn mức chi tiêu vào chung một file cấu hình — đây là cách @databricks (https://x.com/databricks/status/2103207342061883611) gợi ý cho các team phải thích nghi với model mới ra mắt trung bình 5 ngày một lần. Ghi lại chi tiêu cho mỗi phiên trước và sau khi chỉnh, dùng các công cụ chạy máy local như bản @DataChaz (https://x.com/DataChaz/status/2096303020653101200) giới thiệu, để có con số đối sánh thực tế của chính bạn.

Team nên chỉnh đòn bẩy nào trước?

Chỉnh cái không mất tiền trước: cài model rẻ hơn làm mặc định cho những việc đã quy hoạch rõ ràng, đúng như cách @github định vị Sonnet 5.5. Sau đó chỉnh lại các thiết lập effort, vì khoản tiết kiệm lớn nhất trong các bài test tuần này đến từ việc cắt giảm token suy nghĩ chứ không phải đổi model. Việc dựng router hay viết lại harness làm sau, vì mấy cách đó tốn công kỹ thuật mà hiệu quả công bố mới chỉ dừng ở mức các team tự báo cáo.

Tại sao hóa đơn hàng tháng vẫn tăng dù chi phí từng tác vụ rẻ đi?

Vì bản thân tác vụ chỉ chiếm một phần nhỏ lượng token. Đọc context chiếm phần lớn lưu lượng trong phiên làm việc mà @jensenloke theo dõi, còn theo @cyrilxbt thì các agent phải gọi nhiều dịch vụ trả phí cùng lúc cho mỗi bước xử lý. Thêm nữa, giá mỗi tác vụ rẻ đi thường khiến người ta bấm chạy nhiều hơn. Dữ liệu gateway của @rauchg cho thấy dòng tiền chỉ dịch chuyển qua lại giữa các bên cung cấp trong hai tháng chứ không thu hẹp lại — đó đúng là những gì xảy ra khi bạn đổi model mà không cài hạn mức ngân sách.

Làm sao biết chỉnh đòn bẩy có hiệu quả hay không?

Giữ nguyên bài test và đo đúng 3 chỉ số mà GitHub đã đo: số bước, lượng token và số lượt gọi tool, cộng thêm thời gian chạy và tỷ lệ pass bài test. Mô hình của @mika_systems là chuẩn nhất: cùng 6 tác vụ, hai cấu hình khác nhau, giấu phần kiểm tra kết quả, và tính ra tổng tiền USD cho mỗi lần chạy. Hướng dẫn từ chính Anthropic, theo ghi nhận của Search Engine Journal (https://www.searchenginejournal.com/anthropic-claude-opus-5-5-prompting-guidance/591278/), nhắc các dev nên test lại effort mỗi khi đổi model, nên hãy giữ cố định mức effort giữa hai lần chạy để so sánh.

Nguồn tham khảo

Bàn luận trên GemCommunity

esc