GemNews

Tất cả bài · Bài viết

Cùng một model AI, ra hai kết quả trái ngược: "Harness" là gì và vì sao nó vẫn có lúc hỏng?

Tác giả Janie Nguyen · · 10 phút đọc

Chia sẻ: WhatsApp · Telegram · X · Facebook · LinkedIn · Email

Cùng model, cùng prompt, chạy hai lần ra hai kết quả một trời một vực. Theo chia sẻ của @JafarNajafov (https://x.com/JafarNajafov/status/2103764227404312730), Anthropic đã nhờ Opus 4.5 dựng một trình biên tập game retro 2D hai lần. Không có harness, lượt chạy tốn khoảng $9, mất 20 phút và hỏng bét. Có harness đầy đủ, nó tốn khoảng $200, chạy mất 6 tiếng nhưng ra đúng một tựa game chơi được hẳn hoi. Đây là thông tin kể lại nên con số chính xác chỉ mang tính tham khảo, nhưng bản chất của kết quả mới là điều đáng bàn.

Nếu bạn đang làm chủ shop, từng viết prompt cực kỳ cẩn thận mà nhận về một landing page nhạt nhẽo, thì thử nghiệm trên nói đúng hoàn cảnh của bạn đấy. Sự khác biệt giữa kết quả xịt của bạn và bản demo xịn xò ai đó khoe trên mạng thường nằm ở cái hệ thống bao quanh model AI. Bài này sẽ giải thích bình dân xem hệ thống đó (harness) là cái gì, mô hình thu nhỏ cho một shop online trông ra sao, và 3 chỗ mà ngay cả một bộ harness xịn vẫn làm lọt lỗi.

Prompt chỉ chiếm khoảng 1/3 hệ thống

Góc nhìn rõ ràng nhất trong tháng này đến từ bài tóm tắt bài giảng về AI engineering của Andrej Karpathy tại Stanford, do @dkare1009 (https://x.com/dkare1009/status/2103764008801280248) chia sẻ. Các mốc phát triển đi từ model thô (khoảng 10%), lên prompt (30%), agent (50%), vòng lặp tự sửa lỗi - loop (70%), và cuối cùng là một sơ đồ hoàn chỉnh gồm các bước kết nối với nhau - graph (100%). Kết luận chính: AI engineering thực chất là xây hệ thống xung quanh các model, nạp cho chúng ngữ cảnh (context), bộ nhớ (memory), công cụ (tools), vòng lặp phản hồi và luồng dữ liệu.

Một kỹ sư tại Anthropic còn nói thẳng hơn trong buổi chia sẻ được @0xnicc0 (https://x.com/0xnicc0/status/2095609874197413983) tóm tắt: "Đừng ngồi gõ prompt cho Claude nữa. Hãy dựng một hệ thống biết tự gõ prompt cho chính nó." @ghumare64 (https://x.com/ghumare64/status/2104112175425950177) cũng mở đầu danh sách kỹ năng cho dân làm AI engineering bằng câu tương tự: làm harness engineering chứ không chỉ prompt engineering, làm context engineering chứ không chỉ viết prompt dài.

Với dân bán hàng, "harness" dịch nôm na ra 4 thứ rất quen thuộc. Một là những gì model được nạp về thương hiệu của bạn trước khi bắt đầu. Hai là các quy tắc bắt buộc phải tuân theo mỗi lần chạy. Ba là bước kiểm tra chất lượng trước khi bấm đăng công khai. Và bốn là nhật ký lưu lại các quyết định cũ để lần chạy sau không dẫm lại vết xe đổ. Một kết quả bóng bẩy khoe trên X gần như luôn có đủ 4 thứ này, chỉ là người ta ít khi đưa chúng lên bài đăng.

Shopify làm gì trước khi tin dùng kết quả của một agent?

Chuyện từ đội ngũ kỹ thuật của Shopify cho thấy một bộ harness cỡ lớn trông như thế nào. Như @norvex1029 (https://x.com/norvex1029/status/2104474504609055178) kể lại, khi Shopify giao cho model AI làm mới lại ứng dụng React Native của họ trong một nốt nhạc, họ nhận về một đống code rác không thể dùng nổi. Đội ngũ sau đó phải dựng một hệ thống tên là Helix. Mỗi màn hình được chia nhỏ thành các cột mốc. Tại mỗi mốc, AI phải chạy test chứng minh code chạy đúng, đối chiếu giao diện thực tế bằng công cụ review hình ảnh, và vượt qua 2 agent AI khác chuyên kiểm tra lỗi code. Xong xuôi hết mới đến lượt lập trình viên thật vào ngó.

Nhờ vậy, Shopify đã viết lại và phát hành ứng dụng Shop native chỉ trong 12 tuần. Mục tiêu tiếp theo của họ là ứng dụng Shopify chính với 300 màn hình. Bài học mà @norvex1029 rút ra cũng là thứ dân bán hàng cần nhớ: bên thắng cuộc chưa chắc là bên có model ngon nhất, mà là bên có hệ thống kiểm duyệt xịn nhất.

Một ví dụ nhỏ hơn sẽ giúp bạn thấy rõ chênh lệch chi phí. @jamiegrove (https://x.com/jamiegrove/status/2102810220648976526) dùng AI để đọc và sửa lỗi cho 682 trang sản phẩm trên một gian hàng Shopify. Lần chạy đầu tiên đốt mất khoảng $185 mà chả đi đến đâu. Lần chạy thứ hai, cùng prompt và cùng model, chỉ tốn $12.60. Kết luận: model không phải yếu tố quyết định, harness mới là thứ làm nên chuyện.

Phiên bản vừa vặn cho một shop online

Bạn chẳng cần dựng cả hệ thống Helix phức tạp làm gì để thấy hiệu quả. Cả 4 phần trên đều có phiên bản đơn giản mà một shop 2 người tự làm được, không cần gõ dòng code nào.

Ngữ cảnh (Context). @shannholmberg (https://x.com/shannholmberg/status/2098850243760808268) gợi ý tạo một thư mục chứa các file văn bản thô: shop bán gì, khách hàng mục tiêu là ai (dùng đúng văn phong của họ), chương trình ưu đãi, định vị thương hiệu, giọng văn và các bằng chứng thực tế. Cứ gom từ đánh giá của khách và email hỗ trợ có sẵn ra. Không có cái này, công cụ AI nào cũng chỉ đang đoán mò về khách của bạn.

Quy tắc tích lũy dần. Một file mẫu CLAUDE.md từ tác giả của Claude Code được @Divyyanshishrma (https://x.com/Divyyanshishrma/status/2104169439289651427) chia sẻ, giúp lưu lại các lỗi sai trước đây, thói quen trình bày và quy định vào một file duy nhất để agent đọc mỗi khi làm việc. Thói quen cần học rất đơn giản: cứ phát hiện ra lỗi gì, hãy thêm ngay một dòng quy tắc vào file đó.

Danh sách kiểm tra trước khi đăng. @Voxyz_ai (https://x.com/Voxyz_ai/status/2103977414711767244) chia sẻ checklist 20 điểm cần duyệt trước khi đẩy một trang web vừa dựng bằng AI lên mạng, từ việc đồng bộ màu sắc/font chữ, giao diện điện thoại, cho đến trạng thái chờ tải hay trang báo lỗi. Với một trang sản phẩm, checklist thu gọn lại còn: giá khớp với kho, thông tin quảng cáo đúng với thực tế, có đủ các điều khoản bắt buộc và hiển thị chuẩn trên điện thoại.

Trang nháp và đo lường. @dashboardlim (https://x.com/dashboardlim/status/2101390400292290676) viết lại trang sản phẩm Shopify bằng AI đúng theo quy trình này: nghiên cứu trang đối thủ, tạo bản nháp, kiểm tra trên một trang ẩn của shop, rồi mới chia luồng traffic thật để test. Kết quả thu về từ đợt test của họ: doanh thu trên mỗi lượt truy cập (RPV) tăng 23.75%.

Dựng đủ 4 thứ đó là bạn đã có một bộ harness cho riêng mình. Phần còn lại của bài viết sẽ nói về lý do vì sao như vậy vẫn chưa đủ.

Những chỗ harness xịn vẫn làm lọt lỗi

Chính những bài viết khen ngợi harness lại chỉ ra các điểm yếu của nó. Có 3 kịch bản rất hay lặp lại, và kịch bản nào cũng có phiên bản tương tự ở các shop online.

Agent báo làm xong nhưng thực ra chưa xong. @mr_kozh (https://x.com/mr_kozh/status/2103895408795689397) tóm tắt lại cách OpenAI tạo ra khoảng một triệu dòng code chỉ với 3 kỹ sư và 1,500 lượt chỉnh sửa. Ông lưu ý rằng ngay cả trong hệ thống đó, agent vẫn quên các quyết định trước đó, chọn sai công cụ, viết code trùng lặp và đánh dấu đã xong cho những phần việc đang lỗi. Cách xử lý không phải là gõ prompt dài hơn: cần một bản mô tả tiêu chuẩn thế nào là hoàn thành, môi trường chạy riêng biệt, các bài test kiểm tra tính năng, các mốc đánh giá và người thật vào soi kết quả. Với một shop online, "xong" phải là khi trang đó đã vượt qua checklist của bạn, chứ không phải khi AI báo "tôi đã làm xong".

Ngữ cảnh bị đầy và model bắt đầu bốc phét. @dr_cintas (https://x.com/dr_cintas/status/2104274873476337815) cho biết nếu để Opus 5.5 tự chạy thoải mái trong bộ nhớ 200,000 token, nó sẽ bắt đầu ngáo khi gặp các tính năng phức tạp: quên mất kết quả của các công cụ trước đó, tưởng tượng ra trạng thái file không có thật hoặc chỉnh sửa vòng quanh. Cách khắc phục là tạo một file SESSION_STATE.md bên ngoài để agent buộc phải cập nhật trước khi đụng vào code. File này ghi rõ mục tiêu, các thay đổi đang làm, kiến trúc đã chốt và trạng thái kiểm tra.

Với shop online, lỗi này hay xuất hiện trong một phiên làm việc dài, khi bạn bảo AI viết lại 40 mô tả sản phẩm. Đến sản phẩm thứ 30, nó bắt đầu râu ông nọ chắp cằm bà này. Cách sửa cũng vậy: chia nhỏ phiên làm việc, làm từng sản phẩm một, và có file ghi lại trạng thái để AI đọc trước mỗi bước.

Bộ nhớ ghi nhận cả những quyết định sai. @beamnxw (https://x.com/beamnxw/status/2103890773972308479) kể lại trường hợp 64 agent dùng chung một nhật ký ghi lại các quyết định và lý do. Trong 3 ngày có 178 lần tra cứu; 68% xác nhận lại quyết định trước đó và khoảng 4.5% làm thay đổi hành động của agent. Tuy nhiên có một sự cố đáng chú ý: một agent thấy một chỉ mục cơ sở dữ liệu có vẻ không dùng đến nên đã xóa đi. Người thật sau đó test lại trong điều kiện thực tế, thấy chỉ mục đó vẫn cần nên đã khôi phục lại. Thế nhưng file nhật ký vẫn mẫn cán lưu lại quyết định sai lầm đó cho đến khi có người vào chỉnh lại.

Đây là rủi ro ít ai nhắc tới khi tung hô các file lưu bộ nhớ. File quy tắc của bạn sẽ ghi lại bất cứ thứ gì bạn nạp vào, kể cả bài học sai lầm rút ra từ một tuần làm việc ngớ ngẩn. @DamiDefi (https://x.com/DamiDefi/status/2104496839064178804) tóm tắt lại lời khuyên của Daniel Miessler: biến mọi lỗi sai của agent thành một bản nâng cấp hệ thống lâu dài, đồng thời phải thường xuyên "dọn dẹp" lại kho quy tắc để agent không nhân rộng các khoản "nợ" cũ. Dọn dẹp ở đây nghĩa là người thật phải đọc lại file quy tắc và tỉa bớt những dòng không còn đúng.

Vì sao khách hàng lại là người gánh hậu quả đầu tiên?

Ở Shopify, hệ thống Helix đặt 2 agent AI kiểm tra và 1 kỹ sư thật nằm giữa AI và môi trường thực tế. Nhưng ở một shop online 2 người, thường chẳng có ai đứng giữa AI và trang web đang chạy cả. CEO của Shopify đã cảnh báo nguy cơ này cho nhân viên của mình, theo ghi nhận của @interesting_aIl (https://x.com/interesting_aIl/status/2102007936809841117): việc văng các sản phẩm AI chưa qua kiểm duyệt cho đồng nghiệp — thứ ông gọi là "bom rác" — chỉ làm tốn thêm thời gian của người nhận. Trên một storefront, người hứng quả "bom" đó chính là khách mua hàng, và cái giá phải trả là một đơn hàng bị mất hoặc một lượt trả hàng, chứ không chỉ là một buổi chiều mất công của đồng nghiệp.

Hiện chưa có số liệu công khai nào cho thấy tần suất các trang sản phẩm do AI viết bị lọt lỗi sai thực tế là bao nhiêu. Nhưng cơ chế gây ra lỗi thì đã được các đội ngũ nhiều nguồn lực nhất chứng minh ở trên rồi.

Những việc cần kiểm tra trong quy trình của bạn tuần này

  1. Soi lại 4 thành phần. Thư mục ngữ cảnh, file quy tắc, checklist trước khi đăng, trang nháp. Thiếu cái nào thì đó chính là nguyên nhân khiến AI ra kết quả nhạt nhẽo.
  2. Định nghĩa chữ "xong" bằng văn bản. Viết rõ một câu cho từng việc: "Mô tả sản phẩm được tính là xong khi mọi con số đều khớp với kho và vượt qua checklist." Đưa câu đó cho cả công cụ AI lẫn người duyệt bài.
  3. Giới hạn độ dài phiên làm việc. Một phiên chỉ làm 1 sản phẩm, 1 trang hoặc 1 email. Nếu công cụ bắt làm hàng loạt, hãy soi kỹ mục cuối cùng trong danh sách như mục đầu tiên; đó là nơi AI bắt đầu lệch chuẩn.
  4. Đọc lại file quy tắc mỗi tháng. Xóa bỏ những dòng quy tắc do sự cố bộc phát tạo ra. Một quy tắc kiểu "không bao giờ nhắc đến thời gian giao hàng" chỉ vì một trang từng ghi sai ngày tháng sẽ âm thầm xóa mất thông tin hữu ích trên tất cả các trang về sau.
  5. Giữ lại 1 bước duyệt của người thật trước khi publish. Duyệt thay đổi từng trang một, đừng duyệt gộp một lúc 40 trang. Công cụ nào cho phép bạn bấm duyệt 7 cái và từ chối 3 cái mới là công cụ được thiết kế đúng chuẩn harness.

Hãy bắt đầu từ file quy tắc. Mở nó ra (hoặc tạo mới) và thêm vào 3 lỗi gần nhất bạn vừa bắt được. Thói quen nhỏ này chính là một phần hệ thống của Shopify mà bất kỳ shop online nào cũng có thể áp dụng ngay tối nay.

Sources

Bàn luận trên GemCommunity

esc