3 điều seller Shopify nên tự kiểm tra khi dùng AI dựng A/B test

Đó là điều Raynee H., giám đốc tăng trưởng của công cụ A/B test Shoplift, kể lại khi tự mở một store Shopify và để AI dựng giúp gần như toàn bộ các test.

Khi AI làm nhẹ phần dựng test, việc khó nhất với seller chuyển dần sang bước phân tích, rằng liệu kết quả nào đáng tin để được giữ lại.

Có ba chỗ dễ khiến bạn chọn nhầm một phiên bản test dựng bằng AI. Đó là thước đo, phần nền của bài test, và lượng khách cho mỗi phiên bản test.

Việc tìm ý tưởng và dựng test đã nhanh hơn nhưng việc đọc kết quả thì chưa

Cách Raynee làm khá gọn. Chị trao đổi với Sidekick ngay trong Shopify về tình hình store, rồi đưa các ý tưởng sang Claude, vốn được nối với Shoplift qua API. AI giúp chị lên chiến lược, dựng test, thiết kế phiên bản mới và đưa test lên store.

Bên trong Shopify, AI cũng đang làm nhanh khâu tìm ý tưởng.

Fabian Engeln, người phụ trách tăng trưởng thương mại điện tử tại Shopify, kể trên LinkedIn rằng anh đã dẫn dắt việc xây một công cụ AI mang một phần phương pháp của các chuyên gia tối ưu tỷ lệ chuyển đổi (CRO) ở Shopify. Với công cụ này, việc rà một trang từng mất 2–3 giờ giờ chỉ còn khoảng một phút, và hàng trăm đồng nghiệp của anh đang dùng nó mỗi tháng.

Theo Engeln, AI giỏi tìm ra các vấn đề tiềm ẩn và gợi ý cơ hội. Chuyên gia thì phải hiểu bối cảnh kinh doanh, quyết định cơ hội nào thật sự quan trọng, đặt đúng giả thuyết, thiết kế thí nghiệm và rút ra điều học được từ kết quả.

Anh viết: “Việc tìm ra cơ hội đang dễ dần”, và vì thế yêu cầu với người làm CRO đang cao lên. Nghĩa là khâu tìm ý tưởng, và như trường hợp của Raynee là cả khâu dựng test, đều đang nhẹ đi nhờ vào AI, còn phần vẫn cần con người nhiều nằm là ở khâu đọc kết quả.

Tỷ lệ chuyển đổi có thể gây hiểu lầm về doanh thu thật

Samuel Hess, đồng sáng lập Drip, đơn vị chuyên A/B test cho các thương hiệu bán trực tiếp (DTC), chia sẻ một test làm cho thương hiệu tất và đồ lót SNOCKS. Trên các trang sản phẩm unisex, đội của anh chuyển phần chọn số lượng thành menu thả xuống và mặc định chọn gói nhỏ nhất.

Kết quả: Trên điện thoại, tỷ lệ chuyển đổi tăng 3,97%, còn doanh thu trung bình trên mỗi người dùng (ARPU) chỉ tăng 1,87%, vì giá trị đơn trung bình (AOV) giảm 2,02%.

Hess cũng nói rõ mức tăng tỷ lệ chuyển đổi là tín hiệu định hướng, đội của anh không khẳng định nó có ý nghĩa thống kê. Bài học Drip rút ra là: “Hãy đánh giá cả doanh thu bên cạnh tỷ lệ chuyển đổi khi thay đổi phần chọn số lượng.”

Chi tiết này đáng để ý nếu bạn dùng Rollouts, tính năng có sẵn trong admin Shopify để lên lịch, tung dần hoặc thử nghiệm thay đổi theme. Rollouts có ba loại:

• Launch gộp thay đổi vào store
• Event áp thay đổi trong một khoảng thời gian rồi tự hoàn lại
• Experiment so phiên bản mới với một nhóm đối chứng

Theo trang hướng dẫn về số liệu của Rollouts, Experiment cho thay đổi theme sẽ báo cáo bốn chỉ số: tỷ lệ chuyển đổi, tỷ lệ thoát, tỷ lệ vào trang thanh toán và tỷ lệ thêm vào giỏ. Bạn không tùy chỉnh được danh sách này, và store cần gói Grow trở lên mới chạy được Experiment. Ở SNOCKS, mức tăng tỷ lệ chuyển đổi gần gấp đôi mức tăng ARPU. Với một thay đổi làm đơn nhỏ đi nhiều hơn, khoảng cách đó có thể đủ để một phiên bản thua về doanh thu vẫn trông như đang thắng.

Vì vậy, với những thay đổi dễ làm đổi giá trị đơn, như số lượng mặc định, gói combo hay ưu đãi theo số lượng, hãy lấy ARPU làm thước đo chính. Nếu công cụ bạn dùng chỉ báo các tỷ lệ, hãy coi kết quả là tín hiệu ban đầu và chạy loại thay đổi này trên một công cụ báo được doanh thu theo từng phiên bản.

Kiểm tra phần nền mà AI đã dựng trước khi đọc kết quả

Andrea Bosoni, một người làm marketing, kể về người bạn không rành công nghệ đã nhờ Claude hướng dẫn chạy chiến dịch quảng cáo Meta đầu tiên cho ứng dụng anh ấy đang làm. Sau vài ngày, chiến dịch vẫn chưa có kết quả nào.

Khi Bosoni xem lại, chiến dịch có ba lỗi:

• Tài khoản chưa cài pixel (đoạn mã giúp Meta biết ai đã chuyển đổi)

• Chiến dịch đặt mục tiêu lượt truy cập, nên được tối ưu cho lượt click thay vì lượt đăng ký

• Hai mẫu quảng cáo đem ra A/B test gần như giống hệt nhau, nên mỗi bên tiêu nửa ngân sách mà không học được gì

Sau khi dựng lại theo góp ý của anh, chiến dịch có lượt chuyển đổi đầu tiên ngay sáng hôm sau.

Đây là chuyện quảng cáo, không phải store, nhưng ba lỗi đó đều nằm ở phần nền của một bài test: đo bằng gì, tối ưu cho cái gì, và hai phiên bản có đủ khác nhau để so không. Test do AI dựng giúp trên store cũng nên được kiểm đúng ba chỗ đó trước khi bạn đọc con số.

Bạn có thể bắt đầu bằng một đơn thử để xem đơn có hiện trong cả Shopify lẫn công cụ test không. Sau đó, xem test đang được chấm bằng chỉ số nào. Nếu công cụ cho chọn, hãy chọn doanh thu trên mỗi người dùng thay vì số lượt bấm. Nếu không chọn được, như với Experiment trong Rollouts, hãy đọc kết quả theo cách ở phần trước. Cuối cùng, đặt hai phiên bản cạnh nhau và tự hỏi liệu khách có nhận ra điểm khác không.

Store ít khách nên chạy ít test hơn và tập trung vào những thay đổi lớn

Ba test trong một ngày nghe hấp dẫn, nhưng với store mới mở, câu hỏi tiếp theo là mỗi test nhận được bao nhiêu khách. Dưới bài của Raynee, Saif Ur Rehman, nhà phát triển Shopify chuyên về CRO và là nhà sáng lập Cartvane, nhắc đúng chỗ này.

Theo anh, ở store mới mở, ba test chạy cùng lúc thường chia nhau vài trăm phiên truy cập mỗi ngày, nên có thể mất vài tuần mới đọc được kết quả rõ ràng. Khi lượt truy cập còn mỏng, anh sẽ chạy mỗi lần một thay đổi lớn, như cách trình bày ưu đãi trên trang sản phẩm, và để các chỉnh sửa nhỏ cho các lượt sau.

Nếu bạn dùng Rollouts, cũng cần phân biệt việc thay đổi cho một nhóm khách hàng với chạy một bài test. Theo chúng tôi, việc thử thay đổi cho 10% khách rồi nhìn tỷ lệ chuyển đổi sẽ giúp giảm rủi ro khi ra mắt hơn. Nhưng nếu không có nhóm đối chứng thì cách này chưa thay được một bài test.

Trước khi giữ một thay đổi, bạn có thể tự hỏi:

• Test đo bằng doanh thu trên mỗi người dùng hay chỉ bằng tỷ lệ chuyển đổi?
• Đơn thử có hiện đúng trong công cụ test, và hai phiên bản có thật sự khác nhau không?
• Store có bao nhiêu phiên truy cập mỗi ngày? Nếu chỉ vài trăm, hãy chạy mỗi lần một test và chờ vài tuần trước khi đọc kết quả.

Với agency, nhận xét của Engeln còn có một nghĩa khác. Khi khách hàng tự dựng được test bằng AI, chúng tôi nghĩ giá trị của agency nằm nhiều hơn ở ba việc: chọn test nào đáng chạy, thiết kế test sao cho đọc được kết quả, và nói rõ với khách khi nào một kết quả đủ để giữ.

Như trường hợp của Raynee, AI có thể đưa một ý tưởng thành test chạy thật chỉ trong một ngày. Phần còn lại vẫn là của bạn, vì mỗi bài test chỉ có giá trị khi nó kết thúc bằng một quyết định giữ, bỏ hay chạy lại mà bạn giải thích được bằng số liệu.