Scovai Scovai
AI & Operations 2026-11-15 1 min read

Kiểm tra tác nhân giữa chừng nhanh hơn là để nó chạy đến hết

DSL

Dr. Sarah Liu

Kiểm tra tác nhân giữa chừng nhanh hơn là để nó chạy đến hết

Hãy dời điểm kiểm tra từ cuối lượt chạy của tác nhân vào giữa lượt chạy đó, và thời gian hoàn thành tác vụ giảm 13,54%. Đó là kết quả chính của một nghiên cứu nội-đối-tượng với 48 người tham gia giám sát tác nhân AI và sửa lỗi của chúng, công bố tại Hội nghị CHI 2026 (Zhou et al., CHI 2026). Tám mươi mốt phần trăm những người tham gia đó ưa thích thiết kế xác nhận trung gian hơn mặc định "xác nhận ở cuối" vốn đang có sẵn trong hầu hết công cụ tác nhân hiện nay.

Hãy đọc lại, vì điều bất ngờ nằm ở chiều hướng. Giám sát nhiều hơn đã không tốn thông lượng. Nó mua được thông lượng. Kiểm tra tác nhân giữa chừng nhanh hơn là để nó chạy trơn tru đến hết.

Điều này đảo ngược lập luận mà phần lớn lãnh đạo vận hành đã nêu suốt hai năm qua. Lập trường tiêu chuẩn ở phân khúc tầm trung là: con người trong vòng lặp là một khoản chi an toàn trả bằng ngân sách tốc độ — có thật, có thể biện hộ, nhưng vẫn là một thứ thuế. Nghiên cứu này nói tiền đề đó sai ngay trên chính tiêu chí của nó, và vị trí của một điểm kiểm tra so với các bước không thể đảo ngược của tác nhân là một biến lập lịch mà hiện bạn đang bỏ trống.

Xác nhận ở cuối là một quyết định thiết kế không phải do bạn đưa ra

Hầu hết sản phẩm tác nhân thực thi tác vụ nhiều bước một cách tự chủ và chỉ đưa ra một lần phê duyệt duy nhất ở cuối. Các tác giả nói thẳng vì sao điều đó mong manh: trong lúc thực thi, người dùng gần như không có quyền kiểm soát, nên một lỗi đơn lẻ sẽ lan theo dây chuyền và buộc phải khởi động lại toàn bộ. Bạn không biết ở bước ba rằng tác nhân đã đọc sai dữ liệu đầu vào. Bạn biết ở bước mười một, sau khi tám bước nữa đã được dựng lên trên đó.

Cách sửa hiển nhiên — xác nhận từng bước — loại bỏ hiệu ứng dây chuyền nhưng, theo cách diễn đạt của bài báo, lại áp đặt một gánh nặng nhàm chán. Thế là cả lĩnh vực an vị trong một lựa chọn nhị phân giả: đặt cổng ở mọi nơi rồi bò, hoặc không đặt cổng nào rồi đánh cược. Không cái nào là một quyết định. Cả hai đều là mặc định.

Đóng góp của bài báo là thôi xem đây như một núm vặn an toàn và mô hình hóa nó thành một bài toán lập lịch thời gian tối thiểu. Câu hỏi không còn là giám sát bao nhiêu — đó là câu hỏi mà mọi đội vận hành tranh luận trong cuộc họp ngân sách. Câu hỏi là ở đâu, và gần như không ai nêu nó thành lời.

48 người tham gia thực sự đã làm gì

Nghiên cứu diễn ra qua hai giai đoạn. Một nghiên cứu định hình với tám người tham gia đã làm lộ ra một khuôn mẫu hành vi lặp lại trong cách con người giám sát lỗi của tác nhân, được các tác giả gọi là Confirmation–Diagnosis–Correction–Redo (CDCR). Khi người dùng phát hiện một vấn đề, họ xác nhận rằng có gì đó sai, chẩn đoán điều gì hỏng, sửa lại, rồi làm lại phần việc bị ảnh hưởng. Mỗi trong bốn pha này tiêu tốn thời gian đo được, và pha làm lại tăng theo số bước đã thực thi kể từ khi lỗi xuất hiện.

Khuôn mẫu đó chính là động cơ của kết quả. Vì chi phí CDCR có thể dự đoán, chúng có thể được ước lượng trước cho từng bước. Nhóm nghiên cứu đã xây một mô hình lý thuyết quyết định đặt các điểm xác nhận dựa trên thời gian tương tác kỳ vọng của người dùng, quyết định theo từng bước xem tác nhân tự chạy tiếp hay nhắc một người vào giám sát.

Rồi họ kiểm nghiệm: 48 người tham gia, thiết kế nội-đối-tượng, giám sát tác nhân và sửa lỗi trong lúc thực thi thực tế. Thời gian hoàn thành giảm 13,54% so với xác nhận ở cuối. Mức ưa thích đạt 81% (Zhou et al., CHI 2026).

Hai điểm dè dặt cần đi kèm mọi cách đọc theo hướng vận hành. Mẫu là 48 người trong một nghiên cứu tương tác người–máy có kiểm soát, không phải một triển khai sản xuất trên cả một chức năng — hãy xem 13,54% là chỉ dấu về chiều hướng cho quy trình của bạn, không phải một dự báo. Và cả hai con số đều được đo cụ thể so với xác nhận ở cuối. Bài báo không khẳng định xác nhận trung gian thắng xác nhận từng bước về thời gian. Nó khẳng định rằng mặc định dồn hết về cuối thua một phương án có lập lịch.

Lập luận phản bác: Stanford thấy các cổng duyệt tốn 31 điểm

Có một phát hiện lan truyền rộng dường như mâu thuẫn với tất cả những điều trên. Stanford Digital Economy Lab đã nghiên cứu 51 triển khai AI doanh nghiệp trong môi trường sản xuất và báo cáo khoảng cách trung vị 31 điểm phần trăm quy về một lựa chọn kiến trúc duy nhất: những triển khai mà AI sở hữu tác vụ từ đầu đến cuối không có cổng phê duyệt của con người đạt mức tăng năng suất trung vị 71%, trong khi những triển khai đòi phê duyệt của con người ở mọi hành động đáng kể chỉ dừng ở 40% — tại các doanh nghiệp chạy cùng những mô hình tiên tiến như nhau (Stanford Digital Economy Lab, 2026).

Vậy rốt cuộc là gì? Cổng duyệt khiến bạn mất 31 điểm hay mang lại 13,54%?

Cả hai, và hai kết quả không xung đột. Stanford đo sự hiện diện của cổng — phê duyệt ở mọi hành động đáng kể so với không có cổng nào. Nghiên cứu CHI đo vị trí của cổng — cùng một ngân sách giám sát, nhưng được lập lịch khác đi. Điều kiện thua ở Stanford là xác nhận từng bước. Điều kiện thua trong nghiên cứu CHI là xác nhận ở cuối. Đó là hai kiểu hỏng khác nhau, và việc dung hòa chúng mới là chỉ dẫn vận hành thực sự: đừng đặt cổng ở mọi hành động đáng kể, và cũng đừng đặt cổng chỉ ở cuối.

Phản xạ của phân khúc tầm trung là đọc con số của Stanford, gỡ bỏ các cổng, rồi gọi đó là ủy quyền thẩm quyền. Làm vậy đưa bạn rơi đúng vào điều kiện mà bài báo CHI đã vượt qua với 13,54%.

Kiểm tra muộn cũng là kiểm tra yếu

Vị trí ảnh hưởng đến nhiều thứ hơn là đồng hồ. Nó ảnh hưởng đến việc liệu khâu rà soát có phát hiện được gì hay không.

Một nghiên cứu nội-đối-tượng khác năm 2026 cho 36 người tham gia làm các tác vụ lập trình với tác nhân, trong đó tác nhân tạo ra hoặc kết quả đúng, hoặc một thất bại nhìn thấy được, hoặc một lỗi âm thầm. Trên các tác vụ có lỗi âm thầm, tỷ lệ phát hiện tổng thể là 39% — nhưng biến thiên gần mười lần tùy tác vụ, từ 8% đến 75%, trong khi mức tự tin tự báo cáo của người rà soát gần như phẳng, từ 3,83 đến 4,50 trên thang 5 (Dissanayake et al., 2026). Trong số các tác vụ lỗi âm thầm bị bỏ sót mà có điểm tự tin hợp lệ, 79% được chính người rà soát bỏ sót lỗi chấm 4 hoặc 5 trên 5.

Người rà soát của bạn không cảm nhận được khác biệt giữa một tác vụ họ bắt được ba trên bốn lỗi và một tác vụ họ bắt được một trên mười hai. Sự tự tin không bám theo độ chính xác. Nghĩa là một lần phê duyệt duy nhất ở cuối lượt chạy không chỉ là kiểm tra muộn: đó là kiểm tra không được đo lường, và người ký duyệt không có tín hiệu nội tại nào cho biết mình đang ở loại tác vụ nào.

Vị trí điểm kiểm tra cho bạn thứ mà sự tự tin không cho: một lỗi bắt được ở bước ba quy được về bước ba. Một lỗi bắt được ở cuối chỉ quy về cả lượt chạy.

Chi phí khởi động lại là biến số bạn chưa định giá

Nếu vị trí là đòn bẩy, thì dữ liệu đầu vào xác lập nó là chi phí khởi động lại trên mỗi bước — bao nhiêu công việc đã thực thi mà một lỗi phát hiện muộn tại điểm đó buộc bạn phải làm lại.

Hai con số giúp hiệu chỉnh xem chi phí này tập trung ở đâu. Agent Delegability Index, vốn đánh giá toàn bộ 18.796 mô tả tác vụ của O*NET và gia quyền theo việc làm tại 146 quốc gia, cho thấy 35,2% thời gian tác vụ toàn cầu ít nhất có thể ủy thác một phần cho tác nhân, nhưng chỉ 2,5% có thể bàn giao trọn vẹn, và phần đó tập trung ở một vài nhóm nghề hành chính. Kết quả hữu ích nhất về mặt vận hành của nó là: ủy thác toàn phần đạt đỉnh ở những tác vụ chiếm của con người khoảng mười hai phút (Espinal Maya & Jiménez Londoño, 2026). Tác vụ ngắn làm lại rất rẻ; chính những lượt chạy dài, nhiều bước mới là nơi chi phí khởi động lại tích tụ — và đó đúng là những lượt chạy mà công cụ của bạn chỉ xác nhận ở cuối.

Chi phí đó đã nằm trong sổ sách của bạn, chỉ là không dưới một khoản mục bạn nhận ra. Trong một khảo sát 2.500 lao động tri thức tại năm quốc gia, 42% cho biết họ dành nhiều thời gian kiểm chứng đầu ra của AI hơn thời gian tiết kiệm được nhờ dùng nó, và 52% thường xuyên sửa công việc do AI tạo ra của đồng nghiệp (Adaptavist, 2026). Đó là phần làm lại rơi xuống hạ nguồn của khâu tạo sinh — vòng lặp CDCR, chạy không theo lịch và không được đếm, trên giờ công của người khác.

Lập lịch cho việc xác nhận chính là cách kéo chi phí đó về phía trước, tới nơi nó rẻ nhất và dễ thấy nhất.

Nên làm gì với việc kiểm tra tác nhân giữa chừng trong quý này

Đây không phải một thương vụ mua công cụ. Đây là một bài tập lập bản đồ, và nó gọn trong một quý.

  1. Chọn ba luồng tác nhân có khối lượng lớn nhất và viết ra các bước của chúng theo thứ tự. Với mỗi bước, ghi một con số: một người sẽ phải làm lại bao nhiêu phút công việc đã thực thi nếu lỗi phát sinh tại bước đó chỉ được phát hiện ở cuối lượt chạy.
  2. Đánh dấu mọi bước không thể đảo ngược — bất cứ thao tác nào gửi đi, thanh toán, đăng tải, ghi vào hệ thống hồ sơ gốc, hoặc chạm tới bên thứ ba. Chi phí khởi động lại ở một bước không thể đảo ngược không tính bằng phút; nó là cả một quy trình khắc phục. Đây là các điểm kiểm tra bắt buộc, bất kể mô hình thời gian nói gì.
  3. Đặt điểm kiểm tra ngay trước những bước mà chi phí khởi động lại tích lũy nhảy vọt, không phải theo khoảng đều và không phải ở cuối. Kiểm tra theo khoảng đều chính là điều kiện gánh nặng nhàm chán mà nghiên cứu đã bác bỏ.
  4. Đo lường chính khâu rà soát, không chỉ lượt chạy. Ghi nhận tỷ lệ phát hiện theo từng điểm kiểm tra và từng loại tác vụ. Vì mức tự tin của người rà soát giữ nguyên trong khi tỷ lệ phát hiện dao động từ 8% đến 75%, sẽ không ai báo cho bạn biết một điểm kiểm tra đang yếu — bạn phải tự đo.
  5. Lập lại bản đồ mỗi khi bạn mở rộng quyền tự chủ. Cấp cho tác nhân một loại hành động mới sẽ thay đổi hồ sơ khởi động lại của mọi bước phía sau.

Kiến trúc quản trị quyết định bạn cấu hình được bao nhiêu trong số đó. Digital Employees của Scovai mặc định theo nguyên tắc xác nhận trước — mọi hành động hiển thị ra bên ngoài đều trở thành một yêu cầu phê duyệt mang tên một con người cụ thể, yêu cầu không được trả lời sẽ hết hiệu lực thay vì lặng lẽ đi qua, và quyền tự chủ được tích lũy theo từng loại hành động dựa trên sổ phê duyệt có lưu vết, chứ không cấp trọn gói theo vị trí (Scovai Digital Employees). Điều đó trả lời câu hỏi về sự hiện diện. Kết quả của CHI cho thấy câu hỏi về vị trí vẫn còn đó: khi đã biết nhân sự số được phép thực hiện những loại hành động nào mà không cần giám sát, bạn vẫn phải quyết định các lần kiểm tra còn lại rơi vào đâu bên trong một lượt chạy nhiều bước.

Quyết định đang đặt trước mặt bạn

Phần lớn các đội vận hành đang tiến hành một cuộc tranh luận ngân sách — chúng ta chi được bao nhiêu giờ rà soát cho việc giám sát tác nhân, và liệu có biện hộ được cho việc kiểm tra tác nhân giữa chừng hay không. Nghiên cứu nói rằng cuộc tranh luận ấy đang diễn ra trên sai trục. Chi phí giám sát tác nhân của bạn đã được ấn định; thứ chưa được ấn định là nó rơi vào đâu — và riêng vị trí đã đáng giá 13,54% thời gian hoàn thành, trước mọi thay đổi về nhân sự, mô hình hay nhà cung cấp.

Vậy nên quyết định cụ thể cho quý này đủ hẹp để đưa ra vào một ngày thứ Ba: lấy luồng tác nhân có khối lượng lớn nhất của bạn, tìm bước không thể đảo ngược đầu tiên trong đó, và kiểm tra xem có gì xác nhận trước bước ấy không. Nếu không có gì cả, bạn không đang vận hành một mô hình giám sát tinh gọn. Bạn đang vận hành một mô hình đắt đỏ, với hóa đơn bị hoãn tới lúc khởi động lại.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.