Scovai Scovai
AI & Operations 2026-11-12 1 min read

Một người đánh giá khắt khe hơn tham gia vào tháng Năm và xu hướng chất lượng của agent bạn đi ngang — trong khi agent vẫn đang tiến bộ suốt thời gian đó

DSL

Dr. Sarah Liu

Một người đánh giá khắt khe hơn tham gia vào tháng Năm và xu hướng chất lượng của agent bạn đi ngang — trong khi agent vẫn đang tiến bộ suốt thời gian đó

Hai người đánh giá đã cho điểm cùng những lô dữ liệu của cùng một AI agent đang chạy production và lệch nhau 0,79 độ lệch chuẩn trên chỉ số chất lượng tổng hợp. Mức dịch chuyển chất lượng lớn nhất mà bất kỳ lần triển khai được ghi nhận nào tạo ra trong cùng sáu tháng đó là 0,20 độ lệch chuẩn (Zhang & Esposito, 2026). Nghĩa là nhiễu trong quy trình đánh giá AI agent đó lớn gấp khoảng bốn lần tín hiệu mà nó được dựng lên để phát hiện. Khi một người đánh giá khắt khe hơn tham gia vòng luân phiên vào tháng Năm, xu hướng chất lượng thô của công ty đi ngang — còn agent thì vẫn đang tiến bộ suốt thời gian đó.

Đây không phải câu chuyện về những người đánh giá cẩu thả. Đây là câu chuyện về điều xảy ra khi bạn vận hành một dòng điểm mà chưa từng kiểm tra xem các điểm đó có so sánh được với nhau hay không.

Nghiên cứu: 2.611 cuộc phỏng vấn đã cho điểm, 14 lô, một agent trong production

Liu Zhang và Mark Esposito nghiên cứu một công ty duy nhất đang vận hành một AI agent giọng nói và hình ảnh thực hiện phỏng vấn tuyển dụng trực tiếp. Từ tháng 3 đến tháng 8 năm 2026, chính pipeline đánh giá của công ty đã cho điểm 2.611 bản ghi production trong 14 lô theo một rubric gồm chín nhóm tiêu chí, với các người đánh giá được chủ ý cho chồng lấn bên trong từng lô. Sự chồng lấn đó chính là toàn bộ phương pháp: nó là điều duy nhất cho phép tách một người đánh giá khắt khe đến đâu khỏi agent thực sự tốt lên bao nhiêu (Zhang & Esposito, 2026).

Thiết kế này quan trọng vì nó phản chiếu đúng điều mà các nhóm vận hành ở doanh nghiệp tầm trung đã làm. Hai hoặc ba người cho điểm đầu ra của agent theo rubric, điểm đi lên dashboard, và ai đó đọc đường biểu đồ. Khác biệt duy nhất là phần lớn các nhóm không cho người đánh giá chồng lấn — nên họ không có cách nào phân biệt hai hiệu ứng.

Đây là điều sự chồng lấn phơi ra.

Người đánh giá B — một chuyên viên đào tạo tham gia từ tháng Năm — cho điểm cùng những lô đó thấp hơn 0,79 độ lệch chuẩn (SE 0,05) so với người đánh giá A. Trên chín lô mà cả hai đều cho điểm, khoảng cách là âm ở từng lô một, trải từ −0,90 đến −0,53 SD, với khoảng cách gộp theo nghịch đảo phương sai là −0,77 (SE 0,03). Kiểm định tính không đồng nhất bác bỏ hằng số chính xác (Q = 19,0, p = 0,01), nên độ lệch này là một phép xấp xỉ chứ không phải một hằng số gọn gàng — nhưng chiều hướng chưa đảo lại lần nào.

Bỏ hiệu ứng người đánh giá ra và bức tranh đảo chiều. Chỉ số chất lượng tiềm ẩn tăng 0,53 độ lệch chuẩn, từ 0,05 SD ngày 29 tháng 3 lên 0,58 SD ngày 10 tháng 8. Sự cải thiện là thật. Đường đi ngang chỉ là sản phẩm phụ của việc ai đang giữ bút. Tỷ lệ lỗi nghiêm trọng tiềm ẩn kể cùng một câu chuyện ở hình dạng khác: 2,8% trong tháng 3, đạt đỉnh 6,3% khoảng ngày 9 tháng 5, rồi giảm đều về 2,5% vào ngày 10 tháng 8 (Zhang & Esposito, 2026).

Khoảng cách giữa người đánh giá lớn hơn mọi thứ agent đã làm

Hãy đặt ba thành phần phương sai cạnh nhau, vì chính thứ tự là phát hiện:

  • Độ lệch của người đánh giá: 0,79 SD
  • Nhiễu giữa các cuộc phỏng vấn: 0,89 SD (mức ca)
  • Dịch chuyển thực giữa các lô: 0,20 SD

Cả ba đều từ cùng một tập dữ liệu (Zhang & Esposito, 2026). Dịch chuyển thực trong chất lượng agent là số hạng nhỏ nhất của hệ thống. Một thay đổi nhân sự ở phía đánh giá, chỉ riêng nó, đã đủ lớn để xoá sáu tháng cải thiện thực khỏi xu hướng thô. Một nhóm nhìn vào dashboard đó trong tháng Sáu sẽ kết luận rằng agent đã chạm trần — và có lý khi rollback một lần triển khai vốn đang hiệu quả.

Đây là phần đáng dừng lại. Phần lớn tranh luận về quản trị agent xoay quanh việc mua bao nhiêu giám sát. Kết quả này nói rằng câu hỏi đứng trước là: phần giám sát bạn đã mua có tạo ra những con số so sánh được với nhau qua thời gian hay không. Nếu không, thêm nữa chỉ cộng vào khối lượng, không cộng vào thông tin.

Khắt khe hơn trên rubric, dễ dãi hơn ở tiêu chí chặn

Sự đảo chiều bên trong dữ liệu là chi tiết khiến bất kỳ ai đang làm QA cho agent phải thấy bất an. Cũng chính người đánh giá B cho điểm nặng hơn 0,79 SD trên chỉ số tổng hợp lại gắn cờ lỗi nghiêm trọng ở 2,0% so với 5,0% của người đánh giá A — chênh lệch trong cùng lô là −2,2 điểm phần trăm, theo chiều ngược lại (Zhang & Esposito, 2026).

Độ khắt khe không phải một núm điều chỉnh duy nhất. Một người đánh giá có thể rất nặng tay ở các hạng mục cho điểm nhưng lại nhẹ tay ở tiêu chí nhị phân thực sự chặn một lần triển khai. Nghĩa là hiệu chuẩn người đánh giá theo điểm rubric không nói gì về việc họ có đồng thuận về điều gì là không thể chấp nhận. Đó là hai bài toán hiệu chuẩn riêng biệt, và gần như không quy trình QA nào xử lý chúng theo cách đó.

Đánh giá của bạn có hạn dùng, và câu trả lời trung thực là "từ một đến hai mươi mốt tuần"

Nửa sau của bài báo đặt một chiếc đồng hồ lên bằng chứng. Khi ước lượng tốc độ dịch chuyển không được giải thích giữa các lần triển khai có ghi nhận, độ bất định dự báo của chỉ số đạt 0,18 SD sau bốn tuần, 0,25 sau tám tuần và 0,30 sau mười hai tuần. Nó đạt tới độ lớn của khác biệt triển khai lớn nhất quan sát được — thay đổi 0,20 SD ngày 12 tháng 4 — sau khoảng năm tuần theo ước lượng điểm, sáu tuần theo tốc độ gộp.

Và rồi các tác giả làm đúng điều khiến bài báo này dùng được: họ báo cáo khoảng tin cậy. Trên dải 95% của tốc độ trôi, chân trời đó nằm giữa 1 và 21 tuần. Mười bốn lô chỉ nhận dạng phương sai một cách lỏng lẻo, và ước lượng bị chi phối bởi một số ít thay đổi dạng bậc thang.

Đừng dẫn con số năm tuần mà bỏ khoảng tin cậy. Chính độ rộng là phát hiện. Nó nói rằng hiện không ai — kể cả các tác giả — biết một đánh giá agent lạc hậu nhanh đến đâu, và rằng một lần phê duyệt theo quý là cú cược vào đầu lạc quan của một dải kéo xuống tới một tuần.

Một tín hiệu độc lập dịch chuyển cùng chiều với chỉ số đã điều chỉnh: ticket hỗ trợ liên quan đến phỏng vấn giảm khoảng 10% mỗi tháng so với ticket về sự cố kỹ thuật. Đó là sự chứng thực từ một kết quả mà pipeline đánh giá không kiểm soát, và nó đáng giá hơn thêm một rubric nữa.

Lập luận phản biện, nói cho đúng

Đây là một lần triển khai duy nhất. Một công ty, một agent, mười bốn lô, một working paper sơ bộ chưa qua phản biện đồng cấp. Các tác giả nói rõ: "Những dữ liệu này không nhận dạng được tác động nhân quả của việc đánh giá lên hiệu năng." Không có gì ở đây cho thấy việc chạy một chương trình đánh giá đã làm agent tốt hơn.

Vậy nên phát hiện hẹp hơn tiêu đề và bền hơn một ca đơn lẻ. Luận điểm không phải "đánh giá làm agent tốt lên". Luận điểm là một dòng điểm với độ khắt khe của người đánh giá không được kiểm soát có thể đảo dấu một xu hướng thực — và đó là thuộc tính của phép đo, không phải thuộc tính của công ty này.

Phản xạ thường thấy là thêm người đánh giá. Lý thuyết cũng khuyên cẩn trọng ở đó: kiểm toán mạnh hơn răn đe được một phần vi phạm nhưng làm tăng mức che giấu ở những agent vẫn vi phạm, nên tỷ lệ phát hiện có thể giảm khi khối lượng kiểm toán tăng (Gans & Holden, NBER, 2026). Thiết kế giám sát thắng khối lượng giám sát trong cả hai dòng tài liệu. Con người đứng ở đâu là một biến thông lượng chẳng kém gì một biến an toàn — các điểm xác nhận giữa tiến trình được lên lịch đã giảm 13,54% thời gian hoàn thành so với chỉ xác nhận ở cuối, và 81% người tham gia thích phương án đó hơn (Zhou et al., CHI 2026).

Và đây không phải vấn đề giao thời có thể chờ cho qua. Trong một khảo sát 300 lãnh đạo và người làm công nghệ xếp hạng 101 nhiệm vụ dạng agentic, 59% đã lên kế hoạch giám sát con người thường trực, với các lo ngại được nêu là trách nhiệm giải trình (48%) và ảo giác (47%) (MIT Technology Review Insights, 2026). Nếu tầng rà soát của con người là thường trực, thì dòng điểm nó tạo ra là hạ tầng thường trực — và không ai đối xử với nó như vậy.

Cần sửa gì trong quy trình đánh giá AI agent trước lần triển khai tới

Bốn thay đổi, xếp theo chi phí. Hai thay đổi đầu gần như miễn phí và đến thẳng từ phương pháp của bài báo.

1. Cho người đánh giá chồng lấn bên trong từng lô. Để ít nhất hai người cho điểm một tập con dùng chung của cùng những hạng mục trong cùng kỳ. Chỉ riêng thói quen đó làm cho độ khắt khe tách được khỏi dịch chuyển thực; thiếu nó, mọi đường xu hướng bạn vẽ đều trộn hai thứ vào nhau. Chi phí là cho điểm trùng trên một mẫu, không phải một suất tuyển dụng thứ hai.

2. Hiệu chuẩn cờ lỗi nghiêm trọng tách biệt khỏi điểm rubric. Ở đây hai thứ lệch nhau 2,2 điểm phần trăm theo chiều ngược lại. Đồng thuận về một con số tổng hợp không phải là đồng thuận về điều gì chặn một bản phát hành.

3. Đánh giá lại theo lần triển khai, không theo lịch. Tính thời sự của bằng chứng suy giảm với một tốc độ bạn chưa đo. Hãy gắn việc đánh giá vào change log — mỗi lần triển khai có ghi nhận nhận một lần đọc mới — thay vì gắn vào một mốc rà soát theo quý có thể đã vượt chân trời hữu dụng bốn tuần.

4. Chứng thực bằng một kết quả vận hành mà việc đánh giá không kiểm soát. Ticket, escalation, tỷ lệ làm lại, thời gian xử lý. Nếu rubric dịch chuyển mà kết quả thì không, hãy tin kết quả.

Lý do đây không phải một lo ngại đo lường trừu tượng: trong bất kỳ mô hình quản trị nào mà agent giành quyền tự chủ từ chính lịch sử hoạt động của nó, dòng điểm là một bề mặt điều khiển. Nếu quyền tự chủ mở rộng theo từng loại hành động dựa trên một sổ ghi được tính toán từ các phê duyệt sạch, hoặc một vị trí được chốt lại bằng scorecard định kỳ của người giám sát, thì độ trôi của người đánh giá không chỉ làm lệch một dashboard — nó quyết định một nhân sự số được bao nhiêu biên độ và liệu còn con người trong vòng lặp hay không. Ở đâu chuỗi đó được viết ra rành mạch — mặc định xác nhận trước, quyền tự chủ cấp theo loại hành động, một người giám sát có tên trên mỗi vị trí, như trong mô hình Digital Employee của Scovai — thì sự phụ thuộc ít nhất là nhìn thấy được. Ở đâu không, thì tính so sánh được của các điểm nền đã âm thầm thôi là một câu hỏi phân tích và trở thành một câu hỏi về trách nhiệm.

Quyết định cho quý này

Bạn không cần một công cụ mới, một nhà cung cấp mới hay một ngân sách rà soát lớn hơn. Bạn cần biết bốn điểm gần nhất trong quy trình đánh giá AI agent của mình có được tạo ra theo cùng một chuẩn hay không — và ngay lúc này, gần như chắc chắn, bạn không thể nói được. Không phải vì quy trình tệ, mà vì chưa có gì trong đó từng được thiết kế để trả lời câu hỏi ấy.

Vậy hãy chọn phiên bản nhỏ nhất trả lời được nó. Quý này, cho một người đánh giá thứ hai cho điểm độc lập và mù 10% số hạng mục mà người đánh giá chính đã cho điểm, trong cùng lô. So sánh hai phân phối, rồi so khoảng cách đó với mức dịch chuyển bạn vẫn báo cáo lên trên. Nếu khoảng cách tiến gần độ lớn của tín hiệu, thì xu hướng chất lượng agent của bạn đã và đang đo lịch phân công nhân sự.

Chi phí là vài giờ cho điểm trùng. Phương án còn lại là tiếp tục ra quyết định về quyền tự chủ, rollback và nhân sự dựa trên một con số mà đơn vị đo của nó thay đổi khi có người đi nghỉ phép.

Hãy đo người đánh giá trước khi tin vào phần đánh giá.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.