Scovai Scovai
AI & Operations 2026-11-05 1 min read

Khi được hỏi liệu avatar của một AI có thay đổi cách họ đánh giá nó, 30 trong 34 người lao động nói không. Khoản chi của họ nói có.

DSL

Dr. Sarah Liu

Khi được hỏi liệu avatar của một AI có thay đổi cách họ đánh giá nó, 30 trong 34 người lao động nói không. Khoản chi của họ nói có.

Ba trợ lý AI đưa ra cùng những câu trả lời cho 189 người lao động tri thức. Những người này đã trả cho chúng những khoản khác nhau. Trong một thí nghiệm văn phòng thực tế ảo được công bố trong kỷ yếu NordiCHI '26, người tham gia đưa tiền thật cho trợ lý có hình ảnh nam với mức trung bình 2,96 CHF, so với 2,54 CHF cho một trợ lý có hình ảnh nữ giống hệt về chức năng — p = .026 (Cuber et al., NordiCHI '26, 2026). Khi được hỏi liệu hình ảnh thể hiện có thay đổi cách họ đánh giá hay không, 30 trong số 34 người được phỏng vấn trả lời là không.

Việc đánh giá tác nhân AI của bạn cũng có đúng điểm mù đó. Mỗi thẻ điểm thí điểm, mỗi khảo sát mức độ tin cậy và mỗi bảng theo dõi mức độ áp dụng mà bạn đang dùng đều thu về chính loại câu trả lời đã sai ở đây — về đúng cái biến duy nhất mà nghiên cứu này cho thấy thực sự đã làm dịch chuyển tiền.

Thí nghiệm đã cố ý giữ năng lực không đổi

Chính chi tiết thiết kế này khiến kết quả trở nên dùng được, chứ không chỉ thú vị.

Được công bố ngày 2 tháng 10 năm 2026, nghiên cứu cho mỗi người trong số 189 người tham gia (191 người được tuyển, 2 người bị loại do trợ lý không phản hồi) thực hiện các nhiệm vụ trong một văn phòng thực tế ảo với ba trợ lý: một chatbot văn bản, một robot để bàn, và một tác nhân giọng nói giống người được giới thiệu là "Johan" hoặc "Johanna". Các trợ lý giống hệt nhau về chức năng — cùng hệ thống nền, cùng câu trả lời, cùng chất lượng công việc. Hình thức hiện thân thay đổi trong cùng một người tham gia; còn hình ảnh giới tính thay đổi giữa các người tham gia. Sau đó, người tham gia phân bổ cho trợ lý tối đa 4 CHF tiền thật, và mỗi franc họ đưa đi sẽ trừ vào thù lao của chính họ.

Như vậy, thí nghiệm đã loại bỏ cách giải thích mà các nhà quản lý thường viện đến đầu tiên. Không ai trả cho tác nhân giống người nhiều hơn vì nó làm việc tốt hơn. Nó làm cùng một công việc. Điều duy nhất thay đổi là nó trông và nghe như thế nào.

Hiệu ứng hiện thân lớn hơn hiệu ứng giới tính và vững chắc hơn nhiều về mặt thống kê: tác nhân giống người nhận được 2,76 CHF (SD 1,18) so với 1,98 CHF (SD 1,26) của robot, W = 1511,5, p < .001, với cỡ hiệu ứng r = .44. Chatbot văn bản đơn thuần xếp cuối với 1,75 CHF. Với mức trần 4 CHF, hình ảnh giống người có giá khoảng 0,8 CHF tiền của người khác mà không tạo ra thêm bất cứ điều gì.

Phát hiện về giới tính hẹp hơn các dòng tiêu đề

Ở đây cần chính xác, bởi các bài đưa tin thứ cấp đã không chính xác. Hình ảnh giới tính làm dịch chuyển mức thưởng (2,96 so với 2,54, p = .026) và mức độ được cảm nhận là giống người (5,09 cho Johan so với 4,59 cho Johanna, p = .029). Nó không đạt mức ý nghĩa thống kê về sự tin cậy (5,58 so với 5,25, p = .065) hay về việc ghi nhận công lao (5,24 so với 5,05, p = .164).

Do đó, phát biểu trung thực liên quan đến việc định giá bằng tiền và mức độ được cảm nhận là giống người — không phải sự tin cậy. Nếu bạn thấy ai đó gán cho nghiên cứu này luận điểm rằng "các tác nhân AI mang hình ảnh nữ được tin cậy ít hơn", thì đó không phải điều nghiên cứu tìm ra. Bạn cũng sẽ thấy một con số gọn gàng "10,25%" lưu hành trong các bài viết về nghiên cứu này: nó xuất phát từ một thông cáo báo chí của trường đại học, không xuất hiện ở bất kỳ đâu trong bài báo, và không thể suy lại từ các giá trị trung bình đã công bố. Hãy dẫn các giá trị trung bình.

Một hiệu ứng điều tiết đáng nêu: lợi thế của hình ảnh giống người so với robot mạnh hơn ở những người tham gia là nữ so với nam (beta tương tác = 1,074, z = 3,73, p < .001). Hiệu ứng persona không đồng nhất trong lực lượng lao động của bạn, nghĩa là nó sẽ không triệt tiêu nhau trong giá trị trung bình của một khảo sát toàn nhóm.

Điều họ nói và điều họ trả là hai con số khác nhau

Kết quả phỏng vấn là phát hiện có con đường ngắn nhất dẫn tới một quyết định vận hành. Ba mươi trong ba mươi bốn người tham gia tuyên bố rằng hình ảnh giới tính không liên quan gì đến mức tin cậy hay mức thưởng của họ. Chính những khoản phân bổ của họ, thực hiện bằng tiền thật, đã phản bác họ.

Đây là khoảng cách kinh điển giữa sở thích được phát biểu và sở thích được bộc lộ, và đó không phải chuyện người ta nói dối. Những người này không có lý do đặc biệt nào để lừa ai, cũng không có động lực rõ ràng nào. Họ chỉ đơn giản không có khả năng tiếp cận đáng tin cậy vào thứ đang dẫn dắt phán đoán của chính mình.

Hệ quả rất thẳng thắn: hỏi nhóm của bạn về thiết kế tác nhân sẽ cho ra dữ liệu không có giá trị dự báo nào đã được chứng minh. Trong nghiên cứu này, tự báo cáo đã chỉ sai hướng ở đúng cái biến duy nhất làm dịch chuyển hành vi một cách đo lường được.

Việc đánh giá tác nhân AI của bạn đang phần nào cho điểm persona

Hãy đưa điều này vào một buổi rà soát vận hành của doanh nghiệp tầm trung, và vấn đề thôi còn là về avatar.

Bạn đang thí điểm hai tác nhân ở hai chức năng khác nhau. Một là giao diện giọng nói được chăm chút, có tên và có mặt; cái còn lại là một công cụ thuần dụng trả văn bản về hàng đợi ticket. Cuối quý, bạn so sánh điểm hài lòng, mức hữu dụng được cảm nhận, mức độ nhóm muốn tiếp tục dùng, và các yêu cầu mở rộng chỗ. Rồi bạn cấp ngân sách cho bên thắng.

Điều nghiên cứu này nói là: một tỷ lệ không xác định trong khoảng cách đó thuộc về hiện thân, không phải hiệu năng. Bạn đã thực hiện một so sánh không có đối chứng và đọc kết quả như một tín hiệu về năng lực. Tác nhân được cấp ngân sách có thể chỉ đơn giản là tác nhân được trình bày đẹp hơn.

Kiểu thất bại này tích tụ theo một cách rất cụ thể. Thay đổi hình ảnh thì rẻ, thay đổi năng lực thì đắt; vì vậy một nhà cung cấp — hoặc một nhóm nội bộ đang tối ưu theo các chỉ số áp dụng — sẽ luôn thấy việc cải thiện persona dễ hơn cải thiện công việc. Nếu thẻ điểm của bạn không phân biệt được hai thứ đó, nó sẽ tiếp tục thưởng cho thứ rẻ hơn, và hệ thống đo lường của bạn đã âm thầm bắt đầu chọn lọc ngược lại chất lượng thực.

Đây là phiên bản gay gắt hơn của một quy luật đã thấy ở những nơi khác trong nghiên cứu về tác nhân. Agent Confidence Index 2026, công trình xếp hạng 101 nhiệm vụ tác nhân dựa trên 300 lãnh đạo và người hành nghề công nghệ, phát hiện rằng mức tin tưởng đi theo khả năng kiểm chứng của nhiệm vụ và mức đầy đủ của ngữ cảnh kinh doanh, chứ không theo năng lực mô hình — tạo báo cáo tự động đạt 83,5 và mã khuôn mẫu đạt 82,5, cả hai đều có một thước đo đánh giá khách quan duy nhất, trong khi việc cấu hình service mesh chỉ đạt 37,5 trên cùng những mô hình nền (MIT Technology Review Insights, 2026; Microsoft, 2026). Ở nơi không có thước đo thành công rõ ràng, phán đoán của con người sẽ lấp chỗ trống — và nghiên cứu thực tế ảo cho thấy phán đoán ấy bám vào cái gì khi không có gì vững chắc để nắm.

Điều nghiên cứu không chứng minh

Ba giới hạn, nói thẳng, vì một luận điểm thuận tiện đến vậy thì đáng bị soi như vậy.

Đó là bối cảnh thực tế ảo với một nhiệm vụ được dựng ra, không phải việc triển khai thật một tác nhân bên trong một luồng công việc có hậu quả thật. Mức đặt cược nhỏ và chỉ một lần: tối đa 4 franc Thụy Sĩ, phân bổ một lần, chứ không phải một quyết định ngân sách định kỳ do người chịu trách nhiệm về kết quả đưa ra. Và các khác biệt về tin cậy cũng như ghi nhận công lao theo hình ảnh giới tính đều không đạt mức ý nghĩa thống kê, nên hiệu ứng hẹp hơn so với những gì một cách đọc vội vàng gợi ra.

Điều còn lại sau những dè dặt đó là luận điểm cấu trúc, và nó còn nguyên vẹn: khi năng lực được giữ không đổi ngay trong thiết kế, hình ảnh thể hiện vẫn làm dịch chuyển việc định giá bằng tiền, và tự báo cáo đã không dự báo được điều đó. Bạn không cần cỡ hiệu ứng phải chuyển được từ một phòng thí nghiệm thực tế ảo sang sàn vận hành của mình mới hành động. Bạn chỉ cần chấp nhận rằng persona là một biến đang hoạt động trong việc đánh giá của bạn và hiện bạn không kiểm soát nó.

Chi phí của việc đo sai thứ cần đo

Lý do để quan tâm là ngân sách, không phải đạo đức.

Công trình tháng 8 năm 2026 của McKinsey QuantumBlack về kinh tế học tác nhân phát hiện rằng, với một tác nhân thực hiện nhiệm vụ dịch vụ khách hàng trong ngân hàng, chi phí token thường chỉ chiếm 20 đến 25 phần trăm chi phí vận hành biến đổi, trong khi giám sát của con người chiếm 70 đến 75 phần trăm (McKinsey QuantumBlack, 2026). Giám sát — một tác nhân cụ thể cần bao nhiêu lượt rà soát của con người, do ai, bao lâu một lần — là khoản chi phí chiếm tỷ trọng lớn nhất.

Và khoản phân bổ đó được ấn định bởi đúng cái phán đoán mà nghiên cứu này cho thấy đã bị nhiễu. Kết luận một tác nhân đáng tin, bạn sẽ giảm giám sát và mở rộng quyền tự chủ của nó. Cho rằng nó không đáng tin, bạn giữ một người rà soát ở mọi lần chạy. Nếu một phần của sự tin tưởng ấy đang đi theo mức độ giao diện trông giống người, bạn sẽ rà soát quá ít tác nhân dễ mến và quá nhiều tác nhân hữu ích — và bạn sẽ sai ở khoản chi phí lớn nhất trong toàn bộ hệ thống.

Cần làm gì trước buổi rà soát tác nhân kế tiếp

Bốn thay đổi, tất cả đều có thể làm trong quý này và không thay đổi nào cần công cụ mới.

Giữ hình ảnh thể hiện không đổi trên mọi thứ bạn định so sánh. Nếu hai tác nhân đang được đánh giá đối đầu nhau, hãy cho chúng cùng một dạng giao diện, hoặc chấp nhận rằng phép so sánh đã bị nhiễu và ngừng báo cáo nó như một kết quả về hiệu năng.

Ngừng khảo sát nhóm về thiết kế tác nhân. Ba mươi trong ba mươi bốn người tham gia đã nhận định sai về hành vi của chính mình. Thay vào đó, hãy hỏi về những sự việc cụ thể, quan sát được: tác nhân đã tạo ra gì, bạn đã phải sửa gì, việc sửa mất bao lâu, bạn đã chuyển cấp những gì. Những câu trả lời đó kiểm chứng được.

Hãy đo lường hành vi thay vì cảm nhận. Tỷ lệ lỗi bắt được khi rà soát, khối lượng phải làm lại, tần suất chuyển cấp, thời gian từ đầu ra đến sản phẩm được chấp nhận. Tất cả những thứ này đều không quan tâm tác nhân có mặt hay không.

Hãy làm cho buổi rà soát tác nhân hằng quý trở nên định lượng và có ký tên. Tác nhân là đối tượng duy nhất bạn có thể đánh giá thuần bằng số, không vướng những ràng buộc công bằng vốn áp dụng chính đáng cho con người: một thẻ điểm định kỳ được một người giám sát có tên đóng lại kèm kết luận bằng văn bản sẽ vững về mặt biện giải cho một Digital Employee hơn hẳn so với một nhân sự người, và đó là lý do các vị trí Digital Employee của Scovai được rà soát theo cách đó chứ không bằng khảo sát cảm nhận. Dù bạn dùng hệ thống nào, yêu cầu vẫn thế: một con người chịu trách nhiệm có tên, một bộ thước đo cố định, và một quyết định được ghi lại thành văn.

Phép thử xem việc đánh giá tác nhân AI của bạn có đứng vững hay không chỉ gồm một câu hỏi, và bạn có thể trả lời ngay hôm nay: nếu tác nhân bạn cấp ngân sách quý trước đã xuất hiện với một giọng khác và không có tên, thẻ điểm của bạn có cho ra cùng con số đó không? Nếu bạn không thể nói có, thì bạn đã đo cái avatar.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.