Scovai Scovai
AI & Operations 2026-11-16 1 min read

Vẫn 15 phút truy cập AI đó, chuyển sang sau bước sàng lọc, các nhóm chẳng thu được gì. Mười mô hình tiên phong không nhận ra khác biệt.

DSL

Dr. Sarah Liu

Vẫn 15 phút truy cập AI đó, chuyển sang sau bước sàng lọc, các nhóm chẳng thu được gì. Mười mô hình tiên phong không nhận ra khác biệt.

Vẫn mô hình đó. Vẫn mười lăm phút đó. Vẫn nhiệm vụ đó. Hãy chuyển khung thời gian ấy từ nửa đầu giờ sang nửa sau, và mức sáng tạo do chuyên gia chấm giảm 0,62 độ lệch chuẩn (Huang, Yu, Chen & Zhou, 2026). Công cụ không thay đổi gì — chỉ thay đổi thời điểm nhóm được phép chạm vào nó. Phát hiện này biến thời điểm truy cập AI thành một quyết định cấu hình có giá tiền đo đếm được, và ở phần lớn doanh nghiệp, đó là quyết định chưa ai từng đưa ra: trợ lý đơn giản là đang bật, lúc nào cũng vậy, cho tất cả mọi người.

Nghiên cứu là một thí nghiệm phòng lab có đăng ký trước với 148 nhóm ba người (444 người tham gia), được phân ngẫu nhiên vào năm lịch truy cập cùng một mô hình ngôn ngữ trong một nhiệm vụ thiết kế sản phẩm kéo dài 40 phút. Nhiệm vụ gồm giai đoạn tìm kiếm 15 phút, giai đoạn chọn lọc 15 phút và một giai đoạn phát triển. Cổng quyết định — các tác giả gọi là the screen, bước sàng lọc — rơi vào phút thứ 15 ở mọi điều kiện.

Thí nghiệm thực sự đã dịch chuyển điều gì

Năm điều kiện: trợ lý chỉ trong giai đoạn tìm kiếm, chỉ trong giai đoạn chọn lọc, suốt toàn bộ quá trình, hoàn toàn không có, và trong giai đoạn tìm kiếm kèm một cảnh báo thường trực về việc phụ thuộc quá mức. Nền tảng cưỡng chế từng khung thời gian, và toàn bộ 2.124 truy vấn được ghi nhận đều rơi vào đúng khung được phân. Trợ lý là một mô hình duy nhất (DeepSeek V3.2) ở nhiệt độ 0,1. Bốn người chấm có từ năm đến mười năm kinh nghiệm trong ngành đã chấm mù từng bài nộp.

Tương phản chính đặt truy cập giai đoạn tìm kiếm đối lại truy cập giai đoạn chọn lọc: 0,356 điểm trên thang chấm, KTC 95% [0,064, 0,648], Welch p = 0,018, mà các tác giả báo cáo là 0,62 độ lệch chuẩn. Kết quả này sống sót qua hiệu chỉnh Benjamini-Hochberg đã đăng ký trước trên cả tám tương phản.

So với nhóm đối chứng không có AI, bức tranh càng sắc nét:

Điều kiệnMức tăng so với không AIgiá trị p
Truy cập trong giai đoạn tìm kiếm+0,486 điểm0,002
Truy cập suốt toàn bộ quá trình+0,479 điểm0,002
Chỉ truy cập trong giai đoạn chọn lọc+0,130 điểm0,43

Hai điều trong bảng đó đáng đọc lại lần nữa. Thứ nhất, truy cập muộn không tạo ra mức tăng nào đo được — nhưng cũng không khiến các nhóm tệ hơn so với hoàn toàn không có AI. Các tác giả nói rõ: họ không tìm thấy bằng chứng trực tiếp về một hình phạt; cái giá là một khoản lợi bị bỏ lỡ, không phải một thiệt hại. Thứ hai, cộng thêm truy cập giai đoạn chọn lọc lên trên truy cập giai đoạn tìm kiếm chẳng đem lại gì: liên tục so với chỉ-sớm là −0,007 điểm. Toàn bộ lợi ích nằm ở khung thời gian đầu tiên.

Vì sao thời điểm truy cập AI quyết định lợi ích

Nhật ký nền tảng định vị cơ chế một cách chính xác, và nó không liên quan đến nỗ lực hay tần suất sử dụng. Các nhóm dùng mô hình với mức độ tương đương nhau ở mọi điều kiện.

Các nhóm truy cập sớm đến cổng với 19,8 ý tưởng riêng biệt đã viết ra, so với 3,9 ở các nhóm không có AI — một kho ý tưởng lớn gấp năm lần. Phần lớn có nguồn gốc từ máy (18,6 ý tưởng), và ý tưởng do chính nhóm phác thảo thực tế giảm từ 3,9 xuống 1,3. Trợ lý đã thay thế một phần hoạt động nghĩ ý tưởng của chính họ trong khi nhân kho ý tưởng lên nhiều lần. Rồi họ tỉa bớt: khoảng một phần ba số ý tưởng đã gom (32%) xuất hiện lại trong bài nộp, đúng bằng tỷ lệ của các nhóm không có AI, và mỗi bài nộp mang 2,9 đề xuất.

Toàn bộ câu chuyện nằm ở đó. Một kho rộng, rồi một bước sàng lọc của con người, rồi một cam kết thu hẹp.

Các nhóm truy cập muộn đến cùng cổng đó với 3,8 ý tưởng — giống hệt về mặt thống kê với 3,9 của nhóm đối chứng, đúng như phân ngẫu nhiên hàm ý. Rồi họ được trao mô hình, và họ không dùng nó để chọn. Họ dùng nó để tìm kiếm lại từ đầu. Giữ cố định khung thời gian, câu lệnh hệ thống và mô hình — truy cập muộn so với truy cập liên tục, phép so sánh sạch — các nhóm truy cập muộn dành 29% số truy vấn giai đoạn chọn lọc để sinh ra phương án mới, so với 11% ở các nhóm đã có trợ lý từ giai đoạn tìm kiếm.

Hệ quả hiện ra ở chỗ cái gì còn sống sót. Chỉ 5% văn bản nộp của các nhóm truy cập muộn đã tồn tại trước cổng, so với 22% ở các nhóm không AI và 71% ở các nhóm truy cập sớm. Các phương án muộn không được cộng thêm vào tập đã sàng lọc. Chúng thay thế tập đó. Độ tương đồng theo embedding câu cho cùng một mô thức, nên đây không phải chuyện trợ lý diễn đạt lại những gì nhóm đã có.

Những phương án chưa bao giờ gặp cả nhóm

Một chi tiết đáng lưu ý với bất kỳ ai vận hành quy trình rà soát. Trong các nhóm truy cập muộn, chất liệu có nguồn gốc từ máy đi vào bài nộp mà chưa từng được chia sẻ với đồng đội ở mức 9,6%, so với 3,9% ở truy cập sớm. Khi các tác giả giữ cố định loại yêu cầu, phần lớn khác biệt giữa hai điều kiện thu hẹp lại và mất ý nghĩa thống kê — nhưng việc tiếp nhận không chia sẻ thì vẫn trụ lại. Vào cuối một nhiệm vụ, khi quyết định còn treo, đầu ra đi thẳng vào sản phẩm bàn giao mà không qua một cặp mắt thứ hai.

Đây chính là thất bại mà thuế kiểm chứng đo được trên thực địa: 52% người lao động thường xuyên phải sửa công việc do AI tạo ra của chính đồng nghiệp, và 42% tốn nhiều thời gian kiểm chứng đầu ra AI hơn số thời gian tiết kiệm được nhờ dùng nó (Adaptavist, 2026). Đầu ra chưa sàng lọc không biến mất. Nó trở thành vấn đề sàng lọc của người khác, lùi một bước xuôi dòng.

Truy cập muộn mua được bề rộng, và bề rộng không phải chất lượng

Các nhóm truy cập muộn không hề nhàn rỗi. Họ tạo ra nhiều hơn. Số đề xuất trên mỗi bài nộp tăng 1,53 so với nhóm đối chứng (SE 0,54, p = 0,005) — mức tăng 73% so với trung bình đối chứng là 2,10 đề xuất, và gấp đôi mức tăng ở truy cập sớm.

Người chấm không tưởng thưởng cho điều đó. Trên toàn bộ các nhóm, mỗi đề xuất tăng thêm gắn với điểm chấm thấp hơn 0,179 điểm. Nhiều phương án hơn đã đến và chất lượng mỗi phương án giảm xuống, đúng như dự đoán khi một ngân sách phát triển cố định bị dàn mỏng ra nhiều ứng viên hơn.

Đó là hình dạng của vấn đề đối với người phụ trách vận hành: truy cập AI muộn làm tăng đầu ra nhìn thấy được một cách đáng tin cậy, và cũng đáng tin cậy y như vậy trong việc không làm tăng chất lượng được đánh giá. Nếu bảng điều khiển của bạn đếm số sản phẩm, truy cập muộn trông như một chiến thắng.

Phản biện trung thực: bên trong phát hiện này có một quy tắc tính điểm

Chính các tác giả tự đưa ra phản biện, và đó là phần hữu ích nhất của bài. Hãy cho bề rộng điểm, và phán quyết sẽ dịch chuyển.

Cộng γ điểm cho mỗi đề xuất vào điểm của từng nhóm, lợi thế của sớm so với muộn giảm từ 0,356 ở γ = 0 xuống 0,279 ở γ = 0,1, rồi 0,203 ở γ = 0,2 (p = 0,076), và biến mất hoàn toàn ở γ = 0,46. Chỉ với mức thưởng 0,1 điểm mỗi đề xuất, truy cập muộn đã vượt nhóm đối chứng không AI. Truy cập sớm cũng dẫn trước 0,356 ở đề xuất trung bình, 0,221 ở đề xuất tốt nhất, và đảo chiều ở tổng điểm — các nhóm truy cập muộn cộng lại được nhiều điểm hơn.

Vì vậy phát biểu trung thực là có điều kiện: nếu thứ bạn cần là một cam kết mạnh duy nhất, hãy trao trợ lý cho nhóm trước bước sàng lọc. Nếu thứ bạn cần là một dải phương án rộng để mang đi tiếp, truy cập muộn không phải một kiểu hỏng hóc. Sai lầm là không chọn gì cả. Một trợ lý luôn bật sẽ đặt tham số này theo mặc định, và với công việc đòi hỏi cam kết, mặc định chính là phương án đắt đỏ.

Ba giới hạn nữa cần có trong mọi bản tóm tắt nội bộ về nghiên cứu này. Người tham gia là 444 sinh viên đại học ở Trung Quốc, tuổi trung bình 21,6, làm một nhiệm vụ có cấu trúc trong 40 phút với một mô hình duy nhất — các tác giả nói thẳng rằng thiết kế của họ "đánh đổi độ rộng bối cảnh lấy độ sạch trong nhận dạng nhân quả". Thiết kế có lực thống kê cho d ≈ 0,74 và tìm thấy g = 0,62, nên đây không phải một hiệu ứng được ước lượng chặt chẽ, dù nó sống sót qua hiệu chỉnh. Và phép so sánh sớm-với-muộn mang một yếu tố gây nhiễu về câu lệnh mà các tác giả công khai: câu lệnh hệ thống được đặt theo từng giai đoạn, nên trợ lý giai đoạn tìm kiếm được bảo hãy sinh ý tưởng còn trợ lý giai đoạn chọn lọc được bảo hãy tinh chỉnh. Phép so sánh giữ cố định cả câu lệnh, khung thời gian lẫn mô hình chính là truy cập muộn so với truy cập liên tục — tức kết quả 29% so với 11% — và nó chỉ về cùng một hướng.

Bộ đánh giá AI của bạn sẽ không bắt được điều này

Đây là phát hiện đáng thay đổi một qui trình chứ không phải một quan điểm.

Mỗi đề xuất còn được chấm bởi mười mô hình ngôn ngữ tiên phong thuộc năm họ mô hình, dùng đúng thang chấm của các chuyên gia con người. Hội đồng mô hình nhất quán nội bộ và điểm theo nhóm của nó tương quan 0,61 với điểm của hội đồng con người. Nó phát hiện đúng lợi ích tổng thể của việc có AI, xếp mọi điều kiện truy cập cao hơn nhóm đối chứng từ 0,58 đến 1,41 độ lệch chuẩn.

Nhưng nó hoàn toàn không thấy được cái giá của thời điểm. Tương phản sớm-với-muộn là 0,59 độ lệch chuẩn theo điểm chấm của con người (p = 0,019) và −0,08 theo hội đồng mô hình (p = 0,77). Loại bỏ mô hình gần với trợ lý nhất thì vẫn là −0,10; loại cả hai mô hình DeepSeek thì vẫn là −0,08, nên đây không phải thiên vị bản thân. Sự mù này xuất hiện ở mọi chiều — tính độc đáo, tính phù hợp, mức độ triển khai, chất lượng văn bản — chính những chỗ mà chuyên gia con người thấy khoảng cách 0,5 đến 0,7 SD.

Một phần lời giải mang tính cơ học. Người chấm trừ 0,179 điểm cho mỗi đề xuất tăng thêm; hội đồng mô hình chỉ trừ 0,063. Hội đồng đã không định giá bề rộng theo cách các chuyên gia định giá, mà bề rộng lại chính là thứ truy cập muộn tạo ra.

Câu của chính các tác giả là câu nên mang vào một cuộc họp điều hành: một tổ chức đánh giá công việc có AI hỗ trợ bằng các giám khảo AI "sẽ thấy rằng sự hỗ trợ có ích, nhưng không thấy rằng thời điểm của nó quan trọng".

Đây không phải kết quả đơn lẻ về một thang chấm. Các lớp đánh giá là những công cụ đo có đặc tính riêng, và chúng trôi: trong một nghiên cứu theo chiều dọc về rà soát đầu ra của tác nhân, một người rà soát khắt khe hơn gia nhập vào tháng Năm đã chấm các lô giống hệt nhau thấp hơn 0,79 SD và làm phẳng trong dữ liệu thô một xu hướng cải thiện thực sự 0,53 SD (Hiệu ứng người chấm trong đánh giá tác nhân, 2026). Dù giám khảo của bạn là người hay là mô hình, nó cần được hiệu chuẩn với một thứ gì đó trước khi bạn để nó chấm điểm một lần triển khai.

Có một điểm tương đồng đáng nhắc ở phía năng lực. Trong một thử nghiệm ngẫu nhiên kéo dài ba tháng với 133 luật sư sáng chế, việc có AI đã nâng chất lượng công việc bàn giao lên 0,38 SD ở mốc 90 ngày — và khi công cụ bị rút đi, lợi thế còn giữ lại tập trung ở các luật sư kỳ cựu với 0,45 SD, trong khi nhóm mới vào nghề không cho thấy mức tăng trung bình nào (Autor và cộng sự, NBER w35720, 2026). Chất lượng bàn giao và khả năng phán đoán nền tảng đã tách rời nhau. Nghiên cứu về thời điểm là đúng bài học đó ở một tầng cao hơn: sản phẩm trông vẫn ổn trong khi quy trình lẽ ra phải tạo ra nó thì đã không hề chạy.

Người phụ trách vận hành nên làm gì trong quý này về thời điểm truy cập AI

Bốn bước cụ thể, xếp theo chi phí.

  1. Tìm ra các bước sàng lọc của bạn và viết chúng ra. Với hai hoặc ba luồng công việc lặp lại quan trọng nhất, hãy gọi tên thời điểm mà tập phương án đóng lại và cam kết bắt đầu. Phần lớn các nhóm không chỉ ra được điểm đó, và đây chính là tiền đề của việc xếp lịch truy cập sai.
  2. Quyết định cho từng luồng rằng bạn đang mua chiều sâu hay bề rộng. Đây là câu hỏi γ được cụ thể hóa. Công việc cam kết — một đề xuất, một nhà cung cấp, một kế hoạch — cần trợ lý trước bước sàng lọc. Công việc dàn rộng cần nó sau đó. Hãy viết câu trả lời vào định nghĩa luồng công việc thay vì để mặc cho bất kỳ ai mở cửa sổ chat.
  3. Giới hạn việc dùng AI sau sàng lọc vào khâu phát triển, không phải khâu sinh phương án. Khoảng cách 29% so với 11% chính là thất bại đo được. Ở nơi đóng góp đầu tiên của trợ lý tất yếu đến muộn, hãy yêu cầu đầu ra muộn phải được đối chiếu với thứ đã được chọn, thay vì cạnh tranh với nó mà không qua sàng lọc.
  4. Thẩm định bộ đánh giá của bạn trước khi tin vào một phán quyết. Hãy chấm một lô bằng cả giám khảo tự động lẫn hai người có kinh nghiệm, rồi so sánh đúng những tương phản bạn thực sự quan tâm — không chỉ mức đồng thuận tổng thể. Một hội đồng tương quan 0,61 trên mức điểm vẫn có thể trả về −0,08 ở đúng phép so sánh quan trọng.

Điểm thứ ba và thứ tư là câu hỏi về cấu hình, không phải về đào tạo, và đó là lý do quản trị theo từng tác vụ thắng một chính sách chung chung. Nơi công việc đó diễn ra trên một nền tảng thay vì trong một tài liệu, các biện pháp kiểm soát có ý nghĩa là những biện pháp đặt ở cấp độ từng hành động đơn lẻ: Digital Employees của Scovai mặc định hoạt động theo nguyên tắc confirm-first, với quyền tự chủ được tích lũy theo loại hành động từ một sổ phê duyệt có ghi nhận, và occupancy được đặt riêng cho từng vị trí — nhờ đó câu "trợ lý được phép phát triển một phương án đã chọn nhưng không được mở phương án mới sau cổng" trở thành một thiết lập được cưỡng chế kèm dấu vết kiểm toán, chứ không phải một dòng trong cuốn sổ tay mà chẳng ai đọc ở phút thứ 22.

Hãy để ý xem tất cả những điều này không đòi hỏi gì. Không công cụ mới, không khoản ngân sách mới, không di trú mô hình. Thí nghiệm đã thay đổi một tham số mà công ty bạn vốn đã đang đặt một cách tình cờ, mỗi ngày, trong mọi luồng công việc có ai đó mở sẵn cửa sổ chat.

Hãy chọn quyết định lặp lại quan trọng nhất của bạn trong quý này và đặt một câu hỏi về nó: AI đến trước bước sàng lọc, hay sau? Nếu không ai trả lời được, thì thứ bạn đang chạy không phải một dự án thí điểm AI. Bạn đang chạy điều kiện đắt đỏ theo mặc định — và nếu một giám khảo AI đang chấm điểm nó, sẽ chẳng có gì trong báo cáo của bạn nói cho bạn biết điều đó.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.