Hai mươi nghìn công chức Anh được cấp giấy phép Microsoft 365 Copilot, và báo cáo kết quả liên bộ chốt con số ở mức 26 phút tiết kiệm được mỗi người mỗi ngày (Government Digital Service, 2025). Từ đó đến nay con số này vẫn lưu hành trong các bản trình bày mua sắm. Hai chi tiết trong cùng báo cáo thay đổi sức nặng mà nó có thể gánh: người tham gia tạo ra con số đó bằng cách tự ước lượng thời gian tiết kiệm hằng ngày từ một tập các khoảng, và phần kết luận ghi rõ rằng "do các ràng buộc thực nghiệm, không thể xác định được thời gian tiết kiệm đã được dùng vào đâu."
Sau đó, Department for Work and Pensions — một trong các bộ nằm trong chính thử nghiệm ấy — đánh giá nhóm của mình đối chiếu với một nhóm so sánh gồm các đồng nghiệp chưa từng được cấp giấy phép. Ước lượng của họ là 19 phút mỗi ngày trên tám tác vụ thường lệ (DWP, 2026).
Hai lần đo của cùng một lần triển khai, do cùng một chính phủ công bố. Khoảng cách giữa chúng chính là khoảng cách giữa một tiêu đề về tiết kiệm thời gian và một business case cho thử nghiệm AI.
20.000 giấy phép thực sự đã đo cái gì
Thí nghiệm liên bộ chạy từ 30 tháng 9 đến 31 tháng 12 năm 2024, mỗi tổ chức tham gia cam kết ít nhất 1.000 giấy phép (Government Digital Service, 2025). So với chuẩn mực của phần lớn bằng chứng về năng suất AI, đây là một tài liệu tốt: quy mô lớn, thuộc khu vực công, công bố kèm phương pháp luận — và không phải một case study của nhà cung cấp với ba logo tâng bốc ở đầu trang.
Chỗ mà một Trưởng bộ phận Vận hành nên chậm lại là phương pháp. Người tham gia được yêu cầu ước lượng thời gian tiết kiệm trung bình mỗi ngày bằng cách chọn trong các khoảng từ "không có hoặc dưới 5 phút" đến "hơn một giờ". Mức trung bình 26 phút được tính từ trung điểm của các khoảng đó, với dải cao nhất được coi là 60 phút. Mười bảy phần trăm không nhận thấy bất kỳ khoản tiết kiệm thời gian rõ rệt nào. Hơn 70% đồng ý rằng Copilot giảm thời gian tìm kiếm thông tin — mà như bằng chứng về sau cho thấy, đó chính là trường hợp sử dụng nơi công cụ hữu ích rõ ràng nhất và ít hệ quả kinh tế nhất.
Vậy nên công cụ đo là một câu hỏi hồi tưởng: bạn nghĩ việc này đã giúp bạn tiết kiệm bao nhiêu thời gian? Câu hỏi đó có thể đặt ra cho 20.000 người với chi phí thấp, và đó là lý do nó được đặt ra. Nhưng nó không thể tạo ra hai con số mà một business case thực sự chạy trên đó.
Hai con số mà tự khai báo không thể cho bạn
Thứ nhất là phản thực: điều gì sẽ xảy ra với những tác vụ ấy dù sao đi nữa, với cùng nhân sự, cùng quý, và không có giấy phép nào. Thứ hai là điểm đến: số phút thu hồi được đã đi đâu.
Thiếu cái thứ nhất, bạn đang đo sự nhiệt tình cùng với hiệu quả. Thiếu cái thứ hai, bạn đang đo một đầu vào và gọi nó là lợi nhuận.
Cùng lần triển khai, đặt cạnh những người không có nó
Đánh giá của DWP cung cấp con số thứ nhất. Họ dùng Seemingly Unrelated Regression đối chiếu với một nhóm so sánh gồm người không sử dụng, kiểm soát các biến nhân khẩu học, nghề nghiệp và mức độ hào hứng với AI, rồi ước lượng 19 phút tiết kiệm mỗi ngày trên tám tác vụ thường lệ — có ý nghĩa thống kê ở mọi cấu hình mô hình. Mức giảm lớn nhất theo từng tác vụ là tìm kiếm thông tin (26 phút) và viết email (25 phút). Chín mươi phần trăm người dùng nói Copilot giúp họ tiết kiệm thời gian, và 65% cho biết cảm thấy công việc trọn vẹn hơn (DWP, 2026).
DWP cũng thẳng thắn về giới hạn của chính mình: đây không phải một thử nghiệm đối chứng ngẫu nhiên. Giấy phép được cấp theo nguyên tắc ai đến trước được trước, nên tự chọn mẫu và sai lệch sau can thiệp là những rủi ro thực. Giấy phép đã đến tay những người hào hứng nhất.
Hãy cưỡng lại phép tính ở đây. Hai con số không tương đương — dân số khác, phạm vi tác vụ khác, phương pháp khác — và lấy số này trừ số kia sẽ cho ra một giá trị mà không tài liệu nào chống đỡ. Phát hiện ở đây mang tính cấu trúc, không phải số học: bộ nào thêm một nhóm so sánh thì báo cáo con số nhỏ hơn mức tự ước lượng, và điều đó diễn ra trong một chương trình nơi những người hào hứng đã tự chọn mình vào nhóm can thiệp. Đó là chiều mà hiệu chỉnh đi, và đó là chiều đáng quan tâm khi một nhà cung cấp đưa cho bạn một con số duy nhất mà quanh đó không có nhóm đối chứng nào.
Câu khiến cuộc họp ngân sách nên dừng lại
Trong toàn bộ báo cáo liên bộ, một dòng ở phần kết luận gây tổn hại nhiều nhất cho cách con số 26 phút đang được sử dụng: "do các ràng buộc thực nghiệm, không thể xác định được thời gian tiết kiệm đã được dùng vào đâu."
Một phút thu hồi được có ba kết cục khả dĩ. Nó thành sản lượng. Nó bị một tác vụ khác hấp thụ. Hoặc nó thành thời gian rỗi. Chỉ kết cục đầu tiên xuất hiện trong một business case, và thử nghiệm đã không thể phân biệt chúng.
Đây không phải điều kỳ dị của khu vực công. Lần đo đầu tiên ở cấp liên bang, độc lập với nhà cung cấp, cho cùng câu hỏi đã phát hiện: trong số lao động Mỹ đã dùng AI tại nơi làm việc trong tuần trước đó, 56% đặt lượng thời gian bổ sung mà họ sẽ cần nếu không có AI ở mức hai giờ mỗi tuần hoặc ít hơn; 10% cho biết không tiết kiệm được thời gian nào, và 3% nói AI đòi hỏi nhiều thời gian hơn (Cục Điều tra Dân số Hoa Kỳ, 2026).
Hai giờ mỗi tuần, đến dưới dạng những phút rời rạc, không dồn lại thành một vị trí toàn thời gian có thể tái phân bổ. Phép thử vận hành rất thẳng: có một tác vụ trọn vẹn nào rời khỏi bàn của ai đó không? Nếu câu trả lời là không, thì số giờ nhân với chi phí đầy đủ chỉ là một thủ pháp hùng biện, không phải một dự báo.
Vì sao số phút trên mỗi người dùng không cộng lại thành business case cho thử nghiệm AI
Vấn đề mức độ tham gia làm trầm trọng thêm vấn đề điểm đến. Khảo sát Kỳ vọng Người tiêu dùng của ECB báo cáo cùng một kết quả ở hai độ cao: người dùng AI trung vị tiết kiệm khoảng ba giờ mỗi tuần, tức khoảng 7,7% thời gian làm việc trung vị — nhưng chỉ 48,8% lao động vừa dùng AI vừa tiết kiệm được thời gian nhờ nó, đưa mức tăng hiệu quả ở quy mô nền kinh tế về khoảng 3,8% (ECB, 2026).
Cùng khảo sát, cùng người trả lời, và con số giảm một nửa khi mẫu số thôi là "người dùng" và trở thành "tất cả những người bạn đang trả lương."
Dữ liệu của ECB còn đảo ngược mô hình sử dụng theo cách lẽ ra phải sắp xếp lại một thử nghiệm. Sinh mã và gỡ lỗi trả về gần tám giờ mỗi tuần — và chỉ khoảng 8% người dùng áp dụng AI ở đó. Nghiên cứu, thu thập thông tin, viết và biên tập là những cách dùng phổ biến nhất và tiết kiệm được ít hơn đáng kể. Lợi ích hàng đầu của thử nghiệm liên bộ, tức giảm thời gian tìm kiếm thông tin, nằm đúng trong dải lợi suất thấp.
Nghĩa là business case cần ba đầu vào ở nơi phần lớn bản trình bày chỉ có một: tỷ lệ tham gia, lợi suất ở cấp tác vụ, và một hệ số chuyển đổi minh bạch cho việc số giờ được giải phóng trở thành sản lượng hay thành thời gian rỗi. Mỗi yếu tố đều có thể quan sát được trước khi gia hạn. Không yếu tố nào nằm trong một con số trung bình 26 phút.
Phản biện trung thực
Ba giới hạn, nói thẳng.
Tự khai báo có thể sai theo cả hai chiều — nhưng chiều đã được đo thì không hề nương tay. Thử nghiệm ngẫu nhiên của METR trên các lập trình viên nguồn mở có kinh nghiệm phát hiện rằng công cụ AI đầu năm 2025 làm họ chậm đi 19% trong khi họ tin rằng mình đã nhanh hơn; khảo sát sau đó với 349 người làm kỹ thuật báo cáo rằng người tham gia nghiên cứu ấy đã đánh giá cao tác động của AI lên thời gian tác vụ trung bình 40 điểm phần trăm (METR, 2026). Đây là một nhóm hẹp, làm việc trên những repository họ nắm rất sâu, và độ lớn này không chuyển sang một back office quy mô vừa. Nó xác lập một điều nhỏ hơn mà vẫn hữu ích: một khoản tiết kiệm do tự ước lượng không phải là đầu vào thận trọng.
Những đánh giá này không phải thất bại. Cả hai đều tìm thấy mức tiết kiệm thời gian thực và có ý nghĩa thống kê, và DWP còn tìm thấy những hiệu ứng về sự trọn vẹn trong công việc tự thân đã đáng giá. Phê phán ở đây không nhằm vào các thử nghiệm — chúng minh bạch hơn phần lớn những gì được bán ra như bằng chứng — mà nhằm vào công việc mà con số tiêu đề bị bắt phải gánh sau khi rời khỏi bản báo cáo.
Khu vực công không phải khu vực của bạn. Cấu trúc tác vụ của công vụ, các ràng buộc mua sắm và nền tảng công cụ cơ bản đều rất riêng. Tài sản chuyển giao được là thiết kế đánh giá, không phải những con phút. Đừng mang 26 hay 19 vào mô hình của bạn; hãy mang theo câu hỏi đã tạo ra con số thứ hai.
Cần thay đổi gì trong thiết kế thử nghiệm trước lần gia hạn tới
Bốn bước, không bước nào cần một dòng ngân sách mới.
- Giữ lại một nhóm so sánh, và đừng để những người hào hứng tự chọn mình. Cách rẻ nhất để con số của một thử nghiệm có thể bảo vệ được là một nhóm trong cùng bộ phận không được cấp giấy phép trong đúng 90 ngày đó. Giới hạn mà chính DWP nêu ra — cấp theo thứ tự đến trước — là phần cần sửa: hãy phân bổ giấy phép ngẫu nhiên trong một đội thay vì đưa cho người xin trước.
- Nêu tên điểm đến trước khi thử nghiệm bắt đầu. Viết ra, theo từng vị trí, tác vụ cụ thể nào dự kiến rời khỏi bàn của ai, và cái gì dự kiến lấp vào chỗ trống. Nếu câu trả lời là "mọi người sẽ có nhiều thời gian hơn", thì thử nghiệm đang đo sự hài lòng, và nên được lập ngân sách đúng như vậy.
- Hãy đo một tác vụ, không phải toàn bộ lần triển khai. Chọn hai tác vụ có thời gian chu kỳ quan sát được từ hệ thống và đo từ đầu đến cuối. Một chênh lệch bảo vệ được trên hai tác vụ hơn một mức trung bình khảo sát trên bốn mươi tác vụ.
- Hãy chấm điểm vị trí, không phải đầu người. Câu hỏi về điểm đến phải được giải ở cấp vị trí, bởi đó mới là cấp mà công việc thực sự dịch chuyển. Chấm điểm augmentability trên sơ đồ tổ chức của Scovai là một dạng cụ thể của đầu ra ấy — mỗi vị trí được chấm từ 0 đến 100% về mức độ có thể được tăng cường, còn các vai trò chưa được phủ và kế hoạch theo từng vị trí thì rơi ra từ cùng sơ đồ đó.
Chính phủ Anh đã làm một việc không thường thấy: công bố cả con số đẹp lẫn phương pháp làm suy yếu nó, rồi để một trong các bộ của mình tự soát lại bài làm bằng một nhóm so sánh. Đó là chuẩn bằng chứng cao hơn mức mà phần lớn thử nghiệm AI trong doanh nghiệp tư nhân từng đạt tới.
Vậy nên trước khi gia hạn một khối giấy phép trong quý này, hãy yêu cầu một trang giấy: những tác vụ nào đã rời khỏi những chiếc bàn nào, và cái gì đã đến chỗ trống đó. Nếu không ai viết được trang đó, bạn không đang giữ một business case cho thử nghiệm AI. Bạn đang giữ một khảo sát mức độ hài lòng có kèm phí giấy phép.
