Một mô hình AI đạt điểm cao trong kỳ thi cho thấy nó trả lời tốt đúng loại câu hỏi có trong đề thi đó, trong điều kiện làm bài cụ thể do người thử đặt ra — chứ chưa cho thấy nó làm được công việc mà kỳ thi ấy dùng để sàng lọc người. Kỳ thi được thiết kế cho con người, với giả định rằng ai làm được đề thì cũng làm được nhiều việc liên quan. Giả định đó không tự động đúng với máy.
Các tin kiểu "AI đỗ kỳ thi luật sư", "AI đạt điểm giỏi môn toán", "AI qua kỳ thi y khoa" xuất hiện đều đặn từ khi mô hình ngôn ngữ lớn phổ biến. Bài này giải thích những yếu tố làm điểm số đẹp hơn năng lực thật, những yếu tố làm điểm số xấu hơn năng lực thật, và cách đọc một tin như vậy để rút ra đúng điều nó chứng minh.
Kỳ thi đo người dựa trên một giả định không áp dụng cho máy
Một đề thi chỉ có vài chục hay vài trăm câu, nhưng người ra đề muốn biết về hàng nghìn kỹ năng phía sau. Điều này làm được vì ở con người, các kỹ năng gắn với nhau: người giải được bài hình học khó thường cũng đọc được đề lạ, biết tự kiểm đáp số, chịu được áp lực thời gian. Điểm thi là một mẫu nhỏ đại diện cho cả khối năng lực.
Với mô hình ngôn ngữ, mối gắn kết đó lỏng hơn nhiều. Mô hình được huấn luyện trên lượng văn bản khổng lồ, trong đó có thể có rất nhiều đề thi, lời giải, sách ôn tập. Nó có thể trả lời tốt câu hỏi giống dạng đã gặp mà vẫn lúng túng ở câu hỏi cùng nội dung nhưng viết khác đi. Vì vậy điểm số của máy là mẫu đại diện kém tin cậy hơn điểm số của người.
Thêm một khác biệt: kỳ thi nghề như luật hay y không chỉ để kiểm kiến thức, mà là một chặng trong quá trình dài gồm thực tập, hướng dẫn, chịu trách nhiệm pháp lý. Người đỗ kỳ thi vẫn phải qua những chặng đó trước khi hành nghề. Một mô hình làm tốt đề thi chưa đi qua chặng nào trong số đó, nên tin "AI đỗ kỳ thi luật sư" không có nghĩa "AI làm được luật sư".
Những yếu tố làm điểm của AI cao hơn năng lực thật
Đề lọt vào dữ liệu huấn luyện. Đề thi các năm trước, lời giải, bài bình luận thường được đăng công khai trên mạng. Nếu mô hình đã đọc chúng khi huấn luyện, nó có thể nhớ đáp án thay vì suy ra. Giới nghiên cứu gọi hiện tượng này là nhiễm dữ liệu; báo cáo cẩn thận sẽ nói đã làm gì để kiểm và loại trừ.
Được thử nhiều lần. Có thử nghiệm cho mô hình trả lời nhiều lần rồi lấy đáp án xuất hiện nhiều nhất, hoặc lấy lần đúng. Đây là kỹ thuật hợp lệ khi được nêu rõ, nhưng thí sinh người không được làm vậy.
Câu lệnh được chuẩn bị kỹ. Cách đặt câu hỏi ảnh hưởng tới câu trả lời. Nhóm thử nghiệm có thể đã thử nhiều cách diễn đạt rồi chọn cách cho điểm cao nhất. Người dùng bình thường đặt câu hỏi theo cách của mình sẽ không nhận được mức chất lượng đó.
Chỉ chấm phần chấm được tự động. Phần trắc nghiệm dễ chấm nên hay được đưa vào thử nghiệm; phần tự luận, thực hành, vấn đáp thì hay bị bỏ hoặc chấm bằng một mô hình khác. Điểm công bố có thể chỉ phản ánh phần dễ đo nhất của kỳ thi.
So với mốc dễ. Câu "vượt 90% thí sinh" nghe ấn tượng, nhưng cần biết thí sinh đó là ai: lần thi đầu hay thi lại, tập hợp nào, năm nào. Ngưỡng so có thể được chọn để con số đẹp nhất.
Và những yếu tố làm điểm thấp hơn năng lực thật
Đề có hình vẽ, bảng biểu. Mô hình chỉ đọc chữ sẽ làm kém ở câu cần nhìn hình. Bản có khả năng đọc ảnh làm tốt hơn nhưng vẫn hay nhầm chi tiết nhỏ trong sơ đồ.
Đề viết bằng ngôn ngữ ít dữ liệu. Một mô hình học chủ yếu từ tiếng Anh có thể làm đề tiếng Việt kém hơn chính nó làm đề tương đương bằng tiếng Anh. Điểm thấp lúc đó phản ánh khoảng cách ngôn ngữ, không hẳn là thiếu kiến thức.
Câu hỏi gắn với quy định địa phương hoặc mới ban hành. Mô hình có mốc kiến thức, tức là chỉ biết tới thời điểm dữ liệu được thu thập. Đề có nội dung về văn bản mới hay quy định riêng của một nước dễ làm sai.
Cách chấm đòi định dạng cứng. Nếu đề yêu cầu đúng một ký tự đáp án mà mô hình trả lời dài dòng, bộ chấm tự động có thể tính sai dù nội dung đúng.
Từ đề thi tới việc thật: khoảng cách lớn nhất
Giả sử mọi yếu tố trên đã được kiểm kỹ và điểm số là thật. Vẫn còn câu hỏi quan trọng nhất: việc làm bài thi giống công việc thật tới đâu. Đề thi đưa sẵn mọi dữ kiện cần thiết, có một đáp án đúng, và không ai chịu hậu quả nếu sai. Công việc thật thì ngược lại: dữ kiện thiếu và lẫn lộn, nhiều câu trả lời chấp nhận được, và mỗi sai sót có giá.
Ví dụ giả định: một bác sĩ trẻ đỗ kỳ thi với điểm cao vẫn phải học cách hỏi bệnh nhân khi họ kể lan man, nhận ra khi người nhà giấu bớt thông tin, quyết định khi kết quả xét nghiệm mâu thuẫn với triệu chứng. Đề thi không đo những thứ đó, và chính những thứ đó chiếm phần lớn thời gian làm nghề.
Vì vậy, một tin AI đạt điểm cao nên được đọc như bằng chứng rằng mô hình có kiến thức nền rộng ở lĩnh vực đó, đủ để hữu ích khi tra cứu nhanh hay giải thích khái niệm cho người đã có chuyên môn. Đó là thông tin có giá trị. Nó chỉ không phải bằng chứng rằng mô hình thay được người hành nghề. Với các lĩnh vực như sức khoẻ hay pháp luật, hệ thống có những site chuyên đề như AI Sức Khoẻ, AI Pháp Lý bàn kỹ chuyện dùng AI ở mức nào là an toàn.
Bảng đối chiếu nhanh khi đọc tin AI đi thi
Khi gặp một tin AI đạt điểm cao, bạn có thể dò theo bảng dưới để biết tin đã cho đủ thông tin chưa.
| Câu cần hỏi | Tin tốt sẽ nêu | Dấu hiệu nên nghi |
|---|---|---|
| Kỳ thi nào, phần nào | Tên kỳ thi, phần trắc nghiệm hay tự luận, năm của đề | Chỉ ghi "kỳ thi y khoa" chung chung |
| Ai chạy thử | Nhóm thực hiện và có ai kiểm lại độc lập không | Chỉ có thông cáo của công ty phát triển |
| Đề có mới không | Đề ra sau mốc dữ liệu của mô hình, hoặc đã kiểm nhiễm dữ liệu | Dùng đề công khai từ nhiều năm trước, không nhắc kiểm |
| Điều kiện làm bài | Số lần thử, cách đặt câu hỏi, có được tra cứu không | Không nói gì về điều kiện |
| So với ai | Thí sinh năm nào, nhóm nào, trung bình hay ngưỡng đỗ | "Vượt con người" không nói người nào |
| Chỗ còn sai | Loại câu mô hình làm kém | Không có câu nào về điểm yếu |
Một tin thiếu hai ba dòng trong bảng chưa hẳn là tin sai. Nó chỉ là tin chưa đủ để kết luận, và bạn nên giữ kết luận ở mức "có vẻ làm tốt ở dạng đề này".
Tự kiểm một tin bằng đề của chính bạn
Cách tốt nhất để hiểu một con số trong tin là thử ở quy mô nhỏ với thứ bạn rành. Giáo viên có thể lấy vài câu trong đề kiểm tra mình tự ra năm nay, chưa từng đăng lên mạng. Kế toán có thể lấy một tình huống nghiệp vụ đã xử lý, đổi tên và số liệu cho khác đi. Người làm kỹ thuật có thể lấy một sự cố cũ, kể lại theo cách của mình. Điều quan trọng là đề phải mới với mô hình và bạn biết chắc đáp án.
Khi thử, hãy hỏi cùng một câu hai ba lần, và hỏi lại bằng cách diễn đạt khác. Nếu câu trả lời đổi qua đổi lại, bạn đang thấy đúng phần mà điểm số công bố không cho thấy: độ ổn định. Nếu mô hình trả lời đúng dạng câu quen thuộc nhưng sai khi bạn đổi một chi tiết nhỏ, bạn đang thấy khoảng cách giữa nhớ dạng đề và hiểu nội dung.
Phép thử này không thay được đánh giá khoa học, vì mẫu quá nhỏ. Nhưng nó cho bạn một cảm nhận có căn cứ về việc mô hình hữu ích tới đâu trong đúng công việc của bạn, và đó là điều tin tức không thể đo hộ. Nhớ che tên người, tên đơn vị và số liệu thật trước khi dán bất kỳ tình huống công việc nào vào chatbot; phần này AI Bảo Mật có hướng dẫn kỹ.
Vì sao các bộ bài kiểm liên tục bị thay
Người theo dõi tin AI sẽ thấy tên các bộ bài kiểm thay đổi khá nhanh. Một bộ được coi là khó, vài năm sau đã có mô hình đạt gần điểm tối đa, và giới nghiên cứu chuyển sang bộ mới khó hơn. Hiện tượng này đôi khi được gọi là bài kiểm bị bão hoà.
Có hai cách hiểu, và cả hai đều đúng một phần. Cách thứ nhất: mô hình tiến bộ thật, nên bài kiểm cũ không còn phân biệt được mô hình mạnh và mô hình rất mạnh. Cách thứ hai: khi một bộ bài kiểm thành mục tiêu chung, đề của nó dần lan khắp mạng, các nhóm tinh chỉnh mô hình theo đúng dạng đề, và điểm cao không còn nói nhiều về năng lực ngoài đề.
Hệ quả cho người đọc tin là: đừng so điểm giữa hai bài kiểm khác nhau, và đừng so điểm của cùng một bài kiểm cách nhau nhiều năm như thể thước đo không đổi. Khi tin nói một mô hình "đạt điểm cao nhất từ trước tới nay", hãy hỏi ở bộ nào, bộ đó đã ra đời bao lâu, và các mô hình khác đã được chạy trong cùng điều kiện chưa. Phần thuật ngữ điểm chuẩn được giải thích kỹ hơn ở danh mục thuật ngữ của trang; ở đây chỉ bàn cách đọc nó trong tin.
Câu hỏi thường gặp
AI đỗ kỳ thi luật sư thì có thay được luật sư không?
Không thể suy ra như vậy. Kỳ thi chỉ đo một phần kiến thức, còn hành nghề luật gồm gặp khách, thu thập chứng cứ, tranh luận, chịu trách nhiệm pháp lý. Điểm thi cao cho thấy mô hình có kiến thức nền rộng, hữu ích để tra cứu, nhưng không thay được người hành nghề có chứng chỉ.
Nhiễm dữ liệu trong đánh giá AI là gì?
Là khi đề thi hoặc lời giải đã nằm trong dữ liệu mô hình được huấn luyện. Lúc đó mô hình có thể trả lời đúng nhờ đã gặp đề chứ không nhờ suy luận. Nhóm nghiên cứu cẩn thận sẽ dùng đề mới ra sau mốc dữ liệu hoặc kiểm xem đề có xuất hiện trong dữ liệu không.
Vì sao cùng một mô hình mà mỗi nơi báo một điểm khác nhau?
Vì điều kiện thử khác nhau: cách đặt câu hỏi, số lần cho thử, phiên bản mô hình, cách chấm. Một thay đổi nhỏ trong cách hỏi cũng có thể làm điểm lệch đáng kể, nên con số chỉ có ý nghĩa khi đi kèm mô tả điều kiện thử.
AI làm đề thi tiếng Việt có tốt bằng đề tiếng Anh không?
Thường kém hơn một chút với nhiều mô hình, vì lượng dữ liệu tiếng Việt trong huấn luyện ít hơn tiếng Anh. Khoảng cách tuỳ mô hình và tuỳ môn, và đang thay đổi theo từng phiên bản, nên nên tự thử với đề của mình thay vì tin số liệu chung.
Học sinh có nên dùng AI để làm đề ôn thi không?
Có thể dùng để hỏi lại khái niệm hoặc nhờ giải thích lời giải, miễn là tự làm bài trước và đối chiếu đáp án với sách hoặc giáo viên. AI có thể giải sai một cách rất tự tin, nhất là bài toán nhiều bước hoặc câu hỏi về quy định mới.
Điểm cao ở bài kiểm mới có đáng tin hơn bài kiểm cũ không?
Thường đáng tin hơn, vì đề mới ít khả năng đã lọt vào dữ liệu huấn luyện và chưa bị các nhóm tối ưu riêng. Tuy vậy vẫn cần biết ai chạy thử, trong điều kiện nào, và có nhóm độc lập nào chạy lại được kết quả tương tự không.