AI trả lời sai mà vẫn tự tin vì giọng văn và độ chắc chắn là hai thứ tách rời trong mô hình ngôn ngữ. Giọng văn mạch lạc, quả quyết là kỹ năng nó học được từ hàng tỉ câu do con người viết, và được tinh chỉnh thêm để nghe hữu ích. Còn việc nó có thật sự "biết" điều đang nói hay không thì không tự động lộ ra trong câu chữ. Kết quả là câu đúng và câu sai thường được nói bằng cùng một giọng.
Ở người, ta quen đọc độ chắc chắn qua cách nói: ngập ngừng, "hình như", "để mình xem lại". Thói quen đó không dùng được với máy. Bài này giải thích vì sao, nói qua chuyện "hiệu chỉnh" mà giới nghiên cứu đang làm, và đưa ra cách đọc câu trả lời AI mà không bị giọng văn dắt đi.
Giọng văn học từ đâu, độ chắc chắn học từ đâu
Văn bản mà mô hình học phần lớn là văn bản đã được viết xong: sách, báo, bài bách khoa, bài giảng, câu trả lời trên diễn đàn. Phần lớn những văn bản đó được viết bằng giọng khẳng định. Một bài báo không ghi "có lẽ thủ đô là Hà Nội". Người viết đã kiểm trước, rồi viết ra kết quả. Mô hình học được cái giọng khẳng định đó như một đặc điểm của văn tốt, nhưng không học được quá trình kiểm đứng phía sau.
Sau đó, ở giai đoạn tinh chỉnh, các câu trả lời mẫu được chấm điểm. Câu trả lời đi thẳng vào vấn đề, rõ ràng, không rào đón vòng vo thường được chấm cao. Điều này hợp lý về trải nghiệm người dùng, nhưng có tác dụng phụ: mô hình được thưởng vì nghe chắc, kể cả trong những lúc không có cơ sở để chắc.
Độ chắc chắn thật, nếu có, nằm ở chỗ khác: trong phân bố xác suất khi mô hình chọn từng chữ. Khi mô hình nắm vững, một lựa chọn áp đảo các lựa chọn khác. Khi không nắm vững, các lựa chọn gần ngang nhau, và mô hình vẫn phải chọn một. Người dùng chỉ thấy chữ được chọn, không thấy nó thắng sát nút hay thắng đậm.
Hiệu chỉnh: AI có biết mình không biết không
Hiệu chỉnh nghĩa là gì. Một hệ thống được gọi là hiệu chỉnh tốt khi những lúc nó nói "chắc 90%" thì đúng khoảng chín trên mười lần. Dự báo thời tiết là ví dụ quen thuộc: nếu đài dự báo khả năng mưa 70% cho rất nhiều ngày, thì khoảng bảy phần mười số ngày đó phải mưa thật.
Mô hình gốc hiệu chỉnh khá hơn người ta tưởng. Một số nghiên cứu công bố trong vài năm gần đây cho thấy với câu hỏi trắc nghiệm, xác suất bên trong của mô hình nền, trước khi tinh chỉnh trò chuyện, phản ánh khá sát khả năng trả lời đúng. Tức là bên trong có một tín hiệu về độ chắc chắn.
Tinh chỉnh để trò chuyện có thể làm tín hiệu đó mờ đi. Cũng các nghiên cứu như vậy ghi nhận sau khi tinh chỉnh để nói chuyện dễ chịu, độ hiệu chỉnh thường kém đi. Mô hình được dạy cách nói chuyện cho hay, và trong quá trình đó học cách nói chắc nhiều hơn mức nó thật sự biết.
Con số tự khai không đáng tin như bạn nghĩ. Khi bạn hỏi "bạn chắc bao nhiêu phần trăm", con số trả lời cũng là chữ được sinh ra, không phải được đọc từ đồng hồ đo bên trong. Nó có tương quan với độ đúng ở mức nào đó, nhưng mô hình rất hay nói những con số tròn, cao, như 90% hay 95%, kể cả khi sai.
Vì sao bộ não người dễ tin giọng chắc
Một nửa vấn đề nằm ở phía người đọc. Trong giao tiếp hằng ngày, ta dùng sự tự tin của người nói như một tín hiệu rút gọn: ai nói trôi chảy, có số liệu, có thuật ngữ thì thường là người hiểu chuyện. Tín hiệu này không hoàn hảo ngay cả với người, nhưng nó tiết kiệm công sức. Gặp một cỗ máy luôn trôi chảy, tín hiệu đó bị đánh lừa một cách có hệ thống.
Các nhà tâm lý học gọi xu hướng tin vào kết quả của máy hơn mức đáng tin là thiên kiến tự động hoá. Hiện tượng này được ghi nhận từ trước thời chatbot, ở phi công tin quá mức vào hệ thống lái tự động, ở người lái xe đi theo bản đồ chỉ đường vào chỗ không nên vào. Với chatbot, thiên kiến này còn mạnh hơn vì máy nói bằng ngôn ngữ của người, có lời lẽ lễ phép, có giải thích, có cả câu "mình hiểu băn khoăn của bạn".
Thêm một yếu tố: câu trả lời của AI thường dài và có cấu trúc đẹp, chia mục, in đậm, liệt kê. Hình thức chỉn chu tạo cảm giác đã được kiểm kỹ, giống như tài liệu in đẹp thì tưởng là tài liệu chuẩn. Nhưng trình bày đẹp là việc mô hình làm rất giỏi và gần như không tốn thêm gì; nó không nói lên điều gì về độ chính xác của nội dung.
Dấu hiệu nghe chắc và điều chúng thật sự cho biết
Bảng dưới đây đặt cạnh nhau những đặc điểm khiến câu trả lời của AI nghe đáng tin, và điều mà mỗi đặc điểm thật ra nói lên. Phần lớn chỉ nói lên rằng mô hình viết giỏi.
| Đặc điểm nghe chắc | Người đọc dễ hiểu là | Thật ra chỉ cho biết |
|---|---|---|
| Có con số cụ thể, đến số lẻ | Đã được đo, được tra | Mô hình biết câu trả lời dạng này thường có số |
| Nêu tên tác giả, năm, tên tài liệu | Có nguồn để kiểm | Mô hình biết hình dạng của một trích dẫn; nguồn có thể có hoặc không |
| Dùng nhiều thuật ngữ chuyên ngành | Người viết hiểu sâu | Thuật ngữ hay đi kèm chủ đề này trong dữ liệu |
| Trình bày có đề mục, in đậm | Đã được soạn cẩn thận | Mô hình được tinh chỉnh để trình bày dễ đọc |
| Không rào đón, không "có lẽ" | Không có gì phải nghi ngờ | Giọng khẳng định là giọng mặc định |
| Giải thích mạch lạc vì sao | Lập luận đã được kiểm | Mô hình giỏi tạo lời giải thích cho bất kỳ kết luận nào, kể cả kết luận sai |
Dòng cuối đáng chú ý nhất. Lời giải thích mạch lạc là thứ dễ khiến người đọc tin nhất, nhưng mô hình có thể dựng lời giải thích thuyết phục cho một đáp án sai, đúng như cách nó dựng cho đáp án đúng. Lời giải thích hay không chứng minh đáp án đúng.
Những lúc AI tự rào đón, và vì sao cũng không nên đọc ngược
Các hãng biết vấn đề này, và nhiều chatbot ngày nay đã được dạy để rào đón trong một số trường hợp: câu hỏi về sức khoẻ, pháp luật, tài chính, sự kiện gần đây. Bạn sẽ thấy những câu như "thông tin có thể đã thay đổi" hay "bạn nên kiểm với chuyên gia". Những lời rào này hữu ích, nhưng chúng thường được gắn theo chủ đề, không theo độ chắc chắn thật sự của từng câu.
Hệ quả là có hai cái bẫy ngược chiều. Bẫy thứ nhất: thấy AI không rào đón, tưởng là nó chắc. Thực ra nó có thể không rào chỉ vì chủ đề không nằm trong nhóm được dạy phải rào. Bẫy thứ hai: thấy AI rào đón quá nhiều, tưởng mọi thứ nó nói đều yếu. Có những câu rào đón là phản xạ máy móc, gắn vào một câu trả lời hoàn toàn đúng.
Có một ngoại lệ đáng giá: khi mô hình nói thẳng "mình không tìm thấy thông tin về điều này" hoặc "mình không biết chắc năm đó", thì đó thường là tín hiệu có ích, vì để nói được câu ấy mô hình phải đi ngược lại xu hướng mặc định là cứ trả lời. Thấy câu này, đừng ép nó trả lời bằng được; ép là bạn đang đẩy nó về phía đoán.
Một ví dụ giả định: hai câu trả lời, một giọng
Thử hình dung một phụ huynh ở Đà Nẵng hỏi chatbot hai câu liền nhau. Câu thứ nhất: "Vì sao nước biển mặn?". Câu thứ hai: "Ngôi trường tiểu học gần chợ Hàn được xây năm nào?". Chatbot trả lời câu đầu bằng một đoạn giải thích về muối khoáng trôi từ đất liền ra biển qua hàng triệu năm, đúng với sách giáo khoa. Câu thứ hai được trả lời bằng một năm cụ thể, kèm một câu về việc trường từng được sửa sang, cũng trôi chảy y như vậy.
Đọc hai đoạn, phụ huynh không có cách nào thấy được khác biệt về độ tin cậy. Nhưng về cơ chế, chúng khác nhau như trời với đất. Câu đầu dựa vào một kiến thức được viết đi viết lại hàng vạn lần. Câu sau gần như chắc chắn dựa vào không gì cả, vì thông tin về một trường tiểu học cụ thể hiếm khi có trong dữ liệu huấn luyện, và nếu có thì rất dễ lẫn với trường khác. Năm được nêu ra chỉ là một năm nghe hợp lý cho một ngôi trường ở đô thị miền Trung.
Ví dụ giả định này cho thấy cách đánh giá đúng: đừng hỏi "câu trả lời nghe có chắc không" mà hỏi "câu hỏi này có thuộc loại kiến thức được viết đi viết lại nhiều không". Câu thứ hai rõ ràng không, nên dù giọng chắc đến đâu cũng phải kiểm.
Đọc câu trả lời AI mà không bị giọng văn dắt đi
Không cần trở thành chuyên gia để tránh bẫy giọng chắc. Năm thói quen dưới đây dựa trên chính cơ chế đã nói ở trên, áp dụng được với mọi chatbot:
- Tách lập luận khỏi chi tiết. Đọc phần ý chính như đọc một bài gợi ý; đánh dấu riêng những chi tiết cứng như số, năm, tên, trích dẫn, đó là chỗ cần kiểm.
- Coi độ trôi chảy là thông tin bằng không. Câu văn hay không cộng thêm điểm tin cậy nào. Nếu một người lạ ngoài đường nói đúng câu đó, bạn có tin ngay không?
- Hỏi lại ở một cuộc trò chuyện mới. Nếu câu trả lời cho một chi tiết đổi qua lại giữa các lần, mô hình đang đoán. Nếu giữ nguyên, khả năng đúng cao hơn, nhưng vẫn chưa phải bằng chứng.
- Đòi nguồn có thể mở ra được, và mở ra thật. Một nguồn không mở được, không tìm thấy, coi như không có nguồn.
- Đặt mức kiểm theo hậu quả. Câu trả lời dùng cho việc vui thì đọc lướt; câu trả lời dùng cho tiền bạc, sức khoẻ, giấy tờ, việc gửi cho người khác thì kiểm từng chi tiết với nguồn chính thức.
Năm bước này không làm chậm bạn đáng kể khi đã thành nếp. Phần lớn câu trả lời chỉ có vài chi tiết cứng, và phần lớn câu hỏi hằng ngày không cần kiểm kỹ. Cái lợi lớn nhất là bạn ngừng để cảm giác tin tưởng quyết thay mình.
Câu hỏi thường gặp
Nếu bảo AI chỉ trả lời khi chắc chắn thì có hết sai không?
Không hết. Lời dặn đó có thể khiến mô hình thận trọng hơn và từ chối nhiều hơn, nhưng mô hình không có thước đo nội tại đủ tin cậy để biết mình chắc hay không. Nó vẫn có thể trả lời sai mà nghĩ là chắc, hoặc từ chối cả những câu nó biết.
Con số phần trăm độ tin cậy mà AI tự khai có dùng được không?
Dùng làm tham khảo thô thì được, tin như số đo thì không. Con số đó cũng là chữ do mô hình sinh ra. Nghiên cứu cho thấy nó có tương quan với độ đúng ở mức nào đó, nhưng mô hình hay khai số tròn và cao, kể cả khi trả lời sai.
Vì sao AI tự tin nhận sai khi bị bắt lỗi, rồi lại đưa đáp án sai khác?
Khi bị nói là sai, mô hình rất dễ đồng ý vì xu hướng chiều theo người hỏi. Nhưng đồng ý không có nghĩa là nó đã tìm ra đáp án đúng; nó lại viết tiếp một đáp án nghe hợp lý khác, với cùng giọng tự tin. Chuyện này có bài riêng trong danh mục.
Có phải AI càng thông minh thì càng ít tự tin sai?
Các mô hình mạnh hơn thường sai ít hơn ở câu hỏi phổ thông, nhưng khi sai thì vẫn có thể sai với giọng chắc nịch. Năng lực tăng không tự động kéo theo khả năng biết mình sai. Hai việc này được các hãng cải thiện riêng, với kết quả khác nhau qua từng phiên bản.
Người lớn tuổi có dễ tin AI hơn người trẻ không?
Chưa nên khái quát theo tuổi. Người trẻ dùng nhiều nên quen tin, người lớn tuổi có thể coi máy là nguồn đáng tin như sách in. Nguy cơ phụ thuộc vào việc người dùng có biết cơ chế bịa hay không hơn là tuổi. Giải thích cơ chế cho người thân là cách bảo vệ tốt nhất.
Tại sao các hãng không cho AI hiển thị độ chắc chắn bằng màu sắc?
Một số nhóm nghiên cứu và sản phẩm đã thử những cách như tô màu chữ theo xác suất. Khó khăn là xác suất từng chữ không tương ứng gọn gàng với độ đúng của cả một ý, và người dùng dễ hiểu nhầm màu sắc. Tính năng này thay đổi theo sản phẩm, bạn nên kiểm phiên bản hiện hành.