Khi AI tìm kiếm web hoặc đọc tài liệu bạn đính kèm, nó bịa ít hơn rõ rệt, nhưng không hết bịa. Lý do giảm là câu trả lời giờ có chỗ dựa: thay vì viết tiếp từ trí nhớ thống kê, mô hình viết dựa trên những đoạn văn bản cụ thể vừa được đưa vào ngữ cảnh. Lý do không hết là phần "viết dựa trên" vẫn do chính cơ chế cũ đảm nhận, và cơ chế đó vẫn có thể tìm nhầm nguồn, hiểu sai nguồn, hoặc lặng lẽ thêm vào những gì nguồn không nói.
Bài này giải thích vì sao tìm kiếm và tài liệu đính kèm giúp được, ba chỗ hở còn lại, và cách đọc một câu trả lời có dẫn nguồn để biết nó đáng tin tới đâu. Cơ chế kỹ thuật của việc AI lấy tài liệu để trả lời, thường gọi là tìm kiếm tăng cường, được giải thích ở danh mục tác tử và công cụ của trang; ở đây chỉ bàn chuyện bịa.
Từ thi đóng sách sang thi mở sách
Một chatbot trả lời thuần bằng mô hình giống thí sinh làm bài thi đóng sách: mọi thứ phải lấy từ trí nhớ, và trí nhớ này lại là trí nhớ thống kê, không phải sổ ghi chép. Khi có tìm kiếm web hoặc tài liệu đính kèm, tình huống chuyển sang thi mở sách: thí sinh được lật tài liệu ra xem trước khi viết. Ai từng đi thi đều biết thi mở sách dễ hơn nhiều với câu hỏi tra cứu, nhưng cũng biết thi mở sách vẫn có người làm sai.
Sai ở đâu? Có người lật nhầm trang, có người đọc đúng trang nhưng hiểu sai ý, có người chép một nửa rồi tự viết nốt nửa còn lại theo trí nhớ. Mô hình ngôn ngữ mắc đúng ba kiểu lỗi đó. Việc có tài liệu thay đổi xác suất, không thay đổi bản chất: mô hình vẫn là cỗ máy viết tiếp, chỉ là giờ có thêm những đoạn văn bản đáng tin trong ngữ cảnh để viết tiếp theo.
Một điểm hay bị bỏ qua: ngay cả khi có tài liệu, mô hình vẫn mang theo toàn bộ kiến thức cũ của nó. Khi tài liệu không trả lời đủ câu hỏi, mô hình không dừng lại ở chỗ tài liệu dừng, mà có thể lấp phần còn thiếu bằng trí nhớ. Phần lấp đó được viết liền mạch với phần lấy từ tài liệu, người đọc không thấy đường nối.
Những gì thật sự được cải thiện
Thông tin mới. Đây là lợi ích lớn nhất. Câu hỏi về chuyện sau mốc kiến thức, giá cả, quy định hiện hành có cơ hội được trả lời bằng thông tin hiện tại thay vì thông tin đã đóng băng.
Nguồn có thật. Khi nguồn được lấy từ kết quả tìm kiếm, nó là một trang có tồn tại, không phải trích dẫn do mô hình tự ghép. Kiểu bịa nguồn hoàn toàn, vốn là kiểu nổi tiếng nhất, giảm mạnh.
Có chỗ để kiểm. Câu trả lời đi kèm nguồn cho phép bạn mở ra đối chiếu. Đây là thay đổi về chất: trước đây bạn phải tự đi tìm từ đầu, giờ bạn có điểm xuất phát.
Câu hỏi hẹp về tài liệu của bạn. Hỏi "hợp đồng này quy định thời hạn bao lâu" khi đã đính kèm hợp đồng, mô hình có câu trả lời ngay trong ngữ cảnh. Với câu hỏi kiểu này, tỉ lệ đúng thường cao hơn nhiều so với hỏi từ trí nhớ.
Chuyện địa phương và phần đuôi dài. Những thứ mô hình gần như không biết, như một xã nhỏ hay một doanh nghiệp địa phương, có thể được tìm thấy trên mạng nếu có trang nói về chúng. Nhưng chất lượng câu trả lời phụ thuộc hoàn toàn vào chất lượng trang đó.
Chỗ hở thứ nhất: tìm sai thứ, gặp nguồn kém
Trước khi đọc, mô hình phải quyết định tìm gì. Nó tự chuyển câu hỏi của bạn thành một hoặc vài câu tìm kiếm, và câu tìm kiếm đó có thể lệch ý. Hỏi về một thủ tục ở Việt Nam mà câu tìm kiếm lại bằng tiếng Anh, kết quả có thể là thủ tục ở nước khác. Hỏi về một người trùng tên với người nổi tiếng, kết quả tìm kiếm toàn về người nổi tiếng.
Tiếp theo là chất lượng nguồn. Kết quả tìm kiếm trên mạng có đủ loại: trang chính thức, báo chí, diễn đàn, trang tổng hợp chép lại của nhau, trang quảng cáo trá hình, và ngày càng nhiều trang có nội dung do chính AI viết hàng loạt mà không ai kiểm. Mô hình có được dạy để ưu tiên nguồn đáng tin, nhưng khả năng phân biệt nguồn của nó không hoàn hảo. Một trang trông chuyên nghiệp mà sai vẫn có thể được chọn làm căn cứ.
Kết quả là một vòng tròn đáng lo: AI viết nội dung sai, nội dung đó được đăng lên mạng, rồi AI khác tìm thấy và dẫn lại như một nguồn. Câu trả lời trông có nguồn đàng hoàng, nhưng nguồn đó chỉ là một lần bịa khác. Đây là lý do việc xem nguồn là trang gì quan trọng không kém việc có nguồn.
Chỗ hở thứ hai: đọc đúng nguồn mà tóm sai
Kể cả khi tìm đúng nguồn tốt, bước tóm tắt vẫn có thể sai. Các lỗi hay gặp: bỏ mất điều kiện đi kèm, ví dụ nguồn nói "áp dụng với doanh nghiệp dưới một quy mô nhất định" mà bản tóm tắt nói như áp dụng với mọi doanh nghiệp; đổi lẫn hai con số đứng gần nhau trong một bảng; gán một nhận định của người được phỏng vấn thành kết luận của tác giả bài báo.
Một dạng tinh vi hơn là trộn nhiều nguồn. Mô hình đọc ba trang, mỗi trang nói một phần, rồi viết ra một câu tổng hợp mà không trang nào nói. Câu đó được gắn chỉ dẫn nguồn tới một trong ba trang, khiến người đọc tưởng nguồn đó nói vậy. Một nghiên cứu năm 2023 đánh giá các công cụ tìm kiếm có AI đã ghi nhận một tỉ lệ đáng kể các câu trong câu trả lời không được nguồn dẫn kèm hỗ trợ đầy đủ, dù câu trả lời đọc lên rất trôi chảy và có vẻ được chú thích kỹ.
Chỉ dẫn nguồn vì vậy nên được hiểu là "câu này có liên quan đến trang này", không phải "trang này xác nhận câu này". Khoảng cách giữa hai cách hiểu đó chính là chỗ lỗi trú ngụ.
Chỗ hở thứ ba: lấp chỗ trống bằng trí nhớ
Nguồn tìm được hiếm khi trả lời trọn vẹn câu hỏi. Một trang nói về điều kiện, trang khác nói về thời hạn, còn mức phí thì không trang nào nhắc. Người làm việc cẩn thận sẽ ghi "chưa tìm thấy thông tin về mức phí". Mô hình thì có xu hướng viết một câu trả lời hoàn chỉnh, và phần thiếu được lấp bằng kiến thức trong trí nhớ, tức là đúng thứ dễ cũ và dễ bịa mà ta muốn tránh khi bật tìm kiếm.
Ví dụ giả định: bạn hỏi về điều kiện mở một cơ sở kinh doanh nhỏ ở Lâm Đồng. Chatbot tìm thấy một trang hướng dẫn chung về đăng ký hộ kinh doanh và trả lời rất đầy đủ, kể cả nơi nộp hồ sơ ở cấp huyện. Trang nguồn không hề nhắc cấp huyện; chi tiết đó đến từ trí nhớ được học trước khi cấp huyện bị bỏ. Phần đúng và phần lỗi thời đứng cạnh nhau trong cùng một đoạn, cùng một giọng, cùng được gắn chung một chỉ dẫn nguồn.
Dấu hiệu nhận ra là những chi tiết cụ thể không thấy trong nguồn khi bạn mở ra kiểm. Một số công cụ đã được thiết kế để nói rõ phần nào không tìm thấy, và đó là hành vi đáng quý khi bạn gặp.
Tài liệu đính kèm: mô hình đọc tốt gì, dễ sai gì
Tài liệu bạn tự đưa vào thường đáng tin hơn kết quả tìm kiếm, vì bạn biết nguồn. Nhưng cách mô hình đọc tài liệu cũng có những điểm yếu riêng, tuỳ loại tệp.
| Loại tài liệu | Mô hình thường đọc tốt | Dễ sai ở đâu |
|---|---|---|
| Văn bản thuần, rõ đề mục | Tóm tắt ý chính, tìm một quy định cụ thể | Bỏ sót điều kiện, ngoại lệ nằm cuối đoạn |
| Tệp PDF nhiều cột, có chú thích | Phần thân bài chính | Đọc lẫn thứ tự cột, trộn chú thích vào thân bài |
| Bảng số liệu | Hiểu bảng nói về gì | Đọc nhầm hàng, nhầm cột, tính tổng sai nếu không dùng công cụ |
| Ảnh chụp, văn bản scan | Chữ in rõ, ảnh sáng | Chữ viết tay, dấu tiếng Việt mờ, con dấu đè chữ |
| Tài liệu rất dài | Phần đầu và phần cuối | Chi tiết ở giữa, theo hiện tượng phần giữa bị lu mờ |
| Câu hỏi mà tài liệu không trả lời | Một số mô hình nói rõ tài liệu không đề cập | Nhiều khi lấp bằng trí nhớ mà không báo |
Dòng cuối là chỗ đáng chú ý nhất. Nếu bạn hỏi điều mà tài liệu không có, câu trả lời lý tưởng là "tài liệu không nói về điều này". Mô hình ngày càng làm được điều đó, nhưng chưa đều; khi nó trả lời trôi chảy một câu hỏi mà bạn ngờ là tài liệu không đề cập, hãy tìm lại trong tài liệu.
Đọc một câu trả lời có dẫn nguồn
Câu trả lời có nguồn đáng tin hơn câu trả lời không nguồn, nhưng chỉ khi bạn dùng đến nguồn. Năm bước dưới đây không tốn nhiều thời gian và bắt được phần lớn lỗi đã nói ở trên:
- Xem chi tiết quan trọng nhất có gắn nguồn không. Câu trả lời có thể có nhiều nguồn ở chỗ ít quan trọng, còn con số then chốt lại không gắn nguồn nào, tức là có thể đến từ trí nhớ.
- Mở nguồn ra. Nghe thì hiển nhiên, nhưng rất nhiều người dừng ở việc thấy có nguồn.
- Tìm đúng đoạn được dẫn. Dùng chức năng tìm trong trang để tìm con số hoặc cụm từ chính. Không tìm thấy là dấu hiệu bản tóm tắt đã thêm thắt.
- Xem ngày và loại nguồn. Trang chính thức, báo chí, diễn đàn hay trang tổng hợp? Đăng khi nào? Một trang không ngày, không tác giả nên được xếp sau.
- Với việc có hậu quả, tìm thêm một nguồn độc lập. Hai nguồn độc lập nói giống nhau đáng tin hơn nhiều so với một nguồn được AI tóm tắt.
Kỹ năng tìm và đánh giá nguồn nói chung được bàn kỹ ở trang AI Tra Cứu trong cùng hệ. Ở đây chỉ cần nhớ: tìm kiếm và tài liệu đính kèm biến AI từ một người kể chuyện theo trí nhớ thành một người đọc hộ bạn. Người đọc hộ thì nhanh, nhưng bạn vẫn nên liếc qua thứ họ đã đọc.
Câu hỏi thường gặp
Nếu chỉ hỏi AI về tài liệu mình đính kèm thì có cần kiểm nữa không?
Vẫn cần, nhưng nhẹ hơn nhiều. Với câu hỏi mà câu trả lời nằm rõ trong tài liệu, mô hình thường đúng. Rủi ro còn ở chỗ đọc nhầm bảng, bỏ sót điều kiện, hoặc lấp chỗ tài liệu không nói. Với chi tiết quan trọng, tìm lại đoạn tương ứng trong tài liệu.
Làm sao biết chatbot có thật sự tìm kiếm hay đang trả lời từ trí nhớ?
Nhiều giao diện hiển thị dấu hiệu khi đang tìm kiếm và liệt kê các trang đã đọc. Nếu không có dấu hiệu đó và không có nguồn kèm theo, nên coi là trả lời từ trí nhớ. Cách hiển thị khác nhau theo sản phẩm, bạn nên kiểm phiên bản hiện hành.
Vì sao AI dẫn nguồn đúng trang mà trang đó không có con số nó nói?
Chỉ dẫn nguồn thường được gắn theo mức độ liên quan, không phải sau khi kiểm từng câu. Con số có thể đến từ một trang khác, từ trí nhớ của mô hình, hoặc do tóm tắt sai. Đây là lý do cần mở nguồn và tìm đúng đoạn, không chỉ nhìn tên nguồn.
Tài liệu nội bộ công ty đưa vào chatbot có an toàn không?
Đó là câu hỏi về bảo mật hơn là về chuyện bịa. Tuỳ công cụ, tài khoản và cài đặt, nội dung có thể được lưu hoặc dùng theo điều khoản của nhà cung cấp. Trước khi đưa tài liệu có thông tin cá nhân hay bí mật kinh doanh vào, hãy che thông tin nhạy cảm và xem hướng dẫn ở trang AI Bảo Mật.
AI tóm tắt nhiều nguồn có tốt hơn đọc một nguồn không?
Tóm tắt nhiều nguồn cho cái nhìn rộng nhanh hơn, nhưng cũng tăng nguy cơ trộn ý giữa các nguồn thành câu không nguồn nào nói. Với việc cần chính xác, đọc kỹ một nguồn chính thức thường đáng tin hơn đọc bản tổng hợp của nhiều nguồn chất lượng không đều.
Có khi nào AI tìm kiếm lại sai hơn trả lời từ trí nhớ không?
Có. Nếu kết quả tìm kiếm là trang sai hoặc cũ, mô hình có thể bám theo trang đó và bỏ qua kiến thức đúng mà nó vốn có. Với kiến thức phổ thông ổn định, trí nhớ của mô hình đôi khi chính xác hơn một trang web kém. Tìm kiếm có lợi nhất với thông tin mới và cụ thể.