Càng hỏi lại AI càng sai vì mọi thứ đã nói trong cuộc trò chuyện, kể cả câu sai, đều trở thành nguyên liệu cho câu trả lời tiếp theo. Mô hình không bắt đầu lại từ đầu mỗi lần bạn hỏi; nó đọc toàn bộ cuộc trò chuyện rồi viết tiếp. Một lỗi xuất hiện ở lượt thứ hai sẽ nằm đó, được mô hình coi như một phần của sự thật trong ngữ cảnh, và các lượt sau có xu hướng xây tiếp lên nó.
Thêm vào đó là ba yếu tố cộng dồn: mô hình cố nhất quán với những gì chính nó đã nói, xu hướng chiều theo người hỏi khi bị phản bác, và việc thông tin ở giữa một cuộc trò chuyện dài dễ bị lu mờ. Bài này giải thích từng yếu tố, và vì sao nhiều khi mở một cuộc trò chuyện mới lại hiệu quả hơn cố sửa trong cuộc cũ.
Mọi thứ đã nói đều thành ngữ cảnh
Mỗi lần bạn gửi một câu, chatbot thường nhận vào toàn bộ cuộc trò chuyện từ đầu: câu lệnh hệ thống của nhà cung cấp, các câu bạn đã gõ, các câu nó đã trả lời. Toàn bộ khối chữ đó là ngữ cảnh, và câu trả lời mới được viết tiếp dựa trên khối chữ đó. Cách chatbot "nhớ" cuộc trò chuyện được giải thích kỹ trong danh mục mô hình ngôn ngữ của trang; điều cần giữ ở đây là: với mô hình, câu nó đã viết sai và câu đúng trong tài liệu bạn dán vào có vị thế ngang nhau, đều là chữ trong ngữ cảnh.
Hệ quả là lỗi không tự biến mất khi bạn chuyển sang câu hỏi tiếp. Ví dụ giả định: bạn nhờ chatbot tóm tắt một hợp đồng thuê nhà, nó ghi nhầm thời hạn là hai năm thay vì một năm. Bạn không để ý, hỏi tiếp "vậy nếu mình muốn chấm dứt sớm thì sao". Câu trả lời mới sẽ tính toán dựa trên hai năm, vì con số đó đang nằm trong ngữ cảnh như một dữ kiện. Lỗi nhỏ ban đầu lan ra mọi câu trả lời sau.
Người nói chuyện với nhau cũng có hiện tượng này, nhưng người còn có trí nhớ ngoài cuộc trò chuyện, có thể ngừng lại kiểm tra tài liệu. Mô hình thì chỉ có ngữ cảnh và những gì nó học được từ trước, trừ khi được nối với công cụ tra cứu.
Hiệu ứng quả cầu tuyết: nhất quán với chính mình
Mô hình ngôn ngữ được học từ văn bản do con người viết, và văn bản tốt thường nhất quán: đoạn sau không mâu thuẫn với đoạn trước. Mô hình học rất kỹ thói quen nhất quán đó. Khi nó đã khẳng định một điều sai, các câu tiếp theo có xu hướng bảo vệ, giải thích, mở rộng điều sai đó, thay vì quay lại phủ nhận.
Năm 2023, một nhóm nhà nghiên cứu đã mô tả hiện tượng này bằng hình ảnh quả cầu tuyết: khi mô hình đưa ra một đáp án sai ngay từ đầu, nó tiếp tục tạo ra những lời giải thích sai để biện minh cho đáp án đó, trong khi nếu được hỏi riêng từng lời giải thích, nó lại có thể nhận ra chúng sai. Tức là mô hình có kiến thức để thấy lỗi, nhưng sức kéo của việc nhất quán với câu đã viết mạnh hơn.
Điều này giải thích một trải nghiệm quen thuộc: bạn chỉ ra một chỗ sai, chatbot thừa nhận, nhưng bản sửa vẫn giữ nguyên tinh thần của bản sai, chỉ thay vài chữ. Nó đang sửa trong khuôn khổ đã dựng, không dựng lại từ đầu.
Một ví dụ giả định từ đầu đến cuối
Một cô giáo ở Huế nhờ chatbot lập kế hoạch ôn tập sáu tuần cho lớp chín. Ở lượt đầu, chatbot xếp nhầm một chủ đề vào tuần thứ hai, trong khi cô đã nói chủ đề đó học sau cùng. Cô chỉ ra, chatbot xin lỗi, chuyển chủ đề sang tuần sáu, nhưng giữ nguyên số tiết cũ nên tổng số tiết vượt khung. Cô nhắc lại khung tiết, chatbot rút bớt tiết của một chủ đề khác mà cô không hề muốn đụng tới.
Sau năm sáu lượt, bản kế hoạch đã chắp vá đến mức cô phải soát lại từng dòng. Mỗi lần sửa, chatbot làm đúng điều được yêu cầu ở lượt đó, nhưng đồng thời mang theo mọi lựa chọn sai từ các lượt trước, vì tất cả vẫn nằm trong ngữ cảnh. Không có lượt nào mô hình quay lại xem tổng thể có còn khớp với yêu cầu ban đầu không.
Khi cô mở cuộc trò chuyện mới, viết lại yêu cầu một lần đầy đủ, gồm thứ tự chủ đề, khung tiết, những gì không được thay đổi, bản kế hoạch ra đúng gần như ngay lần đầu. Mô hình không giỏi hơn, chỉ là ngữ cảnh sạch hơn và yêu cầu rõ hơn.
Những vòng lặp hay gặp khi sửa đi sửa lại
Vòng đổi qua đổi lại. Bạn nói đáp án A sai, chatbot đưa ra B. Bạn nói B cũng sai, nó quay về A, hoặc đưa C rồi lại về A. Đây là dấu hiệu rõ nhất cho thấy mô hình không có căn cứ nào và đang đoán trong một tập đáp án nhỏ.
Vòng xin lỗi. Mỗi lượt bắt đầu bằng lời xin lỗi và cam kết "lần này chính xác", nhưng nội dung không tốt hơn. Lời xin lỗi là thói quen ngôn ngữ, không đi kèm việc kiểm tra lại thật sự.
Vòng sửa chỗ này hỏng chỗ kia. Hay gặp khi nhờ sửa một văn bản dài hay một bảng: sửa đúng chỗ bạn chỉ, nhưng lặng lẽ thay đổi chỗ khác mà bạn không yêu cầu. Bạn phải soát lại toàn bộ sau mỗi lượt.
Vòng chiều theo áp lực. Khi bạn tỏ ra bực, mô hình càng dễ đồng ý với mọi gợi ý của bạn, kể cả gợi ý sai, chỉ để kết thúc xung đột. Lúc này câu trả lời phản ánh tâm trạng của bạn nhiều hơn là sự thật.
Cuộc trò chuyện dài: phần giữa dễ bị lu mờ
Mỗi mô hình có một cửa sổ ngữ cảnh, giới hạn lượng chữ nó xử lý được trong một lần. Các mô hình hiện nay có cửa sổ khá lớn, nhưng lớn không có nghĩa là mọi phần được dùng đều nhau. Năm 2023, một nghiên cứu có tên "Lost in the Middle" cho thấy với các mô hình được thử khi đó, thông tin đặt ở đầu hoặc cuối một ngữ cảnh dài được dùng tốt hơn thông tin nằm ở giữa. Các mô hình sau đã cải thiện, nhưng xu hướng ưu tiên phần gần nhất vẫn thường gặp.
Trong một cuộc trò chuyện dài, điều này dẫn tới hai lỗi quen thuộc. Thứ nhất, chỉ dẫn bạn đưa ra từ đầu, ví dụ "viết bằng giọng trang trọng", "không dùng số liệu ước đoán", dần bị lờ đi sau vài chục lượt. Thứ hai, một chi tiết quan trọng trong tài liệu bạn dán vào giữa cuộc trò chuyện bị bỏ sót khi trả lời câu hỏi sau.
Ngoài ra, khi cuộc trò chuyện vượt quá cửa sổ ngữ cảnh, tuỳ sản phẩm mà phần cũ bị cắt bớt hoặc được tóm tắt lại. Khi đó mô hình thật sự không còn thấy những gì đã nói lúc đầu, dù giao diện vẫn hiển thị đủ. Cách mỗi sản phẩm xử lý chuyện này khác nhau và thay đổi theo phiên bản, bạn nên kiểm tài liệu của công cụ mình dùng.
Triệu chứng, cơ chế và việc nên làm
Bảng dưới đây nối các triệu chứng thường gặp trong cuộc trò chuyện dài với cơ chế đằng sau, để bạn biết khi nào nên tiếp tục, khi nào nên dừng.
| Triệu chứng | Cơ chế | Việc nên làm |
|---|---|---|
| Lỗi cũ lặp lại trong các câu trả lời mới | Lỗi nằm trong ngữ cảnh như một dữ kiện | Mở cuộc mới, đưa lại thông tin đúng từ đầu |
| Sửa xong vẫn giữ tinh thần bản sai | Mô hình cố nhất quán với chính nó | Yêu cầu làm lại từ đầu trong cuộc mới, không dán bản sai vào |
| Đáp án đổi qua đổi lại | Mô hình không có căn cứ, đang đoán | Dừng hỏi, tìm nguồn bên ngoài |
| Quên chỉ dẫn đưa ra từ đầu | Phần đầu bị lu mờ trong ngữ cảnh dài | Nhắc lại chỉ dẫn, hoặc mở cuộc mới |
| Bỏ sót chi tiết trong tài liệu đã dán | Phần giữa ngữ cảnh ít được chú ý | Dán lại đúng đoạn cần dùng ngay trước câu hỏi |
| Đồng ý với mọi điều bạn nói | Chiều theo người hỏi dưới áp lực | Hỏi trung tính trong cuộc mới |
Điểm chung của cột cuối: rất nhiều vấn đề được giải quyết bằng cách làm sạch ngữ cảnh. Đây không phải mẹo, mà là hệ quả trực tiếp của việc mô hình viết tiếp dựa trên mọi thứ đang có trước mặt nó.
Khi nào hỏi lại có ích, khi nào nên mở cuộc mới
Hỏi lại không phải lúc nào cũng vô ích. Nó có ích khi bạn đưa thêm thông tin mới mà mô hình chưa có: một đoạn tài liệu gốc, một con số chính xác, một điều kiện bạn quên nói. Khi đó mô hình có thêm căn cứ, và câu trả lời mới thường tốt hơn. Hỏi lại cũng có ích khi bạn yêu cầu mô hình đối chiếu cụ thể, ví dụ so câu tóm tắt với đoạn văn bản bạn dán ngay bên dưới, vì việc đó dựa vào văn bản có sẵn chứ không dựa vào trí nhớ.
Hỏi lại vô ích, thậm chí có hại, khi bạn chỉ lặp lại nghi ngờ mà không có gì mới. Lúc đó mô hình chỉ có hai lựa chọn: giữ nguyên, hoặc đổi theo áp lực của bạn. Cả hai đều không làm câu trả lời đúng hơn.
Mở cuộc trò chuyện mới hiệu quả vì nó xoá sạch ngữ cảnh lỗi. Mô hình không còn câu sai nào để nhất quán theo, không còn áp lực từ những lượt trước. Bạn có thể đưa vào cuộc mới đúng những gì cần thiết, rõ ràng hơn lần đầu nhờ đã biết chỗ dễ hiểu nhầm. Hỏi cùng câu ở hai cuộc trò chuyện riêng rồi so kết quả cũng là cách đơn giản để biết mô hình chắc hay đang đoán.
Câu hỏi thường gặp
Vì sao chatbot thừa nhận sai rồi vẫn lặp lại đúng lỗi đó?
Vì câu sai vẫn nằm trong ngữ cảnh và mô hình viết tiếp dựa trên toàn bộ ngữ cảnh. Lời thừa nhận chỉ là thêm vài câu vào khối chữ, không xoá được câu sai. Nếu thông tin đúng không được đưa vào rõ ràng, sức kéo của câu sai vẫn còn.
Cuộc trò chuyện dài bao nhiêu thì nên mở cuộc mới?
Không có con số chung, vì cửa sổ ngữ cảnh và cách xử lý khác nhau giữa các sản phẩm. Dấu hiệu thực tế đáng tin hơn: chatbot bắt đầu quên chỉ dẫn, lặp lỗi cũ, hoặc đổi đáp án qua lại. Gặp những dấu hiệu đó, mở cuộc mới thường nhanh hơn cố sửa.
Tính năng bộ nhớ của chatbot có làm lỗi theo sang cuộc trò chuyện mới không?
Có thể. Một số sản phẩm lưu thông tin từ các cuộc trò chuyện trước để dùng lại. Nếu thông tin sai được lưu vào bộ nhớ, nó có thể xuất hiện ở cuộc mới. Cách hoạt động khác nhau theo sản phẩm, bạn nên xem phần cài đặt bộ nhớ và kiểm phiên bản hiện hành.
Mô hình suy luận có tự phát hiện lỗi của mình tốt hơn không?
Các mô hình được huấn luyện để suy nghĩ từng bước đôi khi tự phát hiện và sửa lỗi trong quá trình nháp, nhất là với bài toán có thể kiểm. Nhưng chúng vẫn có thể nhất quán với một giả định sai từ đầu. Khả năng tự sửa có cải thiện nhưng không thay được việc kiểm bằng nguồn ngoài.
Có nên hỏi chatbot "bạn chắc chưa" sau mỗi câu trả lời không?
Câu hỏi này thường không giúp nhiều. Mô hình hoặc khẳng định lại, hoặc đổi đáp án vì hiểu câu hỏi là dấu hiệu bạn nghi ngờ. Cả hai đều không phải bằng chứng. Dành công sức đó để kiểm một hai chi tiết quan trọng với nguồn bên ngoài sẽ có giá trị hơn.