Giới hạn lớn nhất của AI hiện nay không phải là nó kém, mà là năng lực của nó không đều theo cách khó đoán trước. Cùng một chatbot có thể viết một bài phân tích tốt, dịch một trang tài liệu chuyên ngành gọn gàng, rồi vấp ở một câu đố trẻ em chỉ vì đề bị đổi một chi tiết, hoặc tính sai một phép nhân. Những chỗ yếu đó không ngẫu nhiên: mỗi cái gắn với một đặc điểm trong cách mô hình ngôn ngữ được xây dựng.
Bài này vẽ một bản đồ các giới hạn chính: bịa thông tin, con số, chuyện mới, thế giới vật lý, câu đố quen bị đổi, việc nhiều bước, và sự thiếu trách nhiệm. Mỗi giới hạn đi kèm cơ chế ngắn gọn. Một số giới hạn có bài riêng trong cùng danh mục để bạn đọc sâu hơn. Phần cuối nói rõ chỗ nào giới hạn đang thu hẹp nhanh, chỗ nào giới nghiên cứu còn tranh luận.
Năng lực không đều: đường biên răng cưa
Năm 2023, một nghiên cứu thực địa với các chuyên viên tư vấn của Boston Consulting Group, do các nhà nghiên cứu từ Đại học Harvard và một số trường khác thực hiện, đưa ra hình ảnh "đường biên công nghệ răng cưa". Ý chính: có những việc nằm trong vùng AI làm tốt, dùng AI giúp người làm nhanh hơn và tốt hơn; nhưng có những việc trông khó tương đương lại nằm ngoài vùng đó, và người dùng AI cho những việc này làm kém hơn người không dùng, vì tin theo câu trả lời sai.
Điều làm hình ảnh này hữu ích là chữ "răng cưa". Đường biên không đi theo độ khó mà con người cảm nhận. Với người, viết một bài luận khó hơn đếm chữ cái; với mô hình, có khi ngược lại. Với người, giải câu đố quen thuộc và câu đố đã đổi một chi tiết khó ngang nhau; với mô hình, câu đố quen dễ hơn nhiều. Trực giác của chúng ta về "việc này dễ, chắc máy làm được" không dùng được.
Hệ quả thực tế là không thể đánh giá AI bằng một câu "giỏi" hay "dở". Cần biết từng loại việc nằm ở phía nào của đường biên, và đường biên đó còn dịch chuyển theo mỗi phiên bản mô hình.
Biết thế giới qua chữ, không qua trải nghiệm
Mô hình ngôn ngữ biết về thế giới chủ yếu qua những gì con người đã viết. Nó đọc hàng nghìn mô tả về vị của phở nhưng chưa từng nếm, đọc vô số bài về cách buộc dây giày nhưng chưa từng cầm sợi dây. Các mô hình đa phương thức học thêm từ ảnh, âm thanh, video, nhưng vẫn là quan sát qua dữ liệu, không phải tương tác trực tiếp với vật thể.
Phần lớn thời gian, điều này không thành vấn đề, vì những gì con người viết về thế giới đã chứa rất nhiều hiểu biết thông thường. Nhưng có những hiểu biết quá hiển nhiên đến mức ít ai viết ra: cốc nước để nghiêng thì đổ, chiếc xe máy không vừa thang máy chung cư, người đứng trên ghế thì cao hơn. Những thứ ít được viết ra lại là phần đuôi dài của kiến thức thường thức, và mô hình đôi khi trả lời sai một cách khiến người đọc bật cười.
Ở tầng sâu hơn, giới nghiên cứu còn tranh luận việc mô hình học từ chữ có hình thành được một "mô hình thế giới" bên trong hay không. Một số thí nghiệm cho thấy bên trong mô hình có những biểu diễn giống bản đồ không gian, thời gian; số khác cho thấy những biểu diễn đó mong manh và dễ vỡ khi tình huống lạ. Đây là câu hỏi mở, chưa có kết luận chung.
Câu đố quen bị đổi một chi tiết
Có một bài kiểm tra giới hạn mà ai cũng làm được: lấy một câu đố nổi tiếng, đổi một chi tiết quan trọng, rồi hỏi chatbot. Ví dụ giả định: câu đố chở sói, dê, bắp cải qua sông vốn có ràng buộc thuyền chỉ chở được người và một thứ. Nếu bạn sửa đề thành thuyền đủ rộng chở tất cả cùng lúc, đáp án đúng là một chuyến. Nhưng nhiều mô hình, nhất là các thế hệ trước, vẫn trình bày nguyên lời giải bảy chuyến của bản gốc.
Cơ chế là sức kéo của khuôn quen. Câu đố gốc cùng lời giải xuất hiện vô số lần trong dữ liệu, nên khi thấy những chữ quen như sói, dê, bắp cải, con đường viết tiếp theo lời giải quen có xác suất rất cao, lấn át chi tiết đã đổi. Mô hình nhận ra dạng bài trước khi đọc kỹ đề, giống học sinh đọc lướt rồi chép lời giải đã học thuộc.
Các mô hình suy luận mới, được huấn luyện để viết nháp từng bước, đã khá hơn đáng kể với loại bẫy này, vì bước nháp buộc chúng đọc lại ràng buộc. Nhưng hiện tượng chưa biến mất, và nó nói lên một điều quan trọng cho người dùng hằng ngày: khi tình huống của bạn giống một tình huống phổ biến nhưng khác ở một điểm then chốt, AI có thể trả lời cho tình huống phổ biến, bỏ qua điểm then chốt của bạn.
Việc nhiều bước: lỗi nhỏ nhân lên
Một câu trả lời đơn lẻ có thể đúng phần lớn thời gian. Nhưng nhiều việc thật cần hàng chục bước nối nhau: đọc yêu cầu, tìm thông tin, xử lý, kiểm tra, viết kết quả. Mỗi bước có một xác suất sai nhỏ, và các xác suất đó nhân lên. Ví dụ giả định: nếu mỗi bước đúng 95%, thì một chuỗi hai mươi bước độc lập chỉ có khoảng 36% khả năng đúng hoàn toàn. Con số này chỉ minh hoạ cách nhân xác suất, không phải số đo của mô hình nào.
Vì vậy, các tác tử AI, tức là hệ thống tự thực hiện nhiều bước để hoàn thành một việc, gặp khó ở những nhiệm vụ dài hơn nhiều so với khi trả lời một câu hỏi. Lỗi ở bước đầu được mang theo và khuếch đại, giống hiệu ứng quả cầu tuyết trong cuộc trò chuyện dài. Khái niệm tác tử và rủi ro khi giao quyền cho chúng được bàn ở danh mục tác tử và công cụ của trang.
Nhiều nhóm đang đo độ dài nhiệm vụ mà AI hoàn thành được một cách đáng tin, và các con số này tăng khá nhanh qua các thế hệ mô hình. Tuy vậy, với người dùng thông thường, nguyên tắc vẫn giữ nguyên: việc càng nhiều bước, càng cần những điểm dừng để người kiểm tra, thay vì giao trọn từ đầu đến cuối.
Bản đồ giới hạn và cơ chế
Bảng dưới đây gom các giới hạn chính của chatbot hiện nay, biểu hiện thường gặp và cơ chế đằng sau. Phần lớn đã có bài riêng trong danh mục này.
| Giới hạn | Biểu hiện | Cơ chế chính |
|---|---|---|
| Bịa thông tin | Chi tiết, nguồn, trích dẫn không có thật | Viết tiếp cho hợp lý, không tra sổ sự thật |
| Con số | Đếm sai chữ, nhân sai số lớn | Nhìn chữ theo mảnh, viết số từ trái sang phải |
| Chuyện mới | Nói thông tin cũ như hiện hành | Kiến thức đóng ở mốc huấn luyện |
| Phần đuôi dài | Sai về người, nơi, cơ sở ít được viết đến | Dữ liệu mỏng, trùng tên |
| Chiều theo người hỏi | Đổi đáp án khi bị phản bác, khen quá lời | Tinh chỉnh theo sở thích con người |
| Câu đố quen bị đổi | Trả lời bản gốc, bỏ qua chi tiết đã đổi | Khuôn quen lấn át đề bài |
| Việc nhiều bước | Lỗi tích luỹ, lạc hướng giữa chừng | Xác suất sai nhân lên qua từng bước |
Đọc bảng theo chiều ngang, bạn sẽ thấy một mẫu số chung: hầu hết giới hạn bắt nguồn từ việc mô hình tạo ra chữ có vẻ hợp lý dựa trên mẫu đã học, thay vì đối chiếu với thực tế. Đó cũng là lý do những giới hạn này giảm mạnh khi mô hình được nối với công cụ bên ngoài như tìm kiếm, máy tính, tài liệu.
Không chịu trách nhiệm và không tự kiểm được mình
AI không gánh hậu quả. Một bác sĩ, luật sư, kế toán đưa lời khuyên sai phải chịu trách nhiệm nghề nghiệp. Chatbot thì không. Điều khoản sử dụng của các dịch vụ thường ghi rõ người dùng tự chịu trách nhiệm về việc dùng kết quả. Phần trách nhiệm vì vậy luôn nằm lại ở người dùng hoặc tổ chức dùng AI.
AI không có cách kiểm độc lập. Khi bạn hỏi AI "câu này đúng không", nó dùng chính cơ chế đã tạo ra câu đó để đánh giá. Đây giống như nhờ một người tự chấm bài của mình mà không có đáp án. Kiểm tra thật đòi hỏi một nguồn bên ngoài.
AI không biết mục đích thật của bạn. Mô hình chỉ thấy chữ bạn gõ. Nó không biết bạn đang chuẩn bị cho cuộc họp quan trọng hay chỉ tò mò, không biết bối cảnh gia đình, công ty, địa phương của bạn trừ khi bạn nói. Câu trả lời đúng về chung chung có thể sai với hoàn cảnh riêng.
Giá trị và quan điểm đến từ quá trình huấn luyện. Với câu hỏi về đạo đức, xã hội, mô hình phản ánh dữ liệu và lựa chọn tinh chỉnh của nhà phát triển. Nó có thể trình bày nhiều quan điểm, nhưng cách cân đo giữa các quan điểm không trung lập tuyệt đối.
Giới hạn nào đang thu hẹp, giới hạn nào còn tranh luận
Một số giới hạn đã thu hẹp nhanh trong vài năm gần đây. Tính toán và đếm khá hơn hẳn khi mô hình được dùng công cụ tính và được huấn luyện suy luận từng bước. Chuyện mới được cải thiện nhờ tìm kiếm web. Cửa sổ ngữ cảnh lớn hơn nhiều, cho phép đọc tài liệu dài. Nếu bạn đã thử AI cách đây một hai năm và thấy kém ở những việc này, có thể nên thử lại.
Những giới hạn khác thì giới nghiên cứu còn tranh luận về tương lai. Có người cho rằng bịa thông tin sẽ giảm dần đến mức không đáng kể nhờ dữ liệu tốt hơn, phương pháp huấn luyện tốt hơn và công cụ kiểm chứng gắn kèm. Có người cho rằng chừng nào mô hình còn sinh chữ theo xác suất thì bịa vẫn là đặc tính cố hữu, chỉ giảm chứ không hết. Tương tự, việc mô hình có thật sự hiểu hay chỉ mô phỏng hiểu là câu hỏi chưa có câu trả lời chung. Bài này không dự báo thời điểm nào, vì những dự báo kiểu đó trong lĩnh vực AI thường sai theo cả hai hướng.
Với người dùng, điều quan trọng không phải là đoán tương lai mà là biết công cụ mình đang dùng hôm nay mạnh yếu ở đâu. Cách tốt nhất là tự thử với chính loại việc của mình, kiểm kết quả theo mức hậu quả, và nhớ rằng đường biên răng cưa sẽ còn dịch chuyển.
Câu hỏi thường gặp
Nếu AI có nhiều giới hạn như vậy, vì sao nhiều người vẫn thấy nó hữu ích?
Vì phần lớn việc hằng ngày nằm trong vùng AI làm tốt: soạn nháp, sắp xếp ý, giải thích khái niệm, dịch, tóm tắt văn bản có sẵn. Giới hạn chủ yếu lộ ra ở việc cần chi tiết chính xác, thông tin mới, hoặc nhiều bước. Biết giới hạn giúp dùng AI đúng chỗ, không phải bỏ AI.
Có phải các giới hạn này chỉ có ở chatbot miễn phí?
Không. Các bản trả phí, bản mới thường mạnh hơn và có thêm công cụ như tìm kiếm, chạy mã, giúp thu hẹp một số giới hạn. Nhưng cơ chế gốc vẫn như nhau, nên bịa thông tin, chiều theo người hỏi hay vấp ở câu đố đổi chi tiết vẫn có thể xảy ra với mọi bản.
AI có tự nhận ra giới hạn của mình không?
Một phần. Mô hình được huấn luyện để nhắc những giới hạn phổ biến như mốc kiến thức hay không thay chuyên gia. Nhưng nó không nhận ra chính xác lúc nào mình đang vượt giới hạn trong một câu trả lời cụ thể, nên lời tự nhận về giới hạn không thay được việc kiểm tra.
Có cách nào biết một việc nằm trong hay ngoài vùng AI làm tốt?
Cách đáng tin nhất là tự thử với những ví dụ mà bạn đã biết đáp án. Nếu AI làm đúng đều đặn với loại việc đó, bạn có cơ sở để tin hơn. Nếu sai ở những ví dụ đã biết, nó cũng sẽ sai ở ví dụ chưa biết. Đường biên dịch chuyển theo phiên bản nên thỉnh thoảng nên thử lại.
Giới hạn của AI có liên quan đến chuyện AI có hiểu thật hay không?
Có liên quan nhưng không trùng nhau. Một số giới hạn như câu đố đổi chi tiết được dùng làm lập luận cho quan điểm mô hình không hiểu thật. Phía bên kia cho rằng con người cũng mắc lỗi tương tự. Đây là tranh luận còn mở, được bàn riêng trong mục hỏi đáp của trang.