Chatbot thường kém tiếng Việt hơn tiếng Anh chủ yếu vì lượng và chất của dữ liệu: văn bản tiếng Việt trên mạng ít hơn tiếng Anh rất nhiều, lẫn nhiều văn dịch máy và nội dung chép lại, trong khi những thứ đậm chất Việt như ca dao, cách xưng hô, kiến thức địa phương lại càng thưa. Mô hình giỏi thứ nó được đọc nhiều; tiếng Việt chỉ chiếm một phần nhỏ trong khẩu phần đó.
Điều này không có nghĩa chatbot dùng tiếng Việt vô ích. Ở các việc phổ thông như giải thích khái niệm, viết thư, tóm tắt, nhiều mô hình làm khá tốt. Nhưng nếu biết điểm yếu nằm ở đâu và vì sao, bạn sẽ biết lúc nào nên tin, lúc nào cần soát kỹ. Bài này đi qua lần lượt nguồn gốc của khoảng cách, các biểu hiện thường gặp và những điều giới nghiên cứu còn chưa rõ.
Tiếng Việt chiếm bao nhiêu trong dữ liệu AI
Không có con số chung, vì mỗi hãng pha trộn khác nhau và hầu hết không công bố. Điều chắc chắn là trong các kho thu thập web công khai được dùng rộng rãi, tiếng Anh chiếm phần lớn nhất với khoảng cách rất xa, còn tiếng Việt thuộc nhóm có mặt nhưng nhỏ. Bách khoa toàn thư mở tiếng Việt có nhiều bài, nhưng không ít bài là sơ khai, ngắn, được tạo hàng loạt từ dữ liệu có cấu trúc.
Sách tiếng Việt dạng số hoá chất lượng cao, tài liệu khoa học bằng tiếng Việt, kho văn bản pháp luật đầy đủ, báo chí lâu năm đều có, nhưng không phải lúc nào cũng mở cho máy thu thập, và nhiều kho nằm trong định dạng khó đọc như ảnh chụp, tệp quét. Kết quả là phần tiếng Việt mô hình đọc được nghiêng về những gì dễ thu: tin tức, diễn đàn, trang bán hàng, trang tổng hợp.
Giới nghiên cứu gọi những ngôn ngữ như vậy là ngôn ngữ ít tài nguyên hơn, so với nhóm ngôn ngữ giàu tài nguyên như tiếng Anh. Tiếng Việt có hàng chục triệu người nói, không phải ngôn ngữ hiếm, nhưng tỷ lệ trên mạng của nó không tương xứng với số người dùng. Đây là tình trạng chung của nhiều ngôn ngữ châu Á và châu Phi.
Không chỉ ít mà còn lẫn: các vấn đề về chất lượng
Văn dịch máy. Nhiều trang tiếng Việt là bản dịch máy từ tiếng Anh, có cấu trúc câu và cách dùng từ không tự nhiên. Mô hình đọc nhiều loại văn này sẽ học luôn giọng dịch, ví dụ lạm dụng bị động "được thực hiện bởi", hay dịch từng chữ các cụm cố định của tiếng Anh.
Nội dung chép lại hàng loạt. Một bài gốc bị sao chép, xào lại sang nhiều trang. Lọc trùng giúp bớt, nhưng phần tiếng Việt vốn đã ít, lọc mạnh thì càng ít, lọc nhẹ thì lặp nhiều. Người làm dữ liệu phải chọn giữa hai cái dở.
Văn bản không dấu và lối viết mạng. Bình luận, tin nhắn không dấu, viết tắt, lối viết của mạng xã hội chiếm phần đáng kể. Mô hình học được để đọc hiểu chúng, nhưng nếu bộ lọc chất lượng vốn được thiết kế với tiếng Anh làm chuẩn, nhiều văn bản tiếng Việt hợp lệ cũng có thể bị loại oan.
Lỗi mã hoá dấu. Tiếng Việt có nhiều cách mã hoá cùng một chữ có dấu. Văn bản cũ chuyển đổi không chuẩn tạo ra chữ lỗi. Nếu không được xử lý, các mảnh lỗi này đi vào dữ liệu và làm loãng thêm phần vốn đã mỏng.
Biểu hiện thường gặp khi chatbot dùng tiếng Việt và nguyên nhân
Mỗi biểu hiện dưới đây có thể quan sát được ở nhiều chatbot, mức độ khác nhau tuỳ mô hình và phiên bản. Cột nguyên nhân là giải thích hợp lý nhất theo những gì đã biết về dữ liệu, không phải kết luận đã được hãng xác nhận.
| Biểu hiện | Ví dụ giả định | Nguyên nhân có khả năng nhất |
|---|---|---|
| Xưng hô lệch vai | Gọi người lớn tuổi là "bạn", dùng "chúng ta" khi chỉ một người nói | Tiếng Anh chỉ có "you", văn dịch không giữ thứ bậc xưng hô của tiếng Việt |
| Sai thành ngữ, tục ngữ | Ghép nửa câu thành ngữ này với nửa câu khác, giải nghĩa sai | Thành ngữ xuất hiện ít, mô hình nhớ mờ nên ghép theo âm |
| Nhầm địa danh, tên riêng | Đặt một món đặc sản sai vùng, nhầm tên xã | Kiến thức địa phương thưa, cộng thêm thay đổi địa giới gần đây |
| Giọng văn dịch | Câu dài, nhiều bị động, từ Hán Việt đặt sai chỗ | Học từ lượng lớn văn dịch máy |
| Kém thơ, vần, thanh điệu | Làm thơ lục bát sai luật bằng trắc | Mô hình xử lý chữ theo mảnh, không "nghe" thanh điệu |
| Thiếu bối cảnh văn hoá | Gợi ý quà Tết, cách ứng xử theo kiểu phương Tây | Dữ liệu về văn hoá đời thường của người Việt ít hơn nhiều |
Hàng thơ lục bát cho thấy một giới hạn thú vị. Luật bằng trắc phụ thuộc thanh điệu, mà mô hình chỉ thấy chữ viết chia thành các mảnh, không có tai. Nó phải suy ra luật từ rất ít ví dụ, nên dễ sai. Cách mô hình chia chữ thành mảnh được giải thích ở danh mục mô hình ngôn ngữ hoạt động thế nào.
Mô hình có "nghĩ bằng tiếng Anh" rồi dịch không
Đây là câu hỏi nhiều người đặt ra khi thấy câu trả lời tiếng Việt có giọng dịch. Câu trả lời ngắn: không đơn giản như vậy, và giới nghiên cứu còn đang tìm hiểu. Mô hình không có bước dịch rõ ràng nào: nó không đổi câu hỏi sang tiếng Anh, trả lời bằng tiếng Anh rồi dịch lại.
Tuy vậy, một số nghiên cứu soi vào bên trong các mô hình đa ngôn ngữ đã gợi ý rằng ở các lớp giữa, cách mô hình biểu diễn khái niệm có thể gần với tiếng Anh hơn, có lẽ vì tiếng Anh chiếm phần lớn dữ liệu. Các nghiên cứu khác lại thấy mô hình có những vùng biểu diễn dùng chung cho nhiều ngôn ngữ. Kết luận hiện nay là mức độ "lệch về tiếng Anh" khác nhau giữa các mô hình và vẫn đang được tranh luận.
Điều chắc chắn hơn là kiến thức được chia sẻ qua ngôn ngữ ở mức nào đó: mô hình đọc một sự kiện bằng tiếng Anh vẫn có thể kể lại bằng tiếng Việt. Nhờ vậy chatbot biết nhiều thứ dù chưa từng đọc về nó bằng tiếng Việt. Mặt trái là khi kể lại, nó có thể mang theo khung văn hoá và cách diễn đạt của nguồn tiếng Anh.
Khoảng cách lớn nhỏ tuỳ loại việc
Chênh lệch giữa tiếng Việt và tiếng Anh không đều trên mọi việc. Bảng dưới là nhận định định tính dựa trên cơ chế dữ liệu đã nói ở trên, để bạn hình dung chứ không phải kết quả đo của một nghiên cứu cụ thể nào.
| Loại việc | Mức chênh thường thấy | Lý do |
|---|---|---|
| Giải thích khái niệm phổ thông, khoa học cơ bản | Nhỏ | Kiến thức chia sẻ được qua ngôn ngữ; mô hình học bằng tiếng Anh vẫn kể lại được bằng tiếng Việt |
| Tóm tắt, sắp xếp lại văn bản bạn đưa vào | Nhỏ đến vừa | Mô hình làm việc trên văn bản có sẵn, ít phải dựa vào trí nhớ; vẫn có thể lẫn giọng dịch |
| Viết thư từ, văn bản đời thường | Vừa | Ngữ pháp ổn nhưng xưng hô, lối nói lịch sự kiểu Việt hay lệch |
| Kiến thức về Việt Nam: luật, địa phương, lịch sử chi tiết | Lớn | Dữ liệu thưa, nguồn tiếng Việt chất lượng cao ít được thu, cộng thêm thay đổi gần đây |
| Văn chương: thơ có luật, chơi chữ, câu đối | Lớn | Phụ thuộc thanh điệu và vốn văn hoá mà dữ liệu rất mỏng |
Nhìn bảng sẽ thấy quy luật: việc nào dựa vào văn bản bạn cung cấp hoặc kiến thức phổ quát thì khoảng cách nhỏ; việc nào dựa vào trí nhớ đặc thù Việt Nam thì khoảng cách lớn. Đó là gợi ý tốt để quyết định lúc nào nên tin chatbot nhiều hơn, lúc nào nên đưa sẵn tài liệu gốc cho nó đọc thay vì để nó tự nhớ.
Những nỗ lực bù đắp và giới hạn của chúng
Các hãng lớn đã tăng tỷ lệ dữ liệu đa ngôn ngữ trong các phiên bản mới, và chất lượng tiếng Việt của chatbot nhìn chung tiến bộ rõ qua từng thế hệ. Một số cách thường được nói đến: cho mô hình xem dữ liệu tiếng Việt nhiều lần hơn tỷ lệ tự nhiên, thuê người bản ngữ viết mẫu và chấm câu trả lời, dịch dữ liệu chất lượng cao sang tiếng Việt rồi soát lại.
Tại Việt Nam, đã có các trường, viện và doanh nghiệp xây dựng kho dữ liệu và mô hình chuyên cho tiếng Việt. Thông tin về những dự án này thay đổi nhanh, bạn nên tìm hiểu từ nguồn công bố chính thức của từng đơn vị thay vì dựa vào các bảng so sánh lan truyền trên mạng.
Giới hạn nằm ở chỗ dữ liệu tốt không tự sinh ra. Muốn mô hình hiểu ca dao, tiếng địa phương, văn bản hành chính, cần những kho văn bản đó được số hoá, cấp phép và làm sạch. Đó là việc của thư viện, nhà xuất bản, cơ quan lưu trữ, không chỉ của hãng công nghệ, và còn vướng các câu hỏi về bản quyền được bàn ở danh mục AI và xã hội.
Dùng chatbot bằng tiếng Việt: hiểu điểm yếu để soát đúng chỗ
Bài này không hướng dẫn thao tác, nhưng từ cơ chế ở trên có thể rút ra những vùng nên soát kỹ khi đọc một câu trả lời tiếng Việt:
- Thành ngữ, tục ngữ, câu thơ được trích: đối chiếu với nguồn in hoặc từ điển, vì đây là chỗ mô hình hay ghép sai nhất.
- Xưng hô trong thư từ, lời mời, tin nhắn chăm sóc khách: chỉnh lại theo đúng quan hệ thật giữa người gửi và người nhận.
- Địa danh, tên đơn vị hành chính, đặc sản vùng miền: kiểm theo danh sách 34 tỉnh, thành hiện hành.
- Thuật ngữ chuyên ngành dịch từ tiếng Anh: so với thuật ngữ đang dùng trong văn bản chính thức của ngành ở Việt Nam.
- Văn bản sẽ đăng công khai: đọc to một lượt để bắt giọng dịch, câu dài, bị động thừa.
Nếu cần đưa văn bản nội bộ vào chatbot để sửa câu chữ, hãy che tên người, số điện thoại, thông tin khách hàng trước khi dán; trang AI Bảo Mật có bài riêng về chuyện này. Những bài chuyên về học và dùng ngoại ngữ với AI nằm ở trang AI Ngôn Ngữ.
Câu hỏi thường gặp
Hỏi chatbot bằng tiếng Anh có được câu trả lời tốt hơn không?
Với một số chủ đề kỹ thuật hoặc quốc tế, câu trả lời tiếng Anh có thể chi tiết hơn vì mô hình đọc nhiều tài liệu tiếng Anh về chủ đề đó. Nhưng với chủ đề Việt Nam như luật, địa phương, văn hoá, hỏi bằng tiếng Việt thường phù hợp hơn. Khoảng cách này thay đổi theo từng mô hình.
Vì sao chatbot viết tiếng Việt đúng ngữ pháp nhưng vẫn nghe không tự nhiên?
Vì đúng ngữ pháp chỉ là tầng đầu. Sự tự nhiên nằm ở cách chọn từ, nhịp câu, xưng hô, mà những thứ này học từ văn bản người Việt viết tự nhiên. Phần lớn dữ liệu là văn dịch và văn mạng, nên giọng chung của mô hình lệch khỏi cách người Việt thực sự viết.
Mô hình có hiểu tiếng địa phương không?
Ở mức nhận ra các từ phổ biến của ba miền thì nhiều mô hình làm được, nhờ có trong diễn đàn và mạng xã hội. Với từ địa phương hiếm, cách nói của từng vùng nhỏ, hiểu biết của mô hình rất mỏng và dễ đoán sai nghĩa. Nên kiểm với người bản địa.
Dữ liệu tiếng Việt có bị lọc mất nhiều hơn tiếng Anh không?
Có khả năng, vì nhiều bộ lọc chất lượng được xây với tiếng Anh làm chuẩn, nên có thể đánh giá thấp văn bản tiếng Việt hợp lệ. Các nhóm làm dữ liệu đa ngôn ngữ đã nhận ra vấn đề và điều chỉnh, nhưng mức độ ảnh hưởng cụ thể thường không được công bố.
Có nên tự đóng góp dữ liệu tiếng Việt cho AI không?
Đó là lựa chọn cá nhân. Văn bản bạn đăng công khai có thể đã được thu thập mà bạn không biết. Nếu muốn đóng góp có chủ đích, hãy chọn các dự án công khai rõ mục đích, giấy phép sử dụng và cách bảo vệ thông tin cá nhân của người đóng góp.