AI đa phương thức là AI xử lý được nhiều loại dữ liệu khác nhau, như chữ, ảnh, âm thanh và video, trong cùng một hệ thống, và hiểu được mối liên hệ giữa chúng. Bạn chụp ảnh một món ăn và hỏi bằng giọng nói "món này nấu thế nào", rồi nhận câu trả lời bằng chữ hoặc bằng lời: đó là một trải nghiệm đa phương thức. Chữ "phương thức" ở đây dịch từ modality, nghĩa là kênh thông tin.
Trước kia, mỗi kênh có một mô hình riêng: một mô hình nhận dạng ảnh, một mô hình đổi giọng nói thành chữ, một mô hình xử lý chữ. Xu hướng hiện nay là gom chúng lại thành mô hình học chung. Bài này giải thích máy "nhìn" một bức ảnh ra sao, điều gì thay đổi khi các kênh được học chung, những việc AI đa phương thức đã làm tốt, và những chỗ nó vẫn hay sai đến mức bạn cần biết trước.
Hai cách làm AI đa phương thức: ghép nối và học chung
Cách đơn giản nhất để có một trợ lý nghe và nói là ghép nhiều mô hình thành một dây chuyền. Giọng của bạn đi qua mô hình nhận dạng giọng nói để thành chữ, chữ được đưa cho mô hình ngôn ngữ trả lời, câu trả lời lại đi qua mô hình đọc thành tiếng. Mỗi khâu làm tốt việc của mình, và cách này đã chạy trong nhiều loa thông minh, tổng đài tự động từ trước khi chatbot phổ biến.
Điểm yếu của dây chuyền là mỗi khâu chỉ chuyển cho khâu sau phần nó hiểu được. Khi giọng nói thành chữ, ngữ điệu, tiếng thở dài, tiếng cười, sự ngập ngừng đều mất. Câu "ừ, được thôi" nói bằng giọng vui và nói bằng giọng chán chường thành ra cùng một dòng chữ. Dây chuyền cũng chậm, vì phải đi qua ba bước nối tiếp.
Cách thứ hai là huấn luyện một mô hình nhận trực tiếp nhiều loại đầu vào. Âm thanh, ảnh và chữ đều được đổi thành những mẩu dãy số, đặt chung trong một chuỗi để mô hình đọc cùng lúc. Nhờ vậy mô hình có thể để ý ngữ điệu, liên hệ một chi tiết trong ảnh với một từ trong câu hỏi, và phản hồi nhanh hơn. Nhiều mô hình lớn hiện nay đi theo hướng này, dù trong sản phẩm thực tế hai cách vẫn thường được trộn với nhau.
Với người dùng, khác biệt thể hiện ở những chỗ tinh tế: trợ lý có ngắt lời được không, có nhận ra bạn đang bực không, có hiểu câu "cái này" là chỉ vật nào trong ảnh không. Sản phẩm nào đang dùng cách nào thường không được ghi rõ, và thay đổi theo phiên bản.
Máy "nhìn" một bức ảnh như thế nào
Mô hình ngôn ngữ vốn chỉ làm việc với các mẩu chữ gọi là token. Để nó đọc được ảnh, ảnh phải được đổi sang một dạng tương tự. Ở mức nguyên lý, quá trình diễn ra như sau:
- Chia ảnh thành ô. Bức ảnh được cắt thành nhiều ô vuông nhỏ, giống chia một tấm ảnh thành lưới.
- Đổi mỗi ô thành dãy số. Một bộ phận mã hoá hình ảnh biến mỗi ô thành một dãy số mô tả màu, đường nét, kết cấu và cả những gì nó đã học được về ngữ cảnh xung quanh.
- Đặt các dãy số vào cùng chỗ với chữ. Những dãy số của ảnh được xếp cạnh token của câu hỏi, để mô hình đọc chúng như một đoạn văn dài gồm cả "chữ ảnh" lẫn chữ thật.
- Liên hệ ảnh với chữ. Khả năng nối "cái cốc màu đỏ" trong câu hỏi với đúng vùng ảnh có cái cốc đến từ việc huấn luyện trên rất nhiều cặp ảnh và lời mô tả. Một cột mốc của hướng này là phương pháp CLIP được công bố năm 2021, học cách đặt ảnh và câu chú thích của nó gần nhau.
- Sinh câu trả lời. Từ chuỗi hỗn hợp đó, mô hình đoán chữ trả lời như bình thường.
Hệ quả đáng nhớ: ảnh bị chia ô và thu nhỏ trước khi đọc. Chi tiết rất nhỏ, như chữ in trên nhãn thuốc hay số trên đồng hồ đo ở xa, có thể bị mất ngay từ bước đầu, và mô hình sẽ đoán phần còn thiếu.
Những việc AI đa phương thức đã làm khá tốt
Ở thời điểm hiện nay, các mô hình đa phương thức phổ biến làm được những việc sau với chất lượng đủ dùng trong đời thường, dù vẫn cần kiểm lại khi kết quả quan trọng:
- Mô tả ảnh. Cho biết trong ảnh có gì, bối cảnh ra sao, rất có ích cho người khiếm thị hoặc người cần mô tả nhanh hàng loạt ảnh.
- Đọc chữ trong ảnh. Chép lại nội dung tờ giấy chụp bằng điện thoại, hoá đơn, bảng thông báo in rõ. Chữ viết tay và tiếng Việt có dấu chụp mờ vẫn dễ sai.
- Giải thích hình vẽ, sơ đồ. Hỏi một sơ đồ nối dây, một bản vẽ đơn giản, một biểu đồ trong báo cáo đang nói gì.
- Trò chuyện bằng giọng nói. Hỏi đáp liên tục bằng lời, có thể ngắt ngang, với độ trễ thấp hơn trước.
- Hiểu video ngắn. Tóm tắt một đoạn video, trả lời câu hỏi về điều xảy ra trong đó. Video dài vẫn là thử thách vì số khung hình quá lớn.
- Kết hợp các kênh. Chụp màn hình một thông báo lỗi và hỏi bằng lời nên làm gì; chụp bài tập của con và hỏi cách giảng lại cho dễ hiểu.
Hãy nhớ đây là những gì mô hình nhận vào. Nhận được ảnh không có nghĩa là vẽ được ảnh; khả năng tạo ảnh, giọng nói và video được giải thích ở danh mục riêng về AI tạo ảnh, giọng nói, video của AI Hiểu.
Những chỗ AI đa phương thức vẫn hay sai
Đếm. Hỏi trong ảnh có bao nhiêu quả cam, bao nhiêu người, mô hình hay đếm sai khi số lượng vượt quá vài cái, nhất là khi vật chồng lên nhau.
Vị trí trái phải, trên dưới. Câu hỏi kiểu "cái cốc nằm bên trái hay bên phải cái đĩa" từng là điểm yếu rõ của nhiều mô hình. Cách ảnh bị chia ô và trộn thông tin làm quan hệ không gian dễ lẫn.
Chi tiết nhỏ và chữ nhỏ. Như đã nói ở trên, ảnh bị thu nhỏ trước khi đọc. Thông số trên nhãn, số seri, chữ trên hộp thuốc là những thứ không nên tin hoàn toàn vào AI đọc hộ.
Bịa chi tiết cho hợp ngữ cảnh. Thấy một căn bếp, mô hình có thể kể ra cái nồi cơm điện mà trong ảnh không hề có, vì bếp thường có nồi cơm. Đây là ảo giác ở dạng hình ảnh, cơ chế giống chuyện mô hình bịa chữ.
Âm thanh lẫn tạp âm và giọng địa phương. Nhận dạng tiếng Việt đã khá hơn nhiều, nhưng giọng địa phương đậm, nói nhanh, nói chen tiếng Anh, hay môi trường ồn như chợ, quán ăn vẫn làm tỷ lệ sai tăng lên.
Ảnh y tế, ảnh kỹ thuật chuyên sâu. Phim chụp, ảnh vết thương, ảnh mạch điện phức tạp đòi hỏi chuyên môn; mô hình phổ thông có thể mô tả trôi chảy nhưng sai. Với ảnh liên quan sức khoẻ, hãy hỏi bác sĩ, không dựa vào chatbot để chẩn đoán.
Phân biệt "nhận vào" và "tạo ra" khi đọc giới thiệu sản phẩm
Khi một sản phẩm quảng cáo là đa phương thức, hãy xem kỹ nó đa phương thức ở đầu vào, đầu ra hay cả hai. Bảng dưới là ví dụ giả định về các kiểu kết hợp hay gặp.
| Đầu vào | Đầu ra | Ví dụ giả định | Ghi chú |
|---|---|---|---|
| ảnh + chữ | chữ | chụp hoá đơn, hỏi tổng tiền là bao nhiêu | kiểu phổ biến nhất trong chatbot hiện nay |
| giọng nói | giọng nói | trò chuyện bằng lời khi đang lái xe | có thể là dây chuyền ghép hoặc mô hình học chung |
| chữ | ảnh | gõ mô tả, nhận về một bức tranh | là AI tạo ảnh, thường do mô hình riêng đảm nhận |
| video | chữ | tải đoạn video buổi họp, xin bản tóm tắt | video dài thường bị lấy mẫu thưa khung hình |
| ảnh + chữ | ảnh | đưa ảnh phòng khách, nhờ thử đổi màu tường | chỉnh ảnh theo lời, chất lượng còn chênh nhau nhiều |
Đọc theo bảng này, bạn sẽ thấy câu "trợ lý đa phương thức" có thể chỉ những khả năng rất khác nhau. Trước khi kỳ vọng, hãy kiểm phiên bản hiện hành của công cụ thật sự nhận gì và trả gì.
Ảnh và giọng nói mang nhiều thông tin cá nhân hơn bạn nghĩ
Khi gửi chữ cho chatbot, bạn thấy rõ mình đang gửi gì. Khi gửi một bức ảnh, bạn có thể gửi kèm nhiều thứ không để ý: tờ giấy khám bệnh trên bàn phía sau, biển số xe ngoài cửa sổ, khuôn mặt người thân đi ngang, màn hình máy tính có tên khách hàng. Ảnh chụp bằng điện thoại còn có thể mang thông tin vị trí và thời gian trong dữ liệu đi kèm tệp, tuỳ cài đặt máy và cách ứng dụng xử lý.
Giọng nói cũng vậy. Giọng là một đặc điểm sinh trắc, có thể dùng để nhận ra một người, và đoạn ghi âm còn lưu cả tiếng nói của người xung quanh. Vì AI đa phương thức đọc được rất nhiều chi tiết trong ảnh và âm thanh, cách nghĩ "chỉ là một bức ảnh thôi" không còn an toàn.
Ví dụ giả định: một nhân viên kế toán ở Đà Nẵng chụp màn hình bảng tính để hỏi chatbot vì sao công thức báo lỗi. Câu hỏi chỉ liên quan một ô, nhưng ảnh chụp chứa cả cột tên nhà cung cấp, số tài khoản và số tiền thanh toán trong tháng. Chỉ cần cắt ảnh sát vùng có lỗi, hoặc chép riêng công thức ra thành chữ, là câu hỏi vẫn đủ ý mà dữ liệu của công ty không đi ra ngoài.
Thói quen nên có rất đơn giản: trước khi gửi, nhìn lại toàn bộ khung ảnh và cắt bớt phần không cần; che giấy tờ, tên, số tài khoản, mặt trẻ em; không gửi ảnh có thông tin của người khác khi chưa được đồng ý; với ghi âm cuộc họp, báo cho mọi người biết. Cách các dịch vụ lưu và dùng ảnh, giọng nói khác nhau và thay đổi theo thời gian, nên hãy đọc phần cài đặt quyền riêng tư hiện hành. Chủ đề này được AI Bảo Mật bàn kỹ hơn.
Câu hỏi thường gặp
Đa phương thức và đa ngôn ngữ khác nhau thế nào?
Đa ngôn ngữ là hiểu nhiều thứ tiếng như tiếng Việt, tiếng Anh. Đa phương thức là hiểu nhiều loại dữ liệu như chữ, ảnh, âm thanh, video. Một mô hình có thể đa ngôn ngữ mà chỉ nhận chữ, hoặc đa phương thức mà tiếng Việt còn yếu.
Chatbot nhận ảnh có lưu ảnh của mình không?
Tuỳ dịch vụ và tuỳ cài đặt. Một số dịch vụ lưu lịch sử trò chuyện gồm cả ảnh, một số cho tắt lưu hoặc tắt dùng dữ liệu để huấn luyện. Chính sách thay đổi theo thời gian, vì vậy hãy đọc phần quyền riêng tư hiện hành và che thông tin nhạy cảm trước khi gửi.
AI đọc chữ trong ảnh có tốt hơn phần mềm nhận dạng chữ cũ không?
Ở nhiều trường hợp, mô hình đa phương thức hiểu bố cục và ngữ cảnh tốt hơn, nên chép bảng biểu, hoá đơn tự nhiên hơn. Nhưng nó cũng có thể "sửa" chữ theo ý đoán, thêm hoặc bớt nội dung, điều mà phần mềm nhận dạng chữ truyền thống ít khi làm. Với số liệu quan trọng, hãy so lại với ảnh gốc.
Vì sao trợ lý giọng nói đôi khi nghe nhầm tiếng Việt?
Tiếng Việt có thanh điệu, nhiều giọng vùng miền và nhiều từ đồng âm, trong khi lượng dữ liệu giọng nói tiếng Việt dùng để huấn luyện ít hơn tiếng Anh. Môi trường ồn, nói nhanh, chen tiếng nước ngoài càng làm sai nhiều hơn. Nói chậm, rõ và ở nơi yên tĩnh giúp cải thiện đáng kể.
AI đa phương thức có hiểu ảnh như con người không?
Không hẳn. Mô hình học mối liên hệ giữa các mảnh ảnh và lời mô tả từ rất nhiều ví dụ, nên mô tả ảnh rất trôi chảy. Nhưng nó vẫn sai ở những việc trẻ nhỏ làm được, như đếm vài vật hay phân biệt trái phải. Mức độ "hiểu" của nó vẫn là chủ đề được tranh luận.
Có nên dùng AI để mô tả ảnh cho người khiếm thị không?
Đây là một trong những ứng dụng có ích rõ nhất, giúp người khiếm thị biết khung cảnh, đọc thư từ, nhận ra đồ vật. Cần nhắc người dùng rằng mô tả có thể sai ở chi tiết nhỏ, nên với thuốc men, tiền bạc và giấy tờ quan trọng vẫn nên nhờ người kiểm lại.