Các mô hình tạo video từ chữ hiện nay phần lớn mở rộng ý tưởng của AI tạo ảnh: thay vì gỡ nhiễu trên một khung hình, chúng gỡ nhiễu trên cả một khối gồm nhiều khung hình liên tiếp cùng lúc, để chuyển động giữa các khung ăn khớp với nhau. Khó khăn lớn nhất không nằm ở việc làm từng khung đẹp mà ở việc giữ cho người, vật, ánh sáng nhất quán suốt cả đoạn, và cho chuyển động trông hợp lẽ tự nhiên.
Vì đòi hỏi sức tính và bộ nhớ rất lớn, video AI thường ngắn, vài giây đến vài chục giây mỗi lần tạo, và hay lộ những lỗi đặc trưng như bàn tay đổi số ngón, cốc nước tự đầy, người đi xuyên qua bàn. Bài này giải thích vì sao, và tóm lược cuộc tranh luận đang diễn ra: những mô hình này có thật sự "hiểu" thế giới vật lý hay chỉ bắt chước bề ngoài của nó.
Vì sao không thể tạo từng ảnh rồi ghép lại thành video
Một đoạn video là chuỗi ảnh tĩnh chiếu nhanh, thường hai mươi bốn đến ba mươi khung mỗi giây. Ý tưởng tự nhiên nhất là tạo từng khung bằng mô hình ảnh rồi nối lại. Nhưng nếu làm vậy, mỗi khung được gỡ nhiễu từ một khởi điểm ngẫu nhiên riêng, nên áo nhân vật khung này màu xanh, khung sau hơi tím, tóc lúc dài lúc ngắn, nền nhà nhảy chỗ liên tục. Kết quả giống một cuốn sách lật mà mỗi trang do một hoạ sĩ khác vẽ.
Thứ làm nên video không phải từng khung đẹp mà là mối liên hệ giữa các khung: chiếc xe ở khung sau phải nằm xa hơn một chút theo hướng nó đang chạy, bóng người phải đổi theo khi người đó quay lưng, chiếc lá rơi phải rơi xuống chứ không bay lên. Mô hình cần học những quy luật thay đổi theo thời gian, không chỉ quy luật trong một ảnh.
Vì thế các nhóm phát triển chuyển sang tạo cả đoạn cùng lúc. Mô hình nhìn toàn bộ khối khung hình như một vật thể ba chiều: hai chiều là ngang và dọc của ảnh, chiều thứ ba là thời gian. Khi gỡ nhiễu, nó điều chỉnh mọi khung một lượt, nên một thay đổi ở khung đầu sẽ "kéo theo" các khung sau. Đây là chìa khoá cho sự nhất quán, và cũng là lý do video AI tốn kém hơn ảnh rất nhiều lần.
Gỡ nhiễu trên một khối không gian và thời gian
Để dễ hình dung, hãy tưởng tượng chồng toàn bộ khung hình của một đoạn phim lên nhau thành một khối giống ổ bánh mì sandwich, mỗi lát là một khung. Mô hình chia ổ bánh đó thành những khối nhỏ, mỗi khối gồm một vùng ảnh nhỏ kéo dài qua vài khung liên tiếp. Rồi nó xử lý các khối nhỏ này giống như mô hình ngôn ngữ xử lý các mẩu chữ: mỗi khối "nhìn" sang các khối khác, cả khối bên cạnh lẫn khối ở thời điểm trước và sau, để quyết định mình nên trông thế nào.
Cách nhìn này cho phép mô hình học những mối liên hệ xa: chiếc mũ xuất hiện ở giây đầu phải còn trên đầu nhân vật ở giây thứ năm. Nhưng số mối liên hệ cần tính tăng rất nhanh khi video dài hơn hoặc nét hơn. Gấp đôi độ dài không chỉ gấp đôi công việc mà có thể nhiều hơn thế, vì mỗi khối phải "nhìn" sang nhiều khối hơn. Cũng như với ảnh, nhiều hệ thống làm việc trên bản nén thu nhỏ rồi mới giải nén thành video đầy đủ để tiết kiệm.
Phần câu chữ điều khiển vẫn giống AI tạo ảnh: câu mô tả được biến thành dãy số ý nghĩa và đưa vào mỗi lượt gỡ nhiễu. Khác biệt là câu mô tả video còn phải nói về chuyển động và máy quay: "máy quay lia chậm từ trái sang phải", "người đàn ông bước về phía cầu". Dữ liệu huấn luyện vì thế cần những video có chú thích tả chuyển động, thứ khan hiếm hơn ảnh có chú thích nhiều. Các nhóm thường dùng mô hình khác để viết lại chú thích tự động cho kho video.
Vì sao mỗi lần tạo thường chỉ được vài giây
Sức tính tăng vọt theo độ dài. Như đã nói, mỗi phần của video phải liên hệ với các phần khác. Một đoạn mười giây có thể cần sức tính gấp nhiều lần đoạn năm giây. Các dịch vụ giới hạn độ dài để giữ thời gian chờ và chi phí vận hành ở mức chấp nhận được.
Bộ nhớ có hạn. Toàn bộ khối khung hình đang xử lý phải nằm trong bộ nhớ của chip tính toán cùng lúc. Video càng dài, càng nét thì càng dễ vượt giới hạn phần cứng.
Càng dài càng dễ trôi. Nhiều công cụ cho phép "kéo dài" video bằng cách lấy những giây cuối làm điểm xuất phát cho đoạn tiếp theo. Mỗi lần nối, sai lệch nhỏ cộng dồn: gương mặt nhân vật thay đổi dần, phòng ốc biến chất. Sau vài lần nối, nhân vật cuối có thể không còn giống nhân vật đầu.
Độ phân giải và số khung hình bị đánh đổi. Với cùng một lượng sức tính, nhà phát triển phải chọn giữa video dài hơn, nét hơn hay mượt hơn. Nhiều dịch vụ tạo bản thô ở độ phân giải thấp rồi dùng một mô hình khác phóng to và chèn thêm khung hình ở giữa. Bước này giúp video trông mượt, nhưng chi tiết được chèn thêm cũng là chi tiết đoán.
Dữ liệu huấn luyện là những đoạn ngắn. Để huấn luyện được, video thường bị cắt thành những đoạn ngắn. Mô hình vì thế quen với cảnh ngắn, một hành động; những câu chuyện nhiều cảnh, nhiều hành động nối nhau vượt ra ngoài thứ nó được luyện.
Những lỗi đặc trưng của video AI và cơ chế đằng sau
Nếu ảnh AI có lỗi tay và chữ, video AI có thêm một họ lỗi riêng liên quan tới thời gian và vật lý. Biết cơ chế giúp bạn nhìn ra chúng nhanh hơn, dù các bản mới đang giảm dần những lỗi này.
| Lỗi bạn thấy | Vì sao xảy ra |
|---|---|
| Vật xuất hiện rồi biến mất, người phía sau "tan" vào nền | Mô hình không theo dõi từng vật như một thực thể; vật bị che một lúc là dễ bị "quên" |
| Ngón tay, răng, khuy áo đổi số lượng khi cử động | Lỗi đếm của ảnh cộng thêm việc phải giữ đúng qua nhiều khung |
| Chất lỏng chảy ngược, bánh xe quay lạ, đi mà chân trượt trên nền | Mô hình học bề ngoài của chuyển động từ video, không tính lực và va chạm |
| Hai vật chạm nhau thì nhập làm một | Ranh giới giữa vật thể không được giữ chặt khi chúng chồng lên nhau |
| Chuyển động quá mượt, như trôi, thiếu rung tay máy | Dữ liệu và cách gỡ nhiễu nghiêng về chuyển động "trung bình", êm |
| Chữ trên áo, biển hiệu đổi nội dung theo từng khung | Chữ vốn đã khó với ảnh, nay phải giữ ổn định theo thời gian |
Những lỗi này là dấu hiệu gợi ý chứ không phải bằng chứng. Video thật nén kém cũng có vật nhoè, và video AI được chọn lọc kỹ có thể không lộ lỗi nào trong vài giây ngắn. Với video gây tranh cãi, kiểm nguồn đăng và bối cảnh vẫn quan trọng hơn soi khung hình.
Mô hình video có "hiểu" vật lý không: chỗ còn tranh luận
Khi những đoạn video tạo sinh đầu tiên có sóng biển, khói bay, phản chiếu trên mặt nước trông rất thật, một số người làm trong ngành gọi chúng là bước đầu của "mô hình thế giới", tức một hệ thống đã học được cách thế giới vận hành chỉ bằng việc xem thật nhiều video. Lập luận là: muốn đoán đúng khung tiếp theo của một quả bóng lăn, mô hình phải ngầm nắm được điều gì đó về quán tính và trọng lực.
Phía hoài nghi chỉ ra rằng những lỗi trong bảng trên, như vật xuyên qua nhau, chất lỏng chảy ngược, cho thấy mô hình bắt chước được bề ngoài của chuyển động thường gặp nhưng chưa nắm quy luật đứng sau. Một người học được rằng cốc rơi thì vỡ sẽ không bao giờ vẽ cốc rơi rồi tự liền lại. Những thử nghiệm đặt mô hình vào tình huống lạ, ít có trong dữ liệu, thường làm lộ điểm yếu này.
Hiện chưa có đồng thuận. Điều nói được một cách chắc chắn là các mô hình đã học được nhiều quy luật thống kê phong phú về cách cảnh vật thay đổi, đủ để tạo ra những đoạn ngắn thuyết phục, và chúng vẫn sai theo những cách mà con người hầu như không bao giờ sai. Khi đọc tin "AI đã hiểu thế giới", bạn nên coi đó là một quan điểm trong cuộc tranh luận, không phải kết luận khoa học. Danh mục Đọc tin về AI của trang có bàn thêm cách đọc những tuyên bố kiểu này.
Các kiểu tạo video bạn hay nghe và khác nhau ở đâu
Chữ "video AI" đang dùng cho nhiều việc rất khác nhau. Phân biệt được giúp bạn hiểu một clip cụ thể đã qua bàn tay máy tới mức nào:
- Từ chữ ra video: toàn bộ cảnh do mô hình tạo ra theo câu mô tả, không có cảnh quay thật nào.
- Từ ảnh ra video: lấy một ảnh tĩnh làm khung đầu rồi cho nó chuyển động, ví dụ làm ảnh phong cảnh có mây trôi. Mô hình phải đoán phần bị che sau vật thể khi máy quay di chuyển.
- Sửa video có sẵn: đổi phong cách, thay nền, xoá vật thể trong cảnh quay thật. Phần lớn khung hình vẫn là thật.
- Nhép miệng và thay giọng: giữ video người thật nhưng sửa vùng miệng cho khớp lời nói mới. Đây là kỹ thuật dùng trong lồng tiếng phim và cũng là nền của nhiều video giả mạo người nổi tiếng.
- Nhân vật số: tạo người dẫn chương trình ảo nói theo kịch bản. Chủ đề nhân vật số và video giả mặt được trang AI Hiện Thân trình bày riêng.
Với ba kiểu cuối, phần lớn khung hình vẫn đến từ cảnh quay thật, nên dấu hiệu "toàn cảnh lạ lạ" không còn; chỗ cần nhìn là vùng bị sửa như miệng, viền tóc, chỗ giáp giữa người và nền. Dùng hình ảnh, giọng nói của người khác để làm video luôn cần sự đồng ý của họ.
Câu hỏi thường gặp
Video AI có kèm âm thanh không?
Ngày càng nhiều mô hình tạo cả âm thanh đi kèm như tiếng bước chân, tiếng mưa, lời thoại, bằng một bộ phận được huấn luyện để khớp âm với hình. Ở nhiều công cụ khác, âm thanh vẫn phải tạo riêng rồi ghép. Khả năng này thay đổi nhanh theo từng phiên bản, bạn nên kiểm thông tin hiện hành của công cụ cụ thể.
Vì sao tạo một đoạn video vài giây mà phải chờ lâu?
Mô hình phải gỡ nhiễu nhiều lượt trên toàn bộ khối khung hình, và mỗi phần của khối phải liên hệ với các phần khác để giữ nhất quán. Khối lượng tính toán vì thế lớn hơn ảnh tĩnh rất nhiều lần. Hàng chờ trên máy chủ khi nhiều người dùng cùng lúc cũng làm thời gian kéo dài.
AI có tạo được phim dài hoàn chỉnh không?
Hiện các mô hình tạo từng đoạn ngắn tốt hơn nhiều so với một câu chuyện dài. Người làm phim có dùng AI thường tạo từng cảnh riêng rồi chọn, sửa, dựng lại bằng tay, kèm nhiều công đoạn truyền thống. Giữ nhân vật, bối cảnh và mạch truyện nhất quán qua hàng chục phút vẫn là việc cần con người điều phối.
Video do AI tạo có bị gắn nhãn không?
Một số dịch vụ nhúng thuỷ vân ẩn hoặc thông tin nguồn gốc nội dung vào tệp, và một số mạng xã hội yêu cầu người đăng tự gắn nhãn. Nhưng không phải công cụ nào cũng làm, và thông tin nhúng có thể mất khi video bị quay lại màn hình hay nén nhiều lần. Thiếu nhãn không có nghĩa video là thật.
Mô hình video học từ những video nào?
Các hãng thường chỉ công bố ở mức chung, như video được cấp phép, video công khai trên mạng và dữ liệu tự tạo. Việc dùng video công khai để huấn luyện đang gây tranh cãi về bản quyền ở nhiều nước. Danh mục AI học từ đâu của trang bàn kỹ nguyên lý thu thập dữ liệu và những tranh cãi xung quanh.
Có nên tin video ngắn trên mạng xã hội là thật không?
Nên giữ thói quen thận trọng với video gây sốc, nhất là video đòi tiền, kêu gọi hành động gấp hay bôi nhọ ai đó. Xem ai đăng đầu tiên, có nguồn tin uy tín nào đưa cùng sự việc không, có bản gốc dài hơn không. Soi lỗi khung hình chỉ là một phần, và video AI tốt có thể không để lộ lỗi nào.