Dữ liệu tổng hợp (synthetic data) là dữ liệu do máy tạo ra, thường là do một mô hình AI khác, rồi được dùng để huấn luyện mô hình AI. Thay vì chỉ học từ văn bản người viết, mô hình còn học từ bài tập, câu hỏi, lời giải, hội thoại mà máy soạn ra theo chủ đích. Cách làm này ngày càng phổ biến vì dữ liệu do người tạo có giới hạn, đắt, và đôi khi chứa thông tin riêng tư.
Nghe như con rắn tự cắn đuôi, và đúng là có rủi ro: nếu mô hình chỉ học từ sản phẩm của mô hình, chất lượng có thể trượt dần qua từng thế hệ. Nhưng dùng đúng cách, dữ liệu tổng hợp đã giúp các mô hình tiến bộ rõ ở toán và lập trình. Bài này giải thích vì sao các hãng cần nó, nó được tạo ra thế nào, điều kiện để dùng an toàn và những gì giới nghiên cứu còn đang lo.
Vì sao cần dữ liệu do máy tạo
Lý do thứ nhất là giới hạn của dữ liệu tự nhiên. Lượng văn bản chất lượng cao do con người viết, đặt công khai trên mạng, không vô tận. Một số nhóm nghiên cứu đã ước tính rằng với tốc độ mở rộng mô hình hiện nay, kho văn bản công khai chất lượng tốt có thể không đủ đáp ứng trong tương lai gần. Các ước tính này có độ bất định lớn, nhưng mối lo là có thật và được nhiều hãng nhắc tới.
Lý do thứ hai là những thứ hiếm trong dữ liệu tự nhiên. Muốn mô hình giỏi giải toán từng bước, cần rất nhiều lời giải chi tiết, nhưng trên mạng phần lớn bài toán chỉ có đáp số hoặc lời giải vắn tắt. Muốn mô hình xử lý tốt tình huống hiếm, như ca bệnh hiếm hay kiểu lỗi máy móc hiếm, thì ví dụ thật lại quá ít. Máy có thể tạo thêm ví dụ theo yêu cầu.
Lý do thứ ba là quyền riêng tư. Với dữ liệu nhạy cảm như hồ sơ bệnh nhân, giao dịch ngân hàng, người ta có thể tạo dữ liệu giả lập mang đặc điểm thống kê giống dữ liệu thật mà không chứa thông tin của người thật nào. Cách này giúp nghiên cứu và thử nghiệm, nhưng cần làm cẩn thận để dữ liệu giả không vô tình lộ chi tiết của dữ liệu gốc.
Dữ liệu tổng hợp được tạo ra theo những cách nào
Mỗi hãng có quy trình riêng và ít công bố chi tiết. Ở mức nguyên lý, các cách thường được mô tả trong tài liệu nghiên cứu gồm:
- Mô hình lớn soạn bài cho mô hình nhỏ. Một mô hình mạnh viết câu hỏi và câu trả lời mẫu, mô hình nhỏ học theo. Đây là gốc của kỹ thuật chưng cất, được giải thích ở danh mục thuật ngữ của trang.
- Viết lại dữ liệu thật. Lấy văn bản có sẵn và nhờ mô hình diễn đạt lại theo nhiều cách, đổi sang dạng hỏi đáp, hoặc tóm tắt, để tăng độ đa dạng.
- Tạo lời giải rồi kiểm bằng máy. Với toán và lập trình, mô hình viết nhiều lời giải; lời giải nào ra đúng đáp số hoặc chạy qua được bộ kiểm thử thì được giữ, còn lại bỏ đi.
- Mô hình tự phê bình và sửa. Mô hình viết câu trả lời, rồi tự soát theo một bộ nguyên tắc, sửa lại; bản đã sửa dùng làm dữ liệu học.
- Mô phỏng. Với xe tự lái, robot, người ta dựng môi trường giả lập để tạo hàng triệu tình huống mà ngoài đời hiếm khi gặp hoặc quá nguy hiểm để thử.
Trong các cách trên, cách thứ ba được đánh giá cao vì có bộ kiểm khách quan đứng giữa: dữ liệu sai bị loại trước khi vào kho học. Ở những lĩnh vực không có cách kiểm tự động, như viết văn hay tư vấn đời sống, dữ liệu tổng hợp rủi ro hơn hẳn vì lỗi khó bị phát hiện.
Sụp đổ mô hình: khi bản sao chụp từ bản sao
Hãy nghĩ tới việc photo một trang giấy, rồi lấy bản photo đó photo tiếp, lặp lại nhiều lần. Mỗi lần chép mất đi một chút chi tiết, vết bẩn được phóng to dần, và sau nhiều lần, chữ mờ tới mức không đọc được. Các nhà nghiên cứu lo một chuyện tương tự với AI: mô hình học từ dữ liệu do mô hình tạo, rồi tạo dữ liệu cho mô hình sau học, qua nhiều vòng thì chất lượng suy giảm.
Năm 2024, nhóm của Ilia Shumailov công bố trên tạp chí Nature một nghiên cứu cho thấy khi mô hình được huấn luyện lặp đi lặp lại trên dữ liệu do chính các thế hệ mô hình trước sinh ra, những trường hợp hiếm trong dữ liệu gốc bị mất dần, đầu ra ngày càng đơn điệu và cuối cùng có thể lệch hẳn khỏi thực tế. Hiện tượng này được gọi là sụp đổ mô hình (model collapse).
Cần đọc kết quả này cho đúng. Thí nghiệm mô tả tình huống dữ liệu do máy tạo thay thế dần dữ liệu thật. Các nghiên cứu khác cho thấy nếu vẫn giữ dữ liệu thật và chỉ bổ sung dữ liệu tổng hợp đã được chọn lọc, hiện tượng này có thể tránh được phần lớn. Nói cách khác, dữ liệu tổng hợp không xấu tự thân; xấu là khi nó đẩy dữ liệu thật ra ngoài và không ai kiểm chất lượng.
Internet đang đầy dần chữ do AI viết: điều đó có nghĩa gì
Dữ liệu web không còn thuần là chữ người viết. Từ khi chatbot phổ biến, một phần ngày càng lớn nội dung trên mạng do AI viết hoặc hỗ trợ viết: bài quảng cáo, bài tổng hợp, bình luận, mô tả sản phẩm. Các mô hình đời sau thu thập web sẽ đọc phải nội dung này, dù hãng có muốn hay không.
Khó lọc ra hoàn toàn. Các công cụ dò chữ do AI viết không đáng tin cậy, nhất là với văn bản đã được người sửa lại. Vì vậy các hãng không thể đơn giản loại hết chữ AI khỏi dữ liệu. Giới hạn của máy dò được bàn ở danh mục AI tạo ảnh, giọng nói, video của trang.
Dữ liệu cũ trở nên quý hơn. Nhiều người cho rằng văn bản được viết trước khi chatbot phổ biến, cùng các kho nội dung có nguồn gốc rõ ràng như sách đã xuất bản, báo chí có biên tập, sẽ ngày càng có giá trị. Đây là một lý do khiến các thoả thuận cấp phép dữ liệu giữa hãng AI và nhà xuất bản xuất hiện nhiều hơn.
Giọng văn có nguy cơ đồng phục. Nếu mô hình học nhiều từ chữ của mô hình, những nếp diễn đạt quen thuộc của chatbot có thể bị khuếch đại qua từng thế hệ. Đây là một phần lý do nhiều bài viết trên mạng nghe giống nhau, và là chuyện mà giới nghiên cứu còn đang đo đạc.
Dữ liệu tổng hợp: lợi ích và rủi ro đặt cạnh nhau
Bảng tổng kết dưới đây giúp bạn có cái nhìn cân bằng khi đọc tin về dữ liệu tổng hợp, tránh cả hai thái cực "lời giải cho mọi chuyện" và "AI sắp tự huỷ".
| Khía cạnh | Lợi ích khi dùng đúng | Rủi ro khi dùng sai |
|---|---|---|
| Số lượng | Bù vào chỗ dữ liệu thật thiếu | Phình to kho dữ liệu bằng nội dung na ná nhau |
| Chất lượng | Tạo lời giải chi tiết, đã được kiểm, cho toán và lập trình | Lỗi của mô hình gốc được sao chép và khuếch đại |
| Đa dạng | Tạo thêm ca hiếm, tình huống khó | Mất dần ca hiếm của thế giới thật, đầu ra đơn điệu |
| Riêng tư | Thử nghiệm mà không dùng hồ sơ người thật | Dữ liệu giả có thể vô tình lộ chi tiết của dữ liệu gốc |
| Chi phí | Rẻ hơn thuê người viết từng mẫu | Tiết kiệm sai chỗ nếu bỏ qua bước kiểm |
Điểm mấu chốt nằm ở cột giữa: hầu hết lợi ích chỉ đến khi có một cơ chế kiểm tra đáng tin, bằng máy hoặc bằng người. Khi đọc một thông báo rằng mô hình mới được huấn luyện nhiều bằng dữ liệu tổng hợp, câu hỏi nên đặt ra là dữ liệu đó được kiểm thế nào.
Những điều còn đang tranh luận
Giới nghiên cứu chưa thống nhất về việc dữ liệu tổng hợp có thể đưa mô hình đi xa tới đâu. Một phía cho rằng với các lĩnh vực có đáp án kiểm được, mô hình có thể tự tạo bài, tự kiểm và tự tiến bộ vượt mức dữ liệu người viết. Phía khác lưu ý rằng ở các lĩnh vực không có đáp án rõ, như hiểu biết về thế giới thực, văn hoá, giá trị, mô hình khó vượt khỏi những gì con người đã viết ra.
Một câu hỏi khác là liệu mô hình được dạy bằng dữ liệu tổng hợp có thừa hưởng điểm mù chung không. Nếu nhiều hãng cùng dùng dữ liệu do vài mô hình mạnh tạo ra, các mô hình có thể giống nhau hơn, kể cả ở những chỗ sai. Hiện chưa có đủ bằng chứng để kết luận, và đây là vấn đề đáng theo dõi.
Riêng với tiếng Việt, câu hỏi này có ý nghĩa thực tế. Một cách bù cho sự thiếu hụt dữ liệu tiếng Việt là dịch máy các kho dữ liệu tiếng Anh chất lượng cao sang tiếng Việt, hoặc nhờ mô hình mạnh soạn hội thoại mẫu bằng tiếng Việt. Cách này tăng số lượng nhanh, nhưng nếu không có người bản ngữ soát lại, nó có thể củng cố đúng những điểm yếu đã có: giọng văn dịch, xưng hô lệch vai, bối cảnh văn hoá phương Tây. Bài về dữ liệu tiếng Việt trong cùng danh mục bàn kỹ hơn các điểm yếu này.
Với người dùng phổ thông, bài học rút ra khá đơn giản: một câu trả lời trôi chảy không cho biết nó đến từ hiểu biết về thế giới thật hay từ một chuỗi máy học máy. Thói quen đối chiếu thông tin quan trọng với nguồn gốc do con người chịu trách nhiệm vẫn là cách phòng vệ tốt nhất.
Câu hỏi thường gặp
Dữ liệu tổng hợp có phải là dữ liệu giả không?
Theo nghĩa không do người thật tạo ra trong đời sống thì đúng. Nhưng "giả" ở đây không có nghĩa là sai hay lừa đảo; đó là dữ liệu được tạo có chủ đích để học. Chất lượng của nó phụ thuộc vào mô hình tạo ra và cách kiểm tra sau đó.
Sụp đổ mô hình có đang xảy ra với các chatbot hiện nay không?
Chưa có bằng chứng công khai cho thấy các chatbot lớn đang sụp đổ theo nghĩa của nghiên cứu. Các hãng biết rủi ro này và giữ dữ liệu thật trong kho học. Mối lo chủ yếu hướng về dài hạn, khi tỷ lệ nội dung do AI tạo trên mạng tiếp tục tăng.
Chưng cất và dữ liệu tổng hợp khác nhau thế nào?
Chưng cất là một cách dùng dữ liệu tổng hợp: mô hình lớn tạo câu trả lời để mô hình nhỏ học theo. Dữ liệu tổng hợp là khái niệm rộng hơn, gồm cả dữ liệu mô phỏng, dữ liệu viết lại, lời giải được kiểm bằng máy. Thuật ngữ chưng cất có bài riêng trong danh mục thuật ngữ.
Vì sao dữ liệu tổng hợp hợp với toán và lập trình hơn?
Vì hai lĩnh vực này có cách kiểm khách quan: đáp số đúng hay sai, chương trình chạy được hay không. Lời giải sai bị loại tự động trước khi đưa vào học. Với viết văn hay lời khuyên, không có bộ kiểm như vậy nên lỗi dễ lọt qua.
Bài mình nhờ AI viết rồi đăng lên mạng có ảnh hưởng gì tới AI sau này không?
Nếu bài được đăng công khai, nó có thể được thu thập vào dữ liệu của mô hình sau. Một bài riêng lẻ ảnh hưởng không đáng kể, nhưng hàng triệu bài như vậy cộng lại là lý do các nhà nghiên cứu lo về chất lượng dữ liệu web trong tương lai. Biên tập kỹ trước khi đăng có ích cho cả người đọc lẫn hệ sinh thái.