Dữ liệu huấn luyện là toàn bộ chữ, ảnh, âm thanh hay đoạn mã mà người ta cho một mô hình AI xem đi xem lại để nó rút ra quy luật. Với các chatbot trò chuyện bằng chữ, phần lớn dữ liệu là văn bản: trang web công khai, bách khoa toàn thư mở, sách, bài báo khoa học, mã nguồn, diễn đàn hỏi đáp, cộng thêm những đoạn hội thoại mẫu do con người viết để dạy mô hình cách trả lời.
Mô hình không lưu lại thư viện ấy như một ổ cứng chứa sách. Nó đọc, đoán, sai, rồi tự chỉnh hàng tỷ con số bên trong cho đoán đúng hơn. Khi huấn luyện xong, cái còn lại là những con số đó, không phải bản sao của từng trang. Hiểu điểm này giúp bạn lý giải được nhiều chuyện về AI: vì sao nó biết rộng mà hay nhớ sai chi tiết, vì sao nó không biết tin tuần trước, vì sao nó giỏi tiếng Anh hơn tiếng Việt.
Dữ liệu huấn luyện giống cái gì trong đời thường
Hình dung một người học việc ở tiệm may được giao đọc thật nhiều phiếu đo, xem thật nhiều bộ áo đã may xong, không ai giảng lý thuyết cắt may cho anh ta. Sau vài nghìn bộ, anh ta tự nhận ra vai rộng thường đi với ngực rộng, áo dài cần đo thêm eo và hạ eo. Không ai đọc cho anh chép một quy tắc nào, quy tắc tự hình thành từ việc nhìn quá nhiều ví dụ. Dữ liệu huấn luyện chính là chồng phiếu đo và tủ áo đó.
Điểm khác là quy mô. Một người học việc xem vài nghìn ví dụ trong nhiều năm; một mô hình ngôn ngữ lớn đọc lượng chữ mà một người đọc cả đời không hết, trong vài tuần hoặc vài tháng trên những cụm máy chuyên dụng. Các hãng hiện ít công bố con số chính xác, nên bạn sẽ gặp nhiều con số truyền miệng trên mạng; cách an toàn là chỉ ghi nhớ thứ bậc: lớn hơn rất nhiều lần toàn bộ sách một người có thể đọc.
Hình ảnh người học việc cũng cho thấy giới hạn. Nếu tủ áo toàn áo nam, anh ta sẽ lúng túng trước một bộ áo dài. Nếu phiếu đo bị ghi sai một cách có hệ thống, anh ta học luôn cái sai. AI cũng vậy: nó giỏi những gì dữ liệu có nhiều, yếu những gì dữ liệu thiếu, và thừa hưởng cả thói quen lẫn định kiến có trong dữ liệu. Chuyện định kiến được bàn kỹ hơn ở danh mục AI và xã hội của trang.
Các nguồn dữ liệu chính và mỗi nguồn dạy AI điều gì
Mỗi hãng pha trộn khác nhau và phần lớn không công bố chi tiết, nhưng các nhóm nguồn dưới đây xuất hiện trong hầu hết tài liệu kỹ thuật công khai về mô hình ngôn ngữ. Bảng này nêu nguyên lý, không phải công thức của một hãng nào.
| Nhóm nguồn | Ví dụ | Mô hình học được gì | Điểm yếu đi kèm |
|---|---|---|---|
| Trang web công khai | Bản thu thập web quy mô lớn như kho của tổ chức phi lợi nhuận Common Crawl, blog, trang tin, trang hướng dẫn | Ngôn ngữ đời thường, kiến thức rộng, nhiều chủ đề | Lẫn rác, quảng cáo, thông tin sai, nội dung trùng lặp |
| Bách khoa toàn thư mở | Wikipedia nhiều thứ tiếng | Sự kiện, định nghĩa, cách viết trung tính | Phủ không đều, tiếng Việt mỏng hơn tiếng Anh |
| Sách | Sách hết hạn bảo hộ, sách được cấp phép, và cả những kho sách đang bị kiện tụng | Mạch văn dài, lập luận, văn phong | Tranh cãi bản quyền lớn nhất nằm ở đây |
| Bài báo khoa học, tài liệu kỹ thuật | Kho tiền ấn phẩm mở, tài liệu hướng dẫn phần mềm | Thuật ngữ chuyên ngành, lối trình bày học thuật | Dễ học cả những kết luận đã bị bác bỏ sau đó |
| Mã nguồn | Kho mã công khai | Lập trình, và theo nhiều nhóm nghiên cứu là cả tư duy từng bước | Lẫn mã lỗi, mã cũ, khoá bí mật bị lộ |
| Hội thoại mẫu do người viết | Câu hỏi và câu trả lời mẫu, các phương án được người chấm xếp hạng | Cách trả lời như một trợ lý, cách từ chối | Mang dấu ấn quan điểm của người viết và người chấm |
Hai nhóm cuối của bảng thường bị bỏ quên khi người ta nói "AI học từ Internet". Thật ra phần dạy chatbot cư xử như một trợ lý lịch sự đến từ dữ liệu do con người soạn có chủ đích, khối lượng nhỏ hơn nhiều nhưng ảnh hưởng tới giọng điệu rất lớn. Bài về học từ phản hồi của con người trong cùng danh mục sẽ đi sâu phần này.
Từ trang web thô đến dữ liệu dùng được: những lớp lọc
Dữ liệu thu từ web không đưa thẳng vào mô hình. Theo các mô tả công khai của nhiều nhóm nghiên cứu, nó đi qua một dây chuyền lọc gồm các bước cơ bản sau, thứ tự và mức độ tuỳ từng nơi.
- Bóc phần chữ ra khỏi trang. Bỏ menu, chân trang, mã định dạng, quảng cáo; chỉ giữ phần nội dung chính.
- Nhận diện ngôn ngữ. Mỗi đoạn được gắn nhãn là tiếng gì để biết tỷ lệ các thứ tiếng trong kho, và để sau này điều chỉnh pha trộn.
- Lọc trùng. Cùng một bài bị sao chép sang hàng trăm trang. Nếu không lọc, mô hình xem đi xem lại một đoạn và dễ học thuộc nguyên văn nó.
- Lọc chất lượng. Loại trang toàn từ khoá nhồi nhét, trang sinh tự động, đoạn quá ngắn hoặc vô nghĩa. Nhiều nơi dùng chính một mô hình nhỏ để chấm điểm "giống văn bản tử tế" cho từng trang.
- Lọc nội dung độc hại và thông tin cá nhân. Bỏ bớt nội dung bạo lực, khiêu dâm, và cố gắng xoá số điện thoại, địa chỉ thư điện tử, số giấy tờ lộ trên web. Bước này không bao giờ sạch tuyệt đối.
- Pha trộn. Quyết định mỗi nguồn chiếm bao nhiêu phần, nguồn nào được xem nhiều lần hơn. Đây là quyết định của con người và là một trong những bí mật nghề nghiệp mà các hãng giữ kỹ nhất.
Mỗi lớp lọc là một lựa chọn có hậu quả. Lọc mạnh tay theo tiêu chí "giống văn bản chuẩn" có thể vô tình loại bớt cách viết của những cộng đồng ít xuất hiện trên mạng, kể cả tiếng địa phương. Vì vậy người ta nói dữ liệu huấn luyện không bao giờ là bức ảnh trung lập của Internet; nó là bức ảnh đã qua tay người biên tập.
Vì sao các hãng ngày càng ít công bố dữ liệu
Bài báo giới thiệu GPT-3 năm 2020 còn công bố tỷ lệ pha trộn các nguồn, gồm bản lọc của kho Common Crawl, sách, Wikipedia và một kho trang web được chọn lọc. Những năm sau, tài liệu kỹ thuật của nhiều mô hình lớn chỉ còn mô tả chung chung kiểu "dữ liệu công khai và dữ liệu được cấp phép". Có ba lý do thường được nêu.
Thứ nhất là cạnh tranh: cách chọn và pha dữ liệu ảnh hưởng mạnh đến chất lượng mô hình, nên được coi như công thức nấu ăn của một quán. Thứ hai là pháp lý: càng công bố chi tiết, càng dễ bị chủ sở hữu nội dung đối chiếu và khởi kiện. Thứ ba là an toàn: một số hãng lập luận rằng công bố quá chi tiết giúp kẻ xấu cài nội dung độc vào đúng nguồn mà mô hình sẽ đọc.
Phía ngược lại, giới nghiên cứu, nhà báo và nhiều cơ quan quản lý cho rằng không biết mô hình học gì thì không đánh giá được nó thiên lệch ra sao, có dùng trái phép tác phẩm của ai không. Đạo luật AI của Liên minh châu Âu đã đặt yêu cầu nhà cung cấp mô hình đa dụng công bố bản tóm tắt nội dung dùng để huấn luyện. Ở Việt Nam, khung pháp lý về AI đang được xây dựng; bạn nên kiểm văn bản hiện hành thay vì tin vào bài viết cũ.
Song song, có những mô hình được gọi là "mở" công bố đầy đủ dữ liệu và quy trình, chủ yếu từ các nhóm nghiên cứu. Cần phân biệt: mở trọng số không đồng nghĩa với mở dữ liệu. Nhiều mô hình cho tải trọng số về máy nhưng vẫn không nói đã học từ đâu.
Những hiểu lầm thường gặp về dữ liệu huấn luyện
"AI tra Internet mỗi lần trả lời." Mô hình trả lời từ những gì đã đọng lại trong tham số sau huấn luyện. Một số chatbot có thêm công cụ tìm kiếm web, nhưng đó là bước tra cứu riêng, gắn thêm từ bên ngoài, không phải bản chất của mô hình. Khi công cụ tìm kiếm tắt, mô hình chỉ còn trí nhớ từ dữ liệu cũ.
"AI đã đọc toàn bộ Internet." Không ai thu được toàn bộ Internet. Phần lớn nội dung nằm sau đăng nhập, trong ứng dụng nhắn tin, trong cơ sở dữ liệu riêng, và một phần lớn trang công khai bị lọc bỏ vì rác hoặc trùng. Cái mô hình đọc là một lát cắt đã chọn.
"Có trong dữ liệu thì AI nhớ chính xác." Một chi tiết xuất hiện một lần trong khối dữ liệu khổng lồ thường chỉ để lại dấu vết mờ. Mô hình nhớ tốt thứ lặp lại nhiều, nhớ mơ hồ thứ hiếm. Đây là một trong các gốc rễ của chuyện AI bịa tên riêng, số liệu, được giải thích ở danh mục Vì sao AI bịa.
"Dữ liệu càng nhiều càng tốt, không cần chọn." Nhiều nhóm nghiên cứu đã cho thấy dữ liệu được chọn lọc kỹ có thể giúp mô hình nhỏ hơn đạt kết quả tốt hơn mô hình lớn học từ dữ liệu bẩn. Số lượng quan trọng, nhưng chất lượng và độ đa dạng quan trọng không kém.
"Dữ liệu huấn luyện là dữ liệu của người dùng." Hai chuyện khác nhau. Dữ liệu tiền huấn luyện chủ yếu là nội dung công khai và được cấp phép. Việc cuộc trò chuyện của người dùng có được đưa vào lần huấn luyện sau hay không phụ thuộc chính sách từng hãng và cài đặt tài khoản; trang có bài riêng về chuyện này.
Biết dữ liệu huấn luyện thì dùng AI khác đi thế nào
Hiểu nguồn học của AI giúp bạn đoán trước nơi nó mạnh, nơi nó yếu mà không cần thuộc thông số kỹ thuật. Câu hỏi về kiến thức phổ biến, được viết đi viết lại trên mạng, như cách luộc trứng hay định nghĩa lạm phát, thường được trả lời ổn. Câu hỏi về một xã sau sáp nhập, một quy định mới ban hành, một người ít tên tuổi, một sản phẩm nội địa nhỏ, thì dữ liệu ít hoặc chưa có, nên khả năng sai cao hơn hẳn.
Nó cũng giúp bạn đọc tin về AI tỉnh táo hơn. Khi một hãng nói mô hình mới "hiểu văn hoá Việt Nam sâu sắc", câu hỏi hợp lý là: dữ liệu tiếng Việt lấy từ đâu, nhiều đến mức nào, có ai ngoài hãng kiểm được không. Không có câu trả lời thì nên coi đó là lời giới thiệu sản phẩm, chưa phải sự thật đã kiểm.
Cuối cùng là chuyện thông tin của chính bạn. Những gì bạn đăng công khai trên mạng có thể đã hoặc sẽ nằm trong một kho thu thập nào đó. Không cần hoảng sợ, nhưng nên tập thói quen coi mọi thứ đăng công khai là có thể bị máy đọc. Cách bảo vệ dữ liệu cá nhân khi dùng chatbot được trình bày chi tiết ở trang AI Bảo Mật.
Câu hỏi thường gặp
Dữ liệu huấn luyện có nằm nguyên trong mô hình không?
Không theo nghĩa một thư viện được cất vào ổ đĩa. Sau huấn luyện, mô hình chỉ còn các tham số, tức hàng tỷ con số đã được chỉnh. Tuy vậy, những đoạn lặp lại rất nhiều lần trong dữ liệu có thể được mô hình ghi nhớ gần như nguyên văn, đây là hiện tượng có thật và được nghiên cứu riêng.
Ai quyết định AI học từ nguồn nào?
Nhóm kỹ sư và nghiên cứu của hãng làm mô hình quyết định, dựa trên mục tiêu sản phẩm, chi phí, rủi ro pháp lý và các thử nghiệm so sánh. Người dùng thông thường không được hỏi ý kiến, đây chính là lý do nhiều nơi đòi hỏi minh bạch hơn về dữ liệu.
Ảnh và giọng nói có được huấn luyện giống chữ không?
Nguyên lý giống nhau: cho mô hình xem rất nhiều ví dụ để nó rút ra quy luật. Ảnh thường đi kèm dòng mô tả để mô hình học mối liên hệ giữa chữ và hình. Cách AI tạo ảnh và giọng nói được giải thích ở danh mục riêng của trang.
Một trang web có thể từ chối cho AI thu thập không?
Có cách hạn chế. Một số hãng công bố tên bộ thu thập của mình và tôn trọng chỉ dẫn trong tệp robots.txt của trang web. Nhưng cách này chỉ có tác dụng với bên chịu tuân thủ và với lần thu thập sau, không xoá được dữ liệu đã thu trước đó.
Vì sao hai chatbot cùng hỏi một câu lại biết khác nhau?
Vì mỗi hãng chọn nguồn, lọc và pha trộn dữ liệu khác nhau, mốc thời gian dữ liệu khác nhau, cách tinh chỉnh khác nhau. Cùng là đọc Internet nhưng mỗi mô hình đọc một lát cắt riêng, nên chỗ mạnh chỗ yếu cũng khác.
Dữ liệu huấn luyện có chứa thông tin sai không?
Có, và không tránh được hoàn toàn. Web có tin đồn, bài cũ đã lỗi thời, kết luận đã bị bác bỏ. Lọc chất lượng giảm bớt nhưng không loại hết, nên mô hình có thể lặp lại một ngộ nhận phổ biến với giọng rất chắc chắn.