Tiền huấn luyện (pre-training) là chặng đầu tiên và tốn kém nhất trong việc tạo ra một mô hình ngôn ngữ: mô hình đọc một khối văn bản khổng lồ, liên tục đoán chữ tiếp theo, so với chữ thật, rồi tự chỉnh các tham số bên trong để lần sau đoán gần đúng hơn. Lặp lại việc ấy với lượng chữ cực lớn, mô hình dần nắm ngữ pháp, kiến thức phổ thông, cách lập luận thường gặp.
Chữ "tiền" nghĩa là trước: đây là phần học nền tảng, chưa nhắm vào việc cụ thể nào, trước khi mô hình được dạy cách làm trợ lý. Bài này giải thích cơ chế học đó bằng ví dụ đời thường, không dùng công thức. Phần mô hình dùng xác suất để chọn chữ khi trả lời bạn thuộc danh mục Mô hình ngôn ngữ hoạt động thế nào; ở đây chỉ bàn chuyện nó học ra sao.
Bài tập điền vào chỗ trống, nhân lên hàng tỷ lần
Ai từng học ngoại ngữ đều quen dạng bài điền từ: "Mỗi sáng bà ngoại ra chợ mua ___". Bạn đoán "rau", "cá" hay "thịt" mà không cần ai dạy luật, vì đã nghe câu tương tự nhiều lần. Tiền huấn luyện dùng đúng dạng bài này. Mô hình được xem một đoạn văn, che chữ kế tiếp, đoán, rồi mở ra xem đáp án. Mỗi lần đoán sai, nó điều chỉnh một chút những con số bên trong theo hướng giảm sai.
Điều thú vị là không cần ai ngồi soạn đáp án. Chính văn bản đã có sẵn đáp án: chữ tiếp theo trong câu. Vì vậy cách học này được gọi là tự giám sát. Đó là lý do người ta có thể dùng lượng chữ khổng lồ, điều không thể làm nếu mỗi ví dụ cần người gán nhãn bằng tay.
Muốn đoán đúng chữ tiếp theo một cách nhất quán qua mọi thể loại văn bản, mô hình buộc phải nắm được nhiều thứ hơn ngữ pháp. Để đoán đúng chữ sau "Thủ đô của Nhật Bản là", nó phải đọng lại kiến thức địa lý. Để đoán đúng kết luận của một đoạn lập luận, nó phải nắm phần nào mạch suy luận. Các nhà nghiên cứu vẫn tranh luận mô hình "hiểu" đến đâu, nhưng thống nhất rằng nhiệm vụ đoán chữ đơn giản này đủ khiến mô hình rút ra những quy luật rất phong phú.
Tham số là gì và "tự chỉnh" nghĩa là sao
Tham số giống các núm vặn. Hãy tưởng tượng một bàn trộn âm thanh có hàng tỷ núm vặn nhỏ. Mỗi chữ đưa vào đi qua bàn trộn, các núm vặn quyết định tín hiệu nào mạnh lên, tín hiệu nào yếu đi, cuối cùng ra một dự đoán. Tham số của mô hình chính là vị trí của các núm vặn đó.
Ban đầu các núm vặn để ngẫu nhiên. Lúc mới bắt đầu, mô hình đoán chữ chẳng khác gì bốc thăm. Sau mỗi lần đoán, một quy trình toán học tính ra nên vặn mỗi núm theo chiều nào, bao nhiêu, để lần sau dự đoán gần chữ thật hơn. Phần toán đứng sau việc này được trang AI Toán Học trình bày cho ai muốn đi sâu.
Mỗi lần chỉnh rất nhỏ. Không có lần nào mô hình "hiểu ra" một điều lớn. Kiến thức hình thành từ vô số chỉnh sửa li ti cộng dồn. Vì vậy không thể chỉ vào một tham số và nói đây là nơi lưu tên thủ đô Nhật Bản; kiến thức được trải ra trên rất nhiều tham số cùng lúc.
Học xong thì các núm vặn đứng yên. Khi tiền huấn luyện kết thúc, tham số được cố định. Lúc bạn trò chuyện, mô hình dùng bộ tham số đó để trả lời chứ không vặn lại núm nào. Đó là lý do mô hình không tự học thêm từ một cuộc trò chuyện, chuyện được giải thích kỹ trong một bài khác của danh mục.
Tiền huấn luyện khác cách con người học ở đâu
So sánh với cách người học giúp tránh hai thái cực: nghĩ AI học giống hệt người, hoặc nghĩ nó chỉ là cái máy chép. Bảng dưới đặt hai bên cạnh nhau ở những điểm cơ bản.
| Khía cạnh | Mô hình khi tiền huấn luyện | Một người học đọc |
|---|---|---|
| Lượng chữ | Nhiều hơn rất nhiều lần cả đời đọc của một người | Hạn chế, nhưng mỗi trang được hiểu trong bối cảnh sống |
| Cách học | Đoán chữ kế tiếp, sai thì chỉnh | Đọc, hỏi, làm thử, được người khác sửa, trải nghiệm bằng giác quan |
| Liên hệ với thế giới thật | Chỉ qua chữ (và ảnh, âm thanh nếu là mô hình đa phương thức) | Qua cơ thể, cảm xúc, hành động và hậu quả |
| Khi nào ngừng học | Ngừng khi kết thúc chặng huấn luyện | Học liên tục suốt đời |
| Nhớ chi tiết hiếm | Mơ hồ, dễ trộn lẫn | Có thể nhớ rõ nếu chi tiết đó quan trọng với mình |
| Hiệu quả trên mỗi ví dụ | Thấp, cần rất nhiều ví dụ | Cao, đôi khi một lần là nhớ |
Hàng cuối là điểm khác biệt thú vị nhất. Một đứa trẻ thấy con mèo vài lần là nhận ra mèo; mô hình cần nhiều ví dụ hơn hẳn. Điều này khiến nhiều nhà nghiên cứu cho rằng cách học hiện nay còn xa cách học của con người, dù kết quả cuối cùng có lúc gây ấn tượng mạnh.
Vì sao tiền huấn luyện tốn kém đến vậy
Mỗi lần đoán và chỉnh đòi hỏi một lượng phép tính rất lớn, nhân với số chữ trong dữ liệu, nhân với số tham số. Để làm xong trong thời gian chấp nhận được, các hãng dùng hàng nghìn bộ xử lý đồ hoạ chuyên dụng chạy song song suốt nhiều tuần hoặc nhiều tháng, trong các trung tâm dữ liệu tiêu thụ nhiều điện. Con số cụ thể của từng mô hình phần lớn không được công bố, và các con số lan truyền trên mạng thường là ước tính của bên ngoài.
Chi phí lớn dẫn tới một hệ quả ít người để ý: tiền huấn luyện không làm lại thường xuyên. Một mô hình nền có thể được dùng làm gốc cho nhiều phiên bản trợ lý trong một thời gian dài, mỗi phiên bản chỉ được tinh chỉnh thêm. Đây là một lý do khiến kiến thức của chatbot dừng ở một mốc thời gian, được giải thích trong bài về mốc kiến thức.
Chi phí cũng giải thích vì sao chỉ một số ít tổ chức đủ sức tự tiền huấn luyện mô hình lớn nhất, trong khi rất nhiều công ty khác xây sản phẩm trên mô hình có sẵn. Câu chuyện năng lượng và nước của các trung tâm dữ liệu được bàn ở danh mục AI và xã hội.
Mô hình nền: kết quả của tiền huấn luyện trông như thế nào
Sản phẩm của chặng này gọi là mô hình nền (base model). Nó biết rất nhiều nhưng chưa phải trợ lý. Nếu được trò chuyện thẳng với một mô hình nền, bạn sẽ thấy vài nét lạ:
- Hỏi một câu, nó có thể viết tiếp thêm năm câu hỏi tương tự, vì trên mạng các câu hỏi hay đi thành danh sách.
- Bảo nó viết thư xin nghỉ phép, nó có thể viết tiếp như một bài đăng diễn đàn có người hỏi cách xin nghỉ phép, kèm cả bình luận giả.
- Nó không có ý niệm từ chối: nội dung nào giống văn bản trên mạng thì nó đều có xu hướng viết tiếp.
- Giọng văn thay đổi theo đoạn mở đầu bạn đưa: mở bằng văn bản hành chính thì nó viết tiếp kiểu hành chính, mở bằng tin nhắn thì nó viết như tin nhắn.
- Nó không biết mình là ai, vì trong dữ liệu không có "bản thân" nào cả, chỉ có văn bản của vô số người.
Muốn biến mô hình nền thành một trợ lý biết trả lời đúng câu hỏi, có giọng nhất quán, biết từ chối việc nguy hiểm, cần thêm những chặng huấn luyện sau, được trình bày trong bài về mô hình nền và mô hình trợ lý, và bài về học từ phản hồi của con người.
Ý tưởng tiền huấn luyện đến từ đâu: vài mốc đáng nhớ
Học trước trên dữ liệu chung rồi mới dạy việc cụ thể không phải ý tưởng mới xuất hiện cùng chatbot. Vài mốc dưới đây giúp bạn đặt các tin tức về AI vào đúng dòng thời gian:
- Năm 2013: nhóm nghiên cứu của Google công bố word2vec, cách học cho mỗi từ một dãy số dựa trên các từ hay đứng cạnh nó. Đây là bước đầu cho thấy chỉ cần đọc nhiều văn bản là máy rút ra được quan hệ nghĩa giữa các từ.
- Năm 2017: bài báo "Attention Is All You Need" giới thiệu kiến trúc transformer, cho phép xử lý song song lượng văn bản lớn hiệu quả hơn hẳn các kiến trúc trước. Gần như mọi mô hình ngôn ngữ lớn hiện nay dựa trên kiến trúc này.
- Năm 2018: OpenAI công bố mô hình GPT đầu tiên, học bằng cách đoán chữ tiếp theo rồi tinh chỉnh cho từng việc. Cùng năm, Google công bố BERT, học bằng cách đoán chữ bị che ở giữa câu. Hai lối đoán chữ này là hai nhánh lớn của tiền huấn luyện.
- Những năm sau đó: các nhóm nghiên cứu nhận thấy cứ tăng dữ liệu, tham số và sức tính thì khả năng mô hình tăng khá đều đặn, dẫn tới cuộc đua làm mô hình ngày càng lớn mà bạn thấy ngày nay.
Chữ "đoán chữ bị che" trong tiêu đề bài vì vậy đúng theo cả hai nghĩa: che chữ ở giữa như BERT, hoặc che toàn bộ phần phía sau như dòng GPT. Các chatbot trò chuyện phổ biến hiện nay thuộc nhánh thứ hai.
Những điều tiền huấn luyện không làm được
Tiền huấn luyện dạy mô hình bắt chước văn bản, không dạy nó phân biệt đúng sai. Nếu một ngộ nhận xuất hiện nhiều hơn sự thật trên mạng, mô hình nền có xu hướng lặp lại ngộ nhận. Các chặng sau và các lớp lọc dữ liệu giảm bớt chuyện này nhưng không xoá được gốc rễ.
Nó cũng không cho mô hình một kho sự kiện được đánh chỉ mục như cơ sở dữ liệu. Bạn không thể yêu cầu mô hình "mở trang 52 của cuốn sách X", vì không có trang nào được cất riêng. Những gì nó đưa ra là sự tái dựng dựa trên quy luật đã học, nên đôi khi khớp gần như nguyên văn, đôi khi lệch xa.
Cuối cùng, tiền huấn luyện không bao gồm những gì xảy ra sau khi dữ liệu được chốt. Mọi sự kiện mới, giá cả mới, quy định mới đều nằm ngoài tầm với, trừ khi chatbot được nối thêm công cụ tìm kiếm. Nhớ ba giới hạn này, bạn sẽ ít ngạc nhiên hơn khi AI tự tin nói sai.
Câu hỏi thường gặp
Tiền huấn luyện và huấn luyện khác nhau thế nào?
Huấn luyện là từ chung chỉ mọi quá trình chỉnh tham số của mô hình. Tiền huấn luyện là chặng đầu, học nền trên khối dữ liệu lớn và chưa nhắm việc cụ thể. Sau đó còn các chặng tinh chỉnh, học từ phản hồi, thường dùng ít dữ liệu hơn nhiều nhưng nhắm đúng hành vi mong muốn.
Vì sao gọi là tự giám sát?
Vì đáp án nằm sẵn trong dữ liệu: chữ tiếp theo của văn bản gốc. Không cần người gán nhãn từng ví dụ như cách dạy máy phân loại ảnh truyền thống. Nhờ đó người ta có thể dùng lượng văn bản cực lớn mà chi phí nhân công không tăng theo.
Mô hình càng nhiều tham số thì càng thông minh phải không?
Thường thì mô hình lớn hơn, được học trên nhiều dữ liệu tốt hơn, làm được nhiều việc hơn. Nhưng chất lượng dữ liệu, cách huấn luyện và các chặng tinh chỉnh ảnh hưởng rất lớn, nên có mô hình nhỏ làm tốt hơn mô hình lớn ở một số việc. Số tham số không phải thước đo duy nhất.
Mô hình có biết nó đã đọc những gì không?
Không theo cách bạn nhớ cuốn sách đã đọc. Mô hình không có danh mục nguồn bên trong, nên khi được hỏi đã học từ đâu, câu trả lời của nó chỉ là phỏng đoán dựa trên văn bản mô tả về AI mà nó từng đọc, không phải bản kê thật.
Có thể tiền huấn luyện một mô hình nhỏ trên máy tính cá nhân không?
Với mô hình rất nhỏ cho mục đích học tập thì có, nhiều khoá học làm việc này. Còn mô hình đủ sức làm chatbot đa năng thì cần hạ tầng vượt xa một máy cá nhân. Người dùng thông thường chủ yếu tải mô hình đã huấn luyện sẵn về dùng hoặc tinh chỉnh thêm.
Tiền huấn luyện có dùng tiếng Việt không?
Phần lớn mô hình đa ngôn ngữ có đọc tiếng Việt, nhưng tỷ lệ thấp hơn nhiều so với tiếng Anh vì nội dung tiếng Việt trên mạng ít hơn. Bài về dữ liệu tiếng Việt trong cùng danh mục giải thích hệ quả của sự chênh lệch này.