Chưng cất mô hình (distillation) là cách huấn luyện một mô hình nhỏ bằng cách cho nó học theo câu trả lời của một mô hình lớn hơn, thay vì chỉ học từ dữ liệu gốc. Mô hình lớn đóng vai thầy, mô hình nhỏ đóng vai trò. Kết quả là một mô hình nhẹ hơn nhiều, chạy nhanh và rẻ hơn, nhưng giữ được phần đáng kể năng lực của thầy ở những việc đã được dạy.
Khi bạn thấy tên một mô hình có chữ "distill", hay đọc tin một hãng ra phiên bản nhỏ của mô hình lớn, rất có thể kỹ thuật này đứng phía sau. Chưng cất cũng là chủ đề của một số tranh cãi khá gay gắt giữa các công ty AI. Bài này giải thích ý tưởng gốc, cách áp dụng cho chatbot, học trò được gì mất gì, và những câu hỏi chưa có lời giải.
Ý tưởng gốc: học cả cái "gần đúng" của thầy
Kỹ thuật này được biết rộng rãi qua một bài báo năm 2015 của Geoffrey Hinton cùng hai đồng nghiệp ở Google, với tên gọi chưng cất tri thức. Chữ "chưng cất" là phép ẩn dụ: từ một mô hình to và nặng, rút ra phần tinh chất để đổ vào một bình nhỏ hơn.
Điểm tinh tế nằm ở thứ mà học trò học. Giả sử dạy một mô hình nhận dạng ảnh động vật. Dữ liệu gốc chỉ ghi một đáp án cho mỗi ảnh: ảnh này là chó. Nhưng mô hình thầy khi nhìn ảnh đó không chỉ nói "chó", mà cho ra một bảng mức độ: rất giống chó, hơi giống sói, rất ít giống mèo, gần như không giống ô tô. Bảng mức độ này được gọi là nhãn mềm, đối lập với nhãn cứng chỉ có một đáp án.
Nhãn mềm chứa thông tin mà nhãn cứng không có: chó với sói giống nhau hơn chó với ô tô. Học trò học theo nhãn mềm sẽ tiếp thu luôn cả hiểu biết về sự giống nhau giữa các loại, thứ mà thầy đã mất rất nhiều dữ liệu và tính toán mới có. Hinton từng gọi phần thông tin ẩn trong các xác suất nhỏ này là "tri thức tối". Nhờ vậy, học trò thường học nhanh hơn và tốt hơn so với khi tự học từ dữ liệu gốc với cùng kích thước.
Hình dung một người học nghề mộc. Học từ sách, bạn biết mộng này đúng, mộng kia sai. Đứng cạnh thợ cả, bạn còn thấy ông ngập ngừng ở chỗ nào, chỗ nào "tạm được nhưng chưa đẹp". Những sắc thái đó giúp bạn tiến bộ nhanh hơn nhiều so với chỉ biết đúng và sai.
Chưng cất với mô hình ngôn ngữ: học trò bắt chước câu trả lời
Với chatbot, chưng cất thường có hai dạng. Dạng thứ nhất gần với ý tưởng gốc: học trò được cho xem bảng xác suất mà thầy gán cho từng chữ tiếp theo, và cố gắng tạo ra bảng giống như vậy. Cách này đòi hỏi phải truy cập được vào bên trong mô hình thầy, nên thường chỉ chính chủ nhân mô hình làm được.
Dạng thứ hai đơn giản hơn: cho mô hình thầy trả lời một lượng rất lớn câu hỏi, rồi dùng chính các câu trả lời đó làm dữ liệu dạy học trò. Học trò không thấy xác suất bên trong, chỉ thấy văn bản thầy viết ra, và học cách viết giống vậy. Đây là một dạng dữ liệu tổng hợp, tức dữ liệu do máy sinh ra chứ không phải do người viết.
Dạng thứ hai còn được dùng để truyền kỹ năng suy luận. Mô hình thầy giải hàng loạt bài toán kèm chuỗi suy nghĩ từng bước; học trò học bắt chước cả chuỗi suy nghĩ lẫn đáp án. Một số nhóm nghiên cứu đã phát hành những mô hình nhỏ học theo cách này, và chúng giải bài toán tốt hơn hẳn so với mô hình cùng cỡ chưa qua chưng cất.
Cần nói rõ giới hạn: học trò chỉ học được những gì thầy thể hiện ra trong các câu hỏi được chọn. Nếu bộ câu hỏi chỉ xoay quanh toán và lập trình, học trò sẽ giỏi toán và lập trình, còn những mảng khác không được cải thiện, thậm chí có thể kém đi.
Chưng cất khác tinh chỉnh, lượng tử hoá và cắt tỉa ở đâu
Có nhiều cách để có một mô hình nhỏ hơn hoặc hợp việc hơn. Chúng hay bị nhắc chung với nhau, nhưng làm những việc khác nhau:
| Kỹ thuật | Làm gì | Kết quả | Ví dụ giả định |
|---|---|---|---|
| Chưng cất | huấn luyện mô hình nhỏ bắt chước mô hình lớn | mô hình mới, nhỏ hơn, giữ phần năng lực được dạy | mô hình 7B học theo câu trả lời của mô hình rất lớn |
| Tinh chỉnh | huấn luyện thêm một mô hình có sẵn trên dữ liệu riêng | cùng kích thước, hợp việc hơn | dạy mô hình quen văn phong hồ sơ của một phòng khám |
| Lượng tử hoá | lưu mỗi tham số bằng ít bit hơn | cùng mô hình, nhẹ hơn, có thể giảm chút chất lượng | bản 4 bit của một mô hình 16 bit |
| Cắt tỉa | bỏ bớt những phần ít đóng góp trong mô hình | mô hình gọn hơn, thường cần huấn luyện thêm để bù | bỏ bớt một số lớp hay một số kết nối |
Trong thực tế các kỹ thuật này hay được dùng nối nhau: chưng cất ra một mô hình nhỏ, tinh chỉnh cho việc cụ thể, rồi lượng tử hoá để chạy trên điện thoại. Khi đọc tin, nên xem kỹ mô hình "nhỏ hơn" là nhờ cách nào, vì mỗi cách đánh đổi một kiểu khác nhau.
Học trò được gì và mất gì
Được: nhanh và rẻ. Mô hình nhỏ hơn cần ít bộ nhớ, trả lời nhanh hơn và tốn ít điện hơn cho mỗi câu hỏi. Đây là lý do chính để chưng cất: đưa năng lực xuống điện thoại, xuống máy tính cá nhân, hoặc phục vụ rất nhiều người dùng với chi phí thấp.
Được: giữ phần lớn năng lực ở việc được dạy. Ở đúng loại việc có trong bộ dạy, học trò có thể đạt mức gần với thầy. Mức gần bao nhiêu phụ thuộc kích thước học trò, lượng dữ liệu và độ khó của việc, không có tỷ lệ chung.
Mất: kiến thức rộng và chi tiết hiếm. Bình nhỏ không chứa hết được bình lớn. Những sự kiện ít gặp, tên riêng, kiến thức chuyên sâu ngoài bộ dạy thường bị rơi rụng, nên học trò dễ bịa hơn ở những chỗ này.
Mất: độ bền khi gặp câu hỏi lạ. Học trò có thể bắt chước rất giống phong cách của thầy trong khi hiểu nông hơn. Gặp câu hỏi khác kiểu với bộ dạy, nó dễ lộ ra khoảng cách.
Thừa hưởng: lỗi và thiên lệch. Học trò học cả cái hay lẫn cái dở. Thầy hay bịa một loại chi tiết nào đó, có định kiến nào đó, thì học trò nhiều khả năng mang theo, và người dùng học trò khó biết điều đó nếu không được nói rõ.
Tranh cãi: học từ mô hình của người khác
Dạng chưng cất bằng câu trả lời có một hệ quả khó xử: bất kỳ ai gửi được câu hỏi tới một dịch vụ AI đều có thể thu thập câu trả lời để dạy mô hình của mình. Điều khoản sử dụng của nhiều dịch vụ AI lớn cấm dùng đầu ra để phát triển mô hình cạnh tranh. Đã có những cáo buộc công khai giữa các công ty rằng bên này dùng đầu ra của bên kia để huấn luyện; những cáo buộc như vậy khó chứng minh từ bên ngoài, và bạn nên đọc chúng như cáo buộc chứ không phải kết luận.
Tình huống này còn có một lớp mỉa mai mà giới bình luận hay nhắc: chính các mô hình lớn cũng được huấn luyện trên lượng lớn nội dung của người khác trên mạng, và việc đó cũng đang bị tranh cãi về bản quyền. Câu hỏi "học từ đầu ra của người khác tới đâu là chấp nhận được" vì thế chưa có câu trả lời thống nhất, cả về pháp lý lẫn đạo đức.
Một mối lo khác mang tính kỹ thuật. Khi ngày càng nhiều dữ liệu huấn luyện là văn bản do máy sinh ra, các nhà nghiên cứu lo về hiện tượng mô hình học vòng quanh từ chính sản phẩm của máy. Một nghiên cứu đăng trên tạp chí Nature năm 2024 mô tả việc huấn luyện lặp đi lặp lại trên dữ liệu do mô hình tạo ra có thể làm mô hình dần quên những trường hợp hiếm và trở nên đơn điệu. Chưng cất có chủ đích, có chọn lọc khác với việc vô tình trộn văn bản máy vào dữ liệu, nhưng cả hai đều nhắc rằng dữ liệu do người viết vẫn có giá trị riêng.
Gặp chữ chưng cất khi đọc tin, nên hiểu thế nào
Vài gợi ý để đọc tin về mô hình chưng cất cho đúng:
- "Nhỏ mà mạnh như mô hình lớn" cần được kiểm theo từng loại việc. Học trò thường mạnh ở đúng mảng được dạy, không phải ở mọi mảng.
- Tên có chữ "distill" thường cho biết thầy là ai. Nhiều mô hình ghi rõ học từ mô hình nào; biết thầy giúp bạn đoán học trò mạnh và yếu ở đâu.
- Điểm chuẩn của học trò có thể đẹp hơn thực tế. Nếu bộ dạy vô tình chứa câu hỏi giống bài kiểm tra, điểm sẽ cao mà năng lực thật không cao tương ứng.
- Mô hình nhỏ chạy trên máy bạn rất có thể là học trò của mô hình lớn hơn. Khi nó trả lời trôi chảy nhưng sai chi tiết, đó là chỗ bình nhỏ không chứa hết.
- Cáo buộc "chưng cất trái phép" giữa các hãng là chuyện pháp lý còn mở. Đọc như tranh chấp chưa có phán quyết, tránh kết luận theo phe.
Chưng cất là một trong những lý do khiến AI có thể chạy ngay trên điện thoại hay máy tính xách tay thay vì phải gửi mọi câu hỏi về trung tâm dữ liệu. Hiểu nó giúp bạn kỳ vọng đúng với những mô hình nhỏ đó: nhanh và tiện, nhưng có giới hạn.
Câu hỏi thường gặp
Chưng cất có làm mô hình thầy bị mất gì không?
Không. Mô hình thầy chỉ được dùng để tạo câu trả lời hoặc bảng xác suất, bản thân nó không thay đổi. Sau khi chưng cất, thầy và trò tồn tại song song như hai mô hình độc lập.
Mô hình trò có thể giỏi hơn thầy không?
Trong một số việc hẹp, học trò được tinh chỉnh thêm hoặc học từ nhiều thầy có thể làm tốt hơn một thầy cụ thể. Nhưng nhìn chung, học trò nhỏ hơn hiếm khi vượt thầy ở năng lực tổng thể, vì nó không có đủ chỗ chứa mọi thứ thầy biết.
Chưng cất và học thuộc câu trả lời khác nhau thế nào?
Mục tiêu của chưng cất là học trò bắt được cách thầy trả lời để áp dụng cho câu hỏi mới, không phải nhớ nguyên văn từng câu. Tuy vậy, nếu bộ dạy quá hẹp hoặc lặp lại nhiều, học trò có xu hướng thuộc lòng thay vì khái quát được.
Vì sao các hãng lớn cũng tự chưng cất mô hình của chính mình?
Vì phục vụ hàng triệu người dùng bằng mô hình lớn nhất rất tốn kém và chậm. Chưng cất ra các phiên bản nhỏ giúp hãng cung cấp lựa chọn nhanh, rẻ cho việc đơn giản, còn mô hình lớn để dành cho việc khó. Nhiều dòng sản phẩm có nhiều cỡ có thể đi theo cách này.
Mô hình chưng cất có an toàn bằng mô hình thầy không?
Không chắc. Học trò có thể thừa hưởng một phần cách từ chối yêu cầu nguy hại của thầy, nhưng cũng có thể không, tuỳ bộ dạy có những ví dụ đó hay không. Khâu kiểm tra an toàn cần làm lại riêng cho học trò, không mặc định giống thầy.
Người dùng thường có cần quan tâm mô hình mình dùng là bản chưng cất không?
Không bắt buộc, nhưng biết thì kỳ vọng đúng hơn. Bản chưng cất nhanh và tiện, hợp việc thường ngày; với câu hỏi cần kiến thức rộng, chi tiết hiếm hoặc lập luận khó, bạn nên kiểm kỹ hơn hoặc dùng mô hình lớn hơn.