Tham số của một mô hình AI là những con số bên trong mô hình mà quá trình huấn luyện tự điều chỉnh để mô hình đưa ra kết quả đúng hơn. Khi bạn đọc thấy một mô hình "7B" hay "70B", chữ B là viết tắt của billion, tức tỷ: mô hình 7B có khoảng 7 tỷ con số như vậy, mô hình 70B có khoảng 70 tỷ. Toàn bộ những gì mô hình "biết" và "biết làm" đều nằm trong cách các con số này được sắp đặt.
Con số tham số nói khá chính xác hai chuyện: mô hình cần bao nhiêu bộ nhớ để chạy, và mỗi lần trả lời tốn bao nhiêu phép tính. Nó chỉ nói một cách lỏng lẻo chuyện mô hình giỏi tới đâu. Bài này giải thích tham số bằng ví dụ đời thường, cách đọc các ký hiệu B, M, T, cách ước lượng bộ nhớ, và vì sao hai mô hình cùng kích thước có thể chênh nhau rất xa.
Tham số là gì: hình dung bằng một dàn núm vặn
Hãy hình dung một chiếc máy trộn âm thanh trong phòng thu, có rất nhiều núm vặn. Mỗi núm chỉnh một chút âm lượng, độ trầm, độ vang của một kênh. Người kỹ thuật âm thanh vặn qua vặn lại cho tới khi bản nhạc nghe đúng ý. Một mô hình AI giống chiếc máy đó, nhưng có hàng tỷ núm vặn, và không có người nào vặn tay: quá trình huấn luyện tự vặn chúng.
Cách vặn như sau, ở mức nguyên lý. Mô hình nhận một đoạn chữ, đoán chữ tiếp theo, rồi so với chữ thật trong dữ liệu. Đoán sai nhiều thì máy tính sẽ tính xem nên nhích núm nào, nhích theo chiều nào để lần sau sai ít hơn một chút. Lặp lại việc này trên một lượng chữ khổng lồ, các núm dần dần nằm ở vị trí giúp mô hình đoán tốt. Vị trí cuối cùng của tất cả các núm, ghi lại thành một dãy số rất dài, chính là bộ tham số.
Trong tài liệu kỹ thuật bạn còn gặp chữ trọng số (weights). Trong cách nói thông thường, trọng số và tham số gần như dùng thay cho nhau; nói chặt hơn thì tham số gồm cả trọng số và một vài loại con số phụ khác, nhưng người không chuyên không cần phân biệt. Khi một hãng "công bố trọng số", nghĩa là họ cho tải về chính dãy số đó.
Điểm quan trọng: không có núm nào mang nhãn "núm biết thủ đô nước Pháp" hay "núm biết ngữ pháp tiếng Việt". Mỗi khả năng của mô hình là kết quả của hàng triệu núm cùng phối hợp, và mỗi núm tham gia vào rất nhiều khả năng khác nhau. Vì thế các nhà nghiên cứu vẫn đang phải xây cả một ngành nhỏ, gọi là diễn giải mô hình, chỉ để tìm hiểu bên trong dãy số ấy đang diễn ra chuyện gì.
Đọc các ký hiệu B, M, T và những con số đi kèm tên mô hình
Tên mô hình thường kèm một con số và một chữ cái. Bảng dưới giúp bạn đọc nhanh; các ví dụ đều là ví dụ giả định, không chỉ một sản phẩm cụ thể nào.
| Ký hiệu | Nghĩa | Quy mô tương ứng | Ví dụ giả định |
|---|---|---|---|
| M (million) | triệu tham số | mô hình rất nhỏ, thường làm một việc hẹp như phân loại thư hay nhận dạng giọng nói trên máy | một mô hình 300M chạy trong ứng dụng bàn phím |
| B (billion) | tỷ tham số | phần lớn mô hình ngôn ngữ hiện nay nằm trong khoảng vài tỷ tới vài trăm tỷ | mô hình 8B chạy được trên máy tính cá nhân mạnh |
| T (trillion) | nghìn tỷ tham số | chỉ những mô hình lớn nhất mới được đồn hoặc công bố ở mức này | tin đồn "mô hình 1T" thường chưa được xác nhận |
| 8x7B, A3B… | cách ghi của mô hình chia nhóm chuyên gia | tổng tham số khác số tham số thật sự chạy cho mỗi chữ | mô hình 30B nhưng mỗi lượt chỉ dùng khoảng 3B |
Hai điều cần nhớ khi đọc bảng. Thứ nhất, con số trong tên thường đã được làm tròn: "7B" có thể là 6,7 tỷ hay 7,2 tỷ. Thứ hai, nhiều mô hình thương mại lớn không công bố số tham số; những con số bạn thấy trên mạng xã hội về các mô hình này phần lớn là phỏng đoán, nên chỉ coi là tin đồn cho tới khi chính hãng xác nhận.
Tham số không phải là kho lưu từng câu đã đọc
Một hiểu lầm hay gặp là coi tham số như ổ cứng, nơi mô hình chép lại các trang web đã đọc. Phép tính đơn giản đã cho thấy không phải vậy: lượng chữ dùng để huấn luyện một mô hình hiện đại lớn hơn rất nhiều lần so với dung lượng bộ tham số của nó. Mô hình không thể chứa nguyên văn tất cả; nó buộc phải nén, giữ lại các quy luật lặp đi lặp lại: chữ nào hay đi với chữ nào, câu hỏi kiểu này thường được trả lời theo kiểu nào, sự kiện nào được nhắc đi nhắc lại nhiều lần.
Sự nén này giải thích hai hiện tượng bạn hay gặp. Một là mô hình nhớ rất chắc những điều phổ biến, như thủ đô các nước hay các định luật vật lý cơ bản, vì chúng xuất hiện hàng nghìn lần trong dữ liệu. Hai là mô hình nhớ lờ mờ hoặc nhớ sai những điều hiếm, như tên một xã nhỏ, ngày sinh của một người ít được viết về. Thông tin hiếm bị nén mất nét, và khi được hỏi, mô hình có thể "điền vào chỗ trống" một cách tự tin, đó là một trong những gốc rễ của chuyện AI bịa.
Dù vậy, mô hình vẫn có lúc thuộc lòng nguyên văn một đoạn nào đó, thường là đoạn bị lặp lại rất nhiều lần trong dữ liệu, như lời một bài hát nổi tiếng hay một giấy phép phần mềm phổ biến. Đây là lý do chuyện bản quyền dữ liệu huấn luyện còn tranh cãi: phần lớn là quy luật đã nén, nhưng không phải lúc nào cũng chỉ là quy luật.
Hệ quả thực tế cho người dùng: mô hình nhiều tham số hơn thường nhớ được nhiều chi tiết hơn, nhưng không mô hình nào nên được coi là nguồn tra cứu sự kiện đáng tin tuyệt đối. Với chi tiết quan trọng, bạn vẫn cần đối chiếu với nguồn gốc.
Từ số tham số ước lượng bộ nhớ cần để chạy mô hình
Muốn biết một mô hình có chạy nổi trên máy của mình không, bạn có thể tự ước lượng thô theo các bước sau. Đây là phép tính làm tròn để hiểu nguyên lý, con số thật còn phụ thuộc phần mềm và cấu hình, nên hãy kiểm hướng dẫn hiện hành của công cụ bạn dùng.
- Lấy số tham số. Ví dụ giả định: mô hình 7B, tức khoảng 7 tỷ con số.
- Xác định mỗi con số chiếm bao nhiêu chỗ. Ở dạng phổ biến khi phát hành, mỗi tham số thường được lưu bằng 16 bit, tức 2 byte. Nếu đã được nén xuống 4 bit (gọi là lượng tử hoá), mỗi tham số chỉ còn khoảng nửa byte.
- Nhân hai số với nhau. 7 tỷ nhân 2 byte là khoảng 14 GB; ở dạng 4 bit thì khoảng 3,5 GB.
- Cộng thêm phần dư. Khi chạy, mô hình còn cần bộ nhớ để giữ cuộc hội thoại đang diễn ra và các phép tính trung gian. Đoạn hội thoại càng dài, phần này càng lớn. Cộng thêm vài GB là cách ước lượng an toàn.
- So với bộ nhớ của máy. Nếu mô hình chạy bằng card đồ hoạ, con số cần so là bộ nhớ của card; nếu chạy bằng chip có bộ nhớ dùng chung, so với bộ nhớ hệ thống còn trống.
Theo cách tính này, một mô hình 70B ở dạng 16 bit cần khoảng 140 GB chỉ để chứa tham số, vượt xa một máy tính cá nhân thông thường. Đó là lý do mô hình lớn gần như luôn chạy trong trung tâm dữ liệu, còn mô hình vài tỷ tham số mới được đưa xuống điện thoại và máy tính xách tay.
Vì sao nhiều tham số hơn chưa chắc giỏi hơn
Lượng và chất của dữ liệu quan trọng ngang kích thước. Một nghiên cứu của DeepMind năm 2022, thường được gọi theo tên mô hình Chinchilla, cho thấy nhiều mô hình lớn thời đó đã được huấn luyện trên quá ít dữ liệu so với kích thước của chúng. Một mô hình nhỏ hơn nhưng học trên nhiều dữ liệu hơn có thể làm tốt ngang hoặc hơn. Từ đó, các phòng nghiên cứu chú ý nhiều hơn tới việc cân đối giữa số tham số và lượng dữ liệu.
Khâu huấn luyện sau quyết định cách mô hình cư xử. Hai mô hình cùng kích thước, một mô hình được tinh chỉnh kỹ để làm theo chỉ dẫn và trả lời cẩn thận, mô hình kia chỉ dừng ở bước học đoán chữ, sẽ cho trải nghiệm khác hẳn nhau. Phần lớn chênh lệch bạn cảm thấy khi trò chuyện đến từ khâu này chứ không phải từ con số tham số.
Mô hình nhỏ có thể học lại từ mô hình lớn. Bằng kỹ thuật chưng cất, một mô hình nhỏ được huấn luyện để bắt chước câu trả lời của mô hình lớn hơn, nhờ đó đạt mức khá cao so với kích thước của mình.
Việc cụ thể mới là thước đo. Một mô hình nhỏ được huấn luyện riêng cho tiếng Việt hay cho một loại việc hẹp có thể làm việc đó tốt hơn một mô hình đa năng lớn hơn nhiều lần. Ngược lại, những việc cần kiến thức rộng hoặc lập luận nhiều bước thường vẫn nghiêng về mô hình lớn.
Kích thước kéo theo chi phí và độ trễ. Nhiều tham số hơn nghĩa là mỗi chữ trả lời tốn nhiều phép tính hơn, chậm hơn và đắt hơn. Vì vậy các hãng thường bán nhiều cỡ mô hình song song: cỡ lớn cho việc khó, cỡ nhỏ cho việc cần nhanh và rẻ.
Tổng tham số và tham số hoạt động: kiểu mô hình chia nhóm chuyên gia
Gần đây bạn sẽ gặp những cách ghi khó hiểu hơn, như một mô hình có "tổng 30 tỷ tham số, 3 tỷ tham số hoạt động". Đó là kiểu kiến trúc thường gọi là mixture of experts, tạm dịch là hỗn hợp chuyên gia. Thay vì một khối liền, phần lớn mô hình được chia thành nhiều nhóm con, mỗi nhóm gọi là một "chuyên gia". Với mỗi chữ cần xử lý, một bộ phận điều phối chọn ra vài chuyên gia phù hợp nhất để tính, các chuyên gia còn lại nghỉ.
Hình dung một bệnh viện lớn có nhiều khoa. Bệnh viện có tổng cộng hàng trăm bác sĩ, nhưng mỗi bệnh nhân chỉ gặp vài người. Năng lực tổng của bệnh viện lớn, nhưng chi phí cho mỗi lượt khám không tăng theo tổng số bác sĩ. Mô hình chia nhóm chuyên gia cũng vậy: tổng tham số lớn giúp chứa được nhiều hiểu biết, còn số tham số hoạt động nhỏ giúp mỗi chữ trả lời tốn ít phép tính.
Lưu ý là chữ "chuyên gia" ở đây chỉ là tên gọi kỹ thuật. Các nhóm con này không được phân công rõ ràng kiểu "nhóm toán", "nhóm văn"; chúng tự hình thành sự chuyên môn hoá trong quá trình huấn luyện, và sự chuyên môn hoá đó thường không trùng với cách con người chia môn học.
Với người dùng, khi so sánh hai mô hình, bạn cần biết đang so tổng tham số hay tham số hoạt động. Tổng tham số quyết định bộ nhớ cần để chứa mô hình, vì mọi chuyên gia đều phải nằm sẵn trong bộ nhớ. Tham số hoạt động quyết định tốc độ. Một mô hình chia nhóm có thể nhanh như mô hình nhỏ nhưng vẫn đòi bộ nhớ như mô hình lớn.
Đọc con số tham số cho tỉnh táo khi xem tin hoặc chọn công cụ
Khi gặp con số tham số trong bài báo, bài quảng cáo hay cuộc trò chuyện, vài câu hỏi sau giúp bạn không bị con số dẫn dắt:
- Con số này do ai công bố? Chính hãng công bố trong tài liệu kỹ thuật khác với lời đồn trên mạng hay ước đoán của một nhà phân tích.
- Đây là tổng tham số hay tham số hoạt động? Với mô hình chia nhóm chuyên gia, hai con số có thể chênh nhau cả chục lần.
- So với cái gì? Câu "mô hình mới gấp đôi mô hình cũ" chỉ nói về kích thước, không nói về chất lượng trả lời trong việc của bạn.
- Mô hình đã được nén chưa? Bản 4 bit chạy nhẹ hơn nhiều nhưng có thể kém hơn bản gốc ở một số việc tinh tế.
- Việc của bạn cần gì? Tóm tắt một email không cần mô hình lớn nhất; phân tích một hợp đồng dài bằng tiếng Việt có thể cần mô hình mạnh hơn.
- Có thử thật trên việc của mình chưa? Vài chục câu hỏi đúng loại việc bạn làm hằng ngày nói nhiều hơn bất kỳ con số nào.
Nói ngắn gọn: số tham số giống dung tích xi lanh của một chiếc xe. Nó cho bạn biết xe nặng hay nhẹ, uống nhiều hay ít xăng, nhưng không cho biết người lái có giỏi hay con đường có hợp với chiếc xe đó không.
Câu hỏi thường gặp
Mô hình 7B có nghĩa là mô hình học từ 7 tỷ chữ không?
Không. 7B là số tham số, tức số con số bên trong mô hình, không phải lượng dữ liệu huấn luyện. Lượng dữ liệu thường được đo bằng token và có thể lớn hơn số tham số hàng trăm, thậm chí hàng nghìn lần. Hai con số này hay bị nhầm vì đều ghi bằng chữ B.
Vì sao các hãng lớn không công bố số tham số?
Mỗi hãng có lý do riêng và thường không giải thích. Lý do hay được nêu là cạnh tranh: kích thước, kiến trúc và chi phí huấn luyện là thông tin kinh doanh. Vì vậy với nhiều mô hình thương mại, con số bạn thấy trên mạng chỉ là phỏng đoán, nên đọc với sự dè dặt.
Tham số có thay đổi khi mình trò chuyện với chatbot không?
Trong cách vận hành thông thường thì không. Tham số được cố định sau khi huấn luyện xong; cuộc trò chuyện của bạn chỉ là dữ liệu đầu vào cho lượt tính đó. Việc hãng có dùng cuộc trò chuyện để huấn luyện phiên bản sau hay không là chuyện chính sách dữ liệu, bạn cần đọc cài đặt và điều khoản hiện hành.
Mô hình càng lớn có càng ít bịa hơn không?
Thường mô hình lớn nhớ được nhiều chi tiết hơn nên ở một số loại câu hỏi bịa ít hơn, nhưng không mô hình nào hết bịa. Mô hình lớn vẫn có thể trả lời sai một cách trôi chảy, nhất là với tên riêng hiếm, số liệu cụ thể và sự kiện mới sau mốc kiến thức.
Một tham số chiếm bao nhiêu dung lượng?
Tuỳ cách lưu. Dạng 32 bit chiếm 4 byte, dạng 16 bit chiếm 2 byte, dạng 8 bit chiếm 1 byte, dạng 4 bit khoảng nửa byte. Nhân số tham số với con số này là ra dung lượng tối thiểu để chứa mô hình, chưa kể phần bộ nhớ phụ khi chạy.
Não người có bao nhiêu tham số, so với AI được không?
Người ta hay đem số khớp thần kinh trong não ra so với số tham số, nhưng phép so này rất khập khiễng. Một khớp thần kinh hoạt động phức tạp hơn nhiều so với một con số trong mô hình, và não học theo cách khác hẳn. Con số so sánh chỉ nên coi là hình ảnh gợi tò mò, không phải thước đo trí tuệ.