Chưng cất mô hình AI (distillation) là gì: mô hình nhỏ học lại từ mô hình lớn
Chưng cất là cách huấn luyện mô hình nhỏ bắt chước mô hình lớn để chạy nhanh, rẻ hơn. Cơ chế thầy trò, cái được, cái mất và tranh cãi quanh nó.
Chưng cất là cách huấn luyện mô hình nhỏ bắt chước mô hình lớn để chạy nhanh, rẻ hơn. Cơ chế thầy trò, cái được, cái mất và tranh cãi quanh nó.
Lượng tử hoá lưu mỗi tham số của mô hình AI bằng ít bit hơn để nhẹ đi vài lần. Cơ chế làm tròn, mức hao hụt và cách đọc ký hiệu Q4, Q8.