#knowledge distillation

Chưng cất mô hình AI (distillation) là gì: mô hình nhỏ học lại từ mô hình lớn

Chưng cất là cách huấn luyện mô hình nhỏ bắt chước mô hình lớn để chạy nhanh, rẻ hơn. Cơ chế thầy trò, cái được, cái mất và tranh cãi quanh nó.