#q4 q8 là gì

Lượng tử hoá mô hình AI là gì: vì sao bản 4 bit chạy được trên máy tính thường

Lượng tử hoá lưu mỗi tham số của mô hình AI bằng ít bit hơn để nhẹ đi vài lần. Cơ chế làm tròn, mức hao hụt và cách đọc ký hiệu Q4, Q8.