Tham số mô hình AI là gì: con số 7B, 70B nói lên điều gì và không nói lên điều gì
Tham số là những con số mô hình AI tự chỉnh trong lúc học. Hiểu 7B, 70B nghĩa là gì, tốn bao nhiêu bộ nhớ và vì sao to hơn chưa chắc giỏi hơn.
#thuật ngữ ai
Tìm kiếm theo nghĩa là gì: embedding giúp máy hiểu "khác chữ nhưng cùng ý" ra sao
Tìm kiếm theo nghĩa dùng embedding đặt mỗi câu vào một toạ độ, câu cùng ý nằm gần nhau. Cơ chế, ứng dụng quanh ta và những chỗ nó hay nhầm.
Mô hình suy luận (reasoning) là gì: vì sao AI "nghĩ" một lúc rồi mới trả lời
Mô hình suy luận viết ra các bước trung gian trước khi trả lời. Chuỗi suy nghĩ giúp gì, tốn gì, và phần "suy nghĩ" hiển thị có đáng tin không.
AI đa phương thức là gì: khi một mô hình vừa đọc chữ, xem ảnh, vừa nghe giọng nói
AI đa phương thức xử lý được chữ, ảnh, âm thanh, video trong cùng một mô hình. Máy nhìn ảnh thế nào, làm tốt việc gì, còn yếu ở đâu.
Trọng số mở và mã nguồn mở trong AI: hai chữ "mở" khác nhau thế nào
Mô hình AI "mở" có thể chỉ mở trọng số, không mở dữ liệu hay cách huấn luyện. Phân biệt trọng số mở, mã nguồn mở và đọc giấy phép cho đúng.
Chưng cất mô hình AI (distillation) là gì: mô hình nhỏ học lại từ mô hình lớn
Chưng cất là cách huấn luyện mô hình nhỏ bắt chước mô hình lớn để chạy nhanh, rẻ hơn. Cơ chế thầy trò, cái được, cái mất và tranh cãi quanh nó.
Lượng tử hoá mô hình AI là gì: vì sao bản 4 bit chạy được trên máy tính thường
Lượng tử hoá lưu mỗi tham số của mô hình AI bằng ít bit hơn để nhẹ đi vài lần. Cơ chế làm tròn, mức hao hụt và cách đọc ký hiệu Q4, Q8.
AI trên thiết bị là gì: NPU, chạy ngay trên điện thoại và đánh đổi so với đám mây
AI trên thiết bị chạy mô hình ngay trên điện thoại, máy tính mà không gửi dữ liệu lên máy chủ. NPU là gì, được gì, mất gì so với AI trên đám mây.
Inference là gì: huấn luyện và chạy mô hình AI khác nhau ở đâu
Inference là lúc mô hình AI đã huấn luyện xong được chạy để trả lời bạn. Một lượt chạy diễn ra thế nào, tốn ở đâu và vì sao nó quyết định giá dịch vụ.
Vì sao AI cần GPU: chip đồ hoạ trở thành cỗ máy chạy AI như thế nào
AI cần GPU vì mô hình là hàng tỷ phép nhân cộng làm song song được. Lịch sử từ chip chơi game tới AI, vai trò của bộ nhớ, và GPU khác TPU, NPU ra sao.