AI trên thiết bị (on-device AI) là AI chạy ngay trên điện thoại, máy tính hay đồng hồ của bạn, không cần gửi dữ liệu lên máy chủ ở trung tâm dữ liệu để xử lý. Trái với nó là AI trên đám mây, khi câu hỏi của bạn được gửi qua mạng tới máy chủ của hãng và kết quả được gửi về. Phần cứng giúp thiết bị chạy AI tiết kiệm điện thường là một khối chip chuyên dụng gọi là NPU.
Các quảng cáo điện thoại, máy tính "có AI" mấy năm gần đây đều xoay quanh khái niệm này. Bài này giải thích AI trên máy khác AI đám mây ở đâu, NPU là gì và con số TOPS nói được gì, vì sao điện thoại chưa chạy nổi những mô hình lớn nhất, và lời hứa "dữ liệu không rời máy" đúng tới đâu.
Trên thiết bị và trên đám mây: so sánh nhanh
Hai cách chạy AI đánh đổi nhau ở nhiều mặt. Bảng dưới là xu hướng chung; từng sản phẩm cụ thể có thể khác.
| Tiêu chí | AI trên thiết bị | AI trên đám mây |
|---|---|---|
| Khi mất mạng | vẫn chạy được | không dùng được |
| Độ trễ | không phải chờ đường truyền, hợp việc cần tức thì | phụ thuộc mạng và độ bận của máy chủ |
| Quyền riêng tư | dữ liệu có thể ở lại trong máy | dữ liệu phải gửi đi, tuỳ chính sách của hãng |
| Sức mạnh mô hình | giới hạn bởi bộ nhớ và pin, thường là mô hình nhỏ | chạy được mô hình rất lớn |
| Pin và nhiệt | tốn pin, máy có thể nóng khi chạy lâu | máy của bạn gần như không tốn sức |
| Cập nhật | mô hình cập nhật theo phần mềm máy | hãng cập nhật bất cứ lúc nào |
| Chi phí cho hãng | người dùng gánh phần cứng | hãng gánh chi phí máy chủ cho mỗi lượt |
Không bên nào thắng tuyệt đối. Vì vậy phần lớn sản phẩm hiện nay đi theo kiểu lai: việc nhỏ, cần nhanh hoặc nhạy cảm làm trên máy; việc nặng gửi lên đám mây.
AI trên máy đã có trong điện thoại từ lâu
Trước khi chữ "AI trên thiết bị" thành khẩu hiệu quảng cáo, nhiều tính năng quen thuộc đã chạy bằng mô hình nhỏ ngay trong máy, thường không ai gọi tên:
- Mở khoá bằng khuôn mặt, vân tay. Việc so khớp thường diễn ra trong máy, dữ liệu sinh trắc được giữ ở vùng bảo vệ riêng.
- Gợi ý chữ trên bàn phím. Đoán từ tiếp theo, sửa lỗi gõ, gợi ý biểu tượng cảm xúc.
- Xử lý ảnh khi chụp. Chụp đêm, xoá phông, làm rõ khuôn mặt, gộp nhiều khung hình thành một ảnh.
- Phân loại thư viện ảnh. Gom ảnh theo người, theo vật, tìm ảnh bằng chữ "bãi biển" hay "con chó".
- Lọc tiếng ồn cuộc gọi, phụ đề trực tiếp. Tách giọng nói khỏi tiếng xe cộ, tự tạo chữ cho video đang phát.
- Nhận lệnh giọng nói đánh thức. Máy liên tục nghe một câu gọi ngắn để bật trợ lý, việc nghe này chạy trên một bộ phận nhỏ trong máy.
Điểm mới vài năm gần đây là đưa cả mô hình ngôn ngữ, loại biết tóm tắt, viết lại, trả lời câu hỏi, xuống chạy trên máy. Đây là việc nặng hơn nhiều so với các tính năng trên.
NPU là gì và con số TOPS nói được gì
Một con chip trong điện thoại hay máy tính hiện nay thường có nhiều khối. CPU là bộ xử lý đa năng, làm được mọi việc nhưng mỗi lúc làm không nhiều phép tính. GPU là khối đồ hoạ, giỏi làm thật nhiều phép tính giống nhau cùng lúc. NPU, viết tắt của neural processing unit, tạm dịch là bộ xử lý mạng nơ ron, là khối được thiết kế riêng cho loại phép tính mà mô hình AI dùng nhiều nhất: nhân và cộng hàng loạt con số, thường ở độ chính xác thấp như 8 bit hay 4 bit.
Vì chuyên một việc, NPU làm việc đó tốn ít điện hơn hẳn so với CPU hay GPU. Với thiết bị chạy pin, đây là điểm then chốt: một tính năng AI chạy bằng CPU có thể làm máy nóng và tụt pin nhanh, chạy bằng NPU thì nhẹ nhàng hơn.
Các hãng thường quảng cáo NPU bằng đơn vị TOPS, tức nghìn tỷ phép tính mỗi giây. Con số này cho biết sức tính tối đa trên lý thuyết, nhưng không nói hết. Phép tính ở 4 bit và 8 bit cho ra con số TOPS khác nhau, nên so hai máy cần xem chúng được đo ở cùng điều kiện không. Quan trọng hơn, với mô hình ngôn ngữ, tốc độ thường bị giới hạn bởi bộ nhớ: dung lượng có đủ chứa mô hình không, và tốc độ chuyển dữ liệu từ bộ nhớ vào khối tính có đủ nhanh không.
Ngoài ra, NPU chỉ có ích khi phần mềm biết dùng nó. Một máy có NPU mạnh nhưng ứng dụng không hỗ trợ thì NPU nằm không. Khi đọc quảng cáo, con số TOPS nên được xem cùng với dung lượng bộ nhớ và danh sách tính năng thật sự chạy trên máy.
Vì sao điện thoại chưa chạy được những mô hình lớn nhất
Lý do đầu tiên là bộ nhớ. Một mô hình vài trăm tỷ tham số, kể cả khi đã nén, cần bộ nhớ lớn gấp nhiều lần dung lượng bộ nhớ trong của một chiếc điện thoại. Trong khi đó, bộ nhớ của điện thoại còn phải chia cho hệ điều hành và mọi ứng dụng khác. Vì thế mô hình ngôn ngữ chạy trên điện thoại hiện nay thường chỉ ở cỡ vài tỷ tham số, đã qua chưng cất và lượng tử hoá.
Lý do thứ hai là pin và nhiệt. Sinh ra một câu trả lời dài đòi hỏi rất nhiều phép tính liên tục. Máy chủ trong trung tâm dữ liệu có hệ thống làm mát và nguồn điện ổn định; điện thoại trong túi bạn thì không. Chạy mô hình lâu có thể làm máy nóng lên, và khi quá nóng, máy tự giảm tốc độ để bảo vệ linh kiện.
Lý do thứ ba là tốc độ chuyển dữ liệu. Như đã nói, với mỗi chữ sinh ra, máy phải đọc qua gần như toàn bộ tham số. Đường truyền giữa bộ nhớ và khối tính trên điện thoại hẹp hơn nhiều so với máy chủ chuyên dụng, nên mô hình càng lớn càng chậm thấy rõ.
Hệ quả cho người dùng là mô hình trên máy thường làm tốt những việc gọn: tóm tắt thông báo, viết lại một đoạn tin nhắn, gợi ý trả lời nhanh, sắp xếp ảnh. Với câu hỏi cần kiến thức rộng hay lập luận phức tạp, nhiều sản phẩm sẽ chuyển sang đám mây, đôi khi có hỏi ý bạn, đôi khi không.
Kiểu lai: máy và đám mây chia việc với nhau
Phần lớn trợ lý AI hiện nay không thuần trên máy cũng không thuần trên đám mây. Bên trong có một bộ phận quyết định mỗi yêu cầu đi đường nào. Ví dụ giả định: bạn nhờ trợ lý tóm tắt một tin nhắn dài trong nhóm gia đình, việc này gọn, có dữ liệu riêng tư, nên được xử lý ngay trên máy. Bạn hỏi tiếp một câu cần kiến thức rộng, như so sánh quy trình làm hồ sơ ở hai nước, yêu cầu này có thể được chuyển lên máy chủ vì mô hình nhỏ trên máy không đủ sức.
Cách chia việc này hợp lý về kỹ thuật, nhưng tạo ra một khoảng mờ cho người dùng: cùng một ô trò chuyện, có câu ở lại trong máy, có câu đi ra ngoài. Một số hãng mô tả rõ quy tắc chia việc, có hãng hỏi ý bạn trước khi gửi lên đám mây hoặc trước khi chuyển sang dịch vụ của bên thứ ba, có hãng chỉ ghi chung chung. Cách làm cũng thay đổi qua từng bản cập nhật.
Vì vậy, khi một tính năng được giới thiệu là AI trên thiết bị, câu hỏi đúng không phải là có hay không, mà là phần nào. Đọc trang mô tả quyền riêng tư của chính tính năng đó, và xem phần cài đặt có cho bạn tắt chế độ gửi lên đám mây hay không.
"Dữ liệu không rời máy": đúng tới đâu
Chỉ đúng với phần thật sự chạy trên máy. Một trợ lý có thể xử lý câu hỏi đơn giản tại chỗ nhưng gửi câu hỏi khó lên máy chủ. Nếu sản phẩm không nói rõ việc nào xử lý ở đâu, bạn không nên mặc định mọi thứ đều ở lại trong máy.
Sao lưu đám mây vẫn có thể mang dữ liệu đi. Ảnh, ghi chú, tin nhắn đã được AI xử lý trên máy vẫn có thể được sao lưu lên tài khoản đám mây theo cài đặt của bạn. Riêng tư trong khâu xử lý không có nghĩa là riêng tư trong khâu lưu trữ.
Ứng dụng bên thứ ba có chính sách riêng. Tính năng AI có sẵn của hệ điều hành và tính năng AI trong một ứng dụng tải về là hai chuyện khác nhau. Ứng dụng có thể gửi dữ liệu về máy chủ của chính nó.
Trợ lý càng giỏi càng cần nhiều quyền. Để tóm tắt tin nhắn, sắp lịch, trả lời email thay bạn, trợ lý phải được đọc tin nhắn, lịch, email. Chạy trên máy giảm rủi ro dữ liệu bị gửi đi, nhưng không giảm việc một phần mềm đang có quyền rộng trên thiết bị của bạn.
Máy mất hoặc bị xâm nhập. Dữ liệu ở lại trong máy thì an toàn của máy trở thành tất cả. Khoá màn hình mạnh, cập nhật phần mềm đều đặn vẫn là lớp bảo vệ quan trọng nhất. Chi tiết về quyền riêng tư khi dùng AI được bàn kỹ hơn ở AI Bảo Mật.
Mấy câu hỏi trước khi mua máy vì tính năng AI
Nếu tính năng AI là lý do khiến bạn cân nhắc đổi máy, những câu hỏi sau giúp bạn tránh mua theo khẩu hiệu:
- Tính năng nào thật sự chạy trên máy, tính năng nào cần mạng? Tài liệu của hãng thường có ghi, dù không nằm ở trang quảng cáo.
- Tính năng đó có hỗ trợ tiếng Việt chưa? Nhiều tính năng ra mắt với tiếng Anh trước, tiếng Việt đến sau hoặc chưa có.
- Bộ nhớ trong của máy là bao nhiêu? Mô hình ngôn ngữ trên máy cần bộ nhớ đáng kể; máy bộ nhớ thấp có thể không được hỗ trợ dù chip đủ mạnh.
- Tính năng có miễn phí lâu dài không? Một số tính năng có thể chuyển sang thu phí hoặc cần tài khoản riêng; hãy đọc điều khoản hiện hành.
- Bạn có dùng tính năng đó hằng tuần không? Một tính năng hay trong buổi giới thiệu chưa chắc là thứ bạn cần trong việc thật.
AI trên thiết bị là một hướng có lợi thật cho quyền riêng tư và tốc độ. Hiểu giới hạn của nó giúp bạn chọn máy theo nhu cầu, không theo số TOPS hay chữ "AI" in to trên hộp.
Câu hỏi thường gặp
Máy không có NPU có chạy AI được không?
Được. CPU và GPU vẫn chạy được mô hình AI, chỉ là tốn điện hơn và có thể chậm hơn. Nhiều tính năng AI trên máy cũ vẫn chạy bằng CPU hoặc GPU. NPU giúp chạy hiệu quả hơn chứ không phải điều kiện bắt buộc.
TOPS càng cao thì AI trên máy càng tốt phải không?
Không hẳn. TOPS là sức tính tối đa trên lý thuyết, và có thể đo ở các độ chính xác khác nhau. Với mô hình ngôn ngữ, bộ nhớ và tốc độ đọc bộ nhớ thường quan trọng hơn. Phần mềm có tận dụng được NPU hay không cũng quyết định nhiều.
Làm sao biết một tính năng AI đang chạy trên máy hay trên đám mây?
Cách chắc nhất là đọc tài liệu hoặc trang quyền riêng tư của hãng. Một cách thử đơn giản là bật chế độ máy bay rồi dùng tính năng: nếu vẫn chạy, ít nhất phần đó đang chạy trên máy. Nhưng một số sản phẩm chạy trên máy khi mất mạng và chuyển lên đám mây khi có mạng.
AI trên thiết bị có làm máy hao pin nhiều không?
Tuỳ tính năng. Những việc nhỏ như gợi ý chữ, xử lý ảnh tốn rất ít. Chạy mô hình ngôn ngữ để viết đoạn dài hay tóm tắt tài liệu thì tốn hơn đáng kể và có thể làm máy ấm lên. Dùng thỉnh thoảng thường không ảnh hưởng nhiều tới pin cả ngày.
Mô hình AI trên điện thoại có tự học từ dữ liệu của mình không?
Một số tính năng có cá nhân hoá, như bàn phím học từ hay dùng của bạn, và việc này có thể diễn ra ngay trên máy. Còn mô hình ngôn ngữ chính trên máy thường cố định, chỉ thay đổi khi hãng cập nhật phần mềm. Cách từng hãng làm khác nhau, nên xem cài đặt hiện hành.
Máy tính "AI PC" khác máy tính thường ở đâu?
Thường là máy có NPU đủ mạnh theo tiêu chí của hãng phần mềm hoặc hãng chip, kèm một số tính năng AI chạy trên máy. Về bản chất nó vẫn là máy tính bình thường. Có đáng mua hay không tuỳ bạn có dùng tới các tính năng đó không.