AI tiến nhanh mấy năm gần đây vì ba thứ cùng chín muồi một lúc: dữ liệu số hoá khổng lồ từ internet, sức tính toán rẻ và mạnh từ chip đồ hoạ cùng hạ tầng điện toán đám mây, và những cải tiến về thuật toán, nổi bật là kiến trúc transformer năm 2017. Khi ba thứ đó gặp nhau, các nhà nghiên cứu phát hiện rằng cứ làm mô hình lớn hơn, cho học nhiều dữ liệu hơn thì năng lực tăng theo một cách khá đều đặn và có thể dự đoán. Cuối năm 2022, giao diện trò chuyện đưa những mô hình ấy đến tay người dùng phổ thông, tạo ra cảm giác AI "bỗng nhiên" xuất hiện.
Thực ra không có gì bỗng nhiên. Nhiều ý tưởng nền tảng có từ hàng chục năm trước, như đã kể ở bài lịch sử trí tuệ nhân tạo. Bài này giải thích từng nguyên nhân bằng ví dụ đời thường, rồi nói về những yếu tố có thể làm tốc độ chậm lại, để bạn có cái nhìn cân bằng thay vì chỉ thấy một đường đi lên mãi.
Nguyên liệu thứ nhất: dữ liệu số hoá ở quy mô chưa từng có
Học máy cần ví dụ, và học sâu cần rất nhiều ví dụ. Trước internet, dữ liệu số nằm rải rác trong từng cơ quan, từng thư viện. Từ cuối thập niên 1990, mọi thứ dần được số hoá: báo chí, sách, diễn đàn, bách khoa toàn thư mở, ảnh do hàng tỉ người chụp và đăng lên, video, mã nguồn chia sẻ công khai. Lần đầu tiên trong lịch sử có một kho văn bản và hình ảnh đủ lớn để máy học được những quy luật rất tinh vi của ngôn ngữ và thế giới hình ảnh.
Một loại dữ liệu đặc biệt quan trọng là các bộ dữ liệu có gắn nhãn được chuẩn bị công phu cho nghiên cứu. Bộ ImageNet, do nhóm của Fei-Fei Li khởi xướng cuối thập niên 2000, gồm hàng triệu ảnh được gắn nhãn theo hàng nghìn loại vật thể. Chính cuộc thi trên bộ dữ liệu này là nơi học sâu chứng minh sức mạnh năm 2012. Nhiều tiến bộ của AI gắn với việc ai đó bỏ công xây một bộ dữ liệu tốt và chia sẻ cho cộng đồng.
Với mô hình ngôn ngữ, một bước quan trọng là không cần ai gắn nhãn: mô hình tự học bằng cách đoán chữ bị che hoặc chữ tiếp theo trong văn bản có sẵn. Nhờ vậy, mọi văn bản trên mạng đều thành bài tập. Mặt trái là dữ liệu đó mang theo cả thông tin sai, thiên lệch, nội dung có bản quyền, và tiếng Việt chiếm phần nhỏ hơn nhiều so với tiếng Anh. Câu chuyện AI học từ đâu và những tranh cãi quanh nó được bàn ở một danh mục riêng của trang.
Nguyên liệu thứ hai: chip đồ hoạ và điện toán đám mây
Chip làm cho trò chơi điện tử hoá ra hợp với AI. Chip đồ hoạ (GPU) được thiết kế để tính màu cho hàng triệu điểm ảnh cùng lúc trong trò chơi. Mạng nơ-ron cũng cần làm cùng một phép tính trên rất nhiều con số cùng lúc. Khi các công cụ lập trình cho phép dùng chip đồ hoạ vào việc tính toán chung, khoảng giữa thập niên 2000, các nhà nghiên cứu có trong tay sức mạnh lớn hơn nhiều lần với chi phí thấp hơn nhiều so với siêu máy tính.
Chip chuyên dụng ra đời. Khi nhu cầu tăng, nhiều công ty thiết kế chip riêng cho AI, tối ưu cho đúng các phép tính mạng nơ-ron cần. Mỗi thế hệ chip mới làm được nhiều phép tính hơn trên mỗi đồng điện, góp phần làm cho việc huấn luyện mô hình lớn khả thi hơn.
Đám mây cho thuê sức tính toán. Một nhóm nghiên cứu nhỏ hay một công ty khởi nghiệp không cần tự mua cả phòng máy; họ thuê theo giờ trên các nền tảng điện toán đám mây. Điều này hạ rào cản để thử ý tưởng mới, dù các mô hình lớn nhất vẫn cần mức đầu tư mà chỉ một số ít tổ chức đủ sức.
Cái giá đi kèm. Sức tính toán lớn đồng nghĩa với điện năng lớn và trung tâm dữ liệu cần làm mát. Tác động môi trường của các trung tâm dữ liệu AI là chủ đề đang được tranh luận, với nhiều ước tính khác nhau; trang này bàn ở danh mục AI và xã hội và chỉ nêu số khi có nguồn chắc chắn.
Nguyên liệu thứ ba: transformer và cách đọc cả câu cùng lúc
Trước năm 2017, các mô hình xử lý ngôn ngữ phổ biến đọc câu theo kiểu lần lượt từng chữ, như người đọc dò từng dòng. Cách này chậm và hay "quên" những chữ ở xa. Bài báo "Attention Is All You Need" năm 2017 của một nhóm nhà nghiên cứu ở Google giới thiệu kiến trúc transformer, với ý tưởng trung tâm gọi là cơ chế chú ý: mỗi chữ trong câu được xét mối liên hệ với mọi chữ khác cùng một lúc, để biết chữ nào cần "để tâm" tới chữ nào.
Ví dụ trong câu "Chị Lan đưa bé đến trường rồi chị đi chợ", để hiểu chữ "chị" thứ hai chỉ ai, mô hình cần nối nó với "chị Lan" ở đầu câu. Cơ chế chú ý cho phép làm việc nối đó trực tiếp, thay vì phải nhớ qua từng chữ ở giữa. Đây là giải thích đơn giản hoá; cơ chế thật là một chuỗi phép tính, được trình bày bằng toán ở trang AI Toán Học.
Quan trọng không kém, transformer xử lý được nhiều chữ song song, rất hợp với chip đồ hoạ. Nghĩa là có thể huấn luyện mô hình lớn hơn trên nhiều dữ liệu hơn trong cùng thời gian. Hầu hết các mô hình ngôn ngữ lớn hiện nay, và nhiều mô hình xử lý ảnh, âm thanh, đều dựa trên transformer hoặc các biến thể của nó.
Phát hiện bất ngờ: cứ làm to hơn là giỏi hơn
Khi đã có ba nguyên liệu, các nhà nghiên cứu nhận ra một điều mà trước đó không nhiều người dám đặt cược. Những quan sát sau đã được nhiều nhóm ghi nhận:
- Năng lực tăng khá đều theo quy mô: các nghiên cứu khoảng năm 2020 cho thấy khi tăng kích thước mô hình, lượng dữ liệu và sức tính toán theo tỉ lệ hợp lý, sai số của mô hình ngôn ngữ giảm theo một quy luật khá đều đặn. Quan sát này được gọi là quy luật tăng quy mô (scaling laws).
- Dự đoán được giúp dám đầu tư: vì kết quả có thể ước lượng trước, các tổ chức sẵn sàng chi những khoản rất lớn để huấn luyện mô hình to hơn.
- Có những năng lực xuất hiện khi mô hình đủ lớn: một số việc như làm theo hướng dẫn phức tạp, giải bài toán nhiều bước có vẻ chỉ làm tốt ở mô hình lớn. Mức độ "đột ngột" của hiện tượng này đang được tranh luận: có nghiên cứu cho rằng nó phụ thuộc nhiều vào cách đo.
- Tinh chỉnh bằng phản hồi con người làm mô hình dễ dùng: một mô hình chỉ biết đoán chữ chưa phải trợ lý tốt; khi được tinh chỉnh bằng ví dụ mẫu và đánh giá của người, nó biết trả lời đúng yêu cầu và lịch sự hơn.
- Quy luật này không phải định luật tự nhiên: đó là quan sát thực nghiệm trong một khoảng quy mô nhất định. Liệu nó còn đúng mãi hay chậm lại là câu hỏi mở.
Nhóm quan sát này giải thích vì sao các mô hình mấy năm qua lớn lên nhanh đến vậy, và vì sao chi phí huấn luyện cũng tăng theo. Chữ "tham số" và "kích thước mô hình" được giải thích kỹ ở danh mục thuật ngữ của trang.
Mảnh ghép cuối: giao diện trò chuyện và việc ai cũng thử được
Mô hình ngôn ngữ đã khá mạnh từ trước năm 2022, nhưng chủ yếu được giới kỹ thuật dùng qua giao diện lập trình. Khi ChatGPT được phát hành cho công chúng vào cuối năm 2022 với một ô trò chuyện miễn phí, bất kỳ ai biết gõ chữ cũng có thể thử. Lượng người dùng tăng rất nhanh, và hàng loạt sản phẩm tương tự từ nhiều công ty xuất hiện sau đó.
Giao diện trò chuyện tạo ra một vòng quay mới: nhiều người dùng tạo ra nhiều phản hồi, giúp nhà phát triển biết mô hình sai ở đâu, có thêm doanh thu và đầu tư, rồi đầu tư vào mô hình kế tiếp. Song song, cộng đồng nghiên cứu chia sẻ bài báo công khai, các thư viện phần mềm mã nguồn mở và các mô hình trọng số mở, giúp ý tưởng lan rất nhanh giữa các nhóm ở nhiều nước.
Cảm giác "AI bỗng xuất hiện" phần lớn đến từ đây: công nghệ đã tích luỹ âm thầm nhiều năm, và giao diện trò chuyện đột nhiên làm nó hiện ra trước mắt hàng trăm triệu người cùng lúc. Với người dùng ở Việt Nam, thời điểm này cũng là lúc chatbot bắt đầu trả lời được tiếng Việt khá trôi chảy, dù vẫn kém tiếng Anh ở những chủ đề địa phương.
Những thứ có thể làm tốc độ chậm lại
Dữ liệu chất lượng không vô hạn. Văn bản tốt do con người viết có giới hạn. Một số nhà nghiên cứu lo rằng các mô hình lớn nhất đang tiến gần tới việc đã học gần hết văn bản công khai có chất lượng. Các hướng bù đắp như dữ liệu tổng hợp do máy tạo ra đang được thử, nhưng hiệu quả lâu dài còn được bàn cãi.
Chi phí và điện năng. Mỗi bước tăng quy mô tốn kém hơn bước trước. Đến một lúc, chi phí huấn luyện và vận hành có thể vượt lợi ích, hoặc vấp phải giới hạn về nguồn điện, chip, nước làm mát.
Những điểm yếu không biến mất khi làm to. Bịa thông tin, khó lập kế hoạch dài, không tự cập nhật kiến thức là những vấn đề cải thiện được một phần nhưng chưa có lời giải gốc. Có người cho rằng cần ý tưởng mới chứ không chỉ cần mô hình to hơn.
Quy định và niềm tin xã hội. Các tranh chấp bản quyền dữ liệu, yêu cầu an toàn và minh bạch ở nhiều nước có thể làm chậm việc triển khai ở một số lĩnh vực. Đây không hẳn là điều xấu: chậm hơn một chút để an toàn hơn là lựa chọn mà nhiều xã hội cân nhắc.
Câu hỏi thường gặp
AI sẽ tiếp tục tiến nhanh như vậy mãi không?
Không ai biết chắc. Có những lý do để tin tiến bộ còn tiếp tục, như chip mới, phương pháp huấn luyện mới. Cũng có những lý do để nghĩ tốc độ có thể chậm lại, như giới hạn dữ liệu và chi phí. Trang này không dự đoán mốc thời gian; cách tỉnh táo là theo dõi những gì đã làm được và được kiểm chứng độc lập.
Vì sao các công ty công nghệ lớn dẫn đầu về AI?
Vì huấn luyện mô hình lớn nhất cần dữ liệu, sức tính toán và đội ngũ nghiên cứu ở quy mô mà ít tổ chức có được. Tuy vậy, các đại học và nhóm nhỏ vẫn đóng góp nhiều ý tưởng quan trọng, và các mô hình trọng số mở giúp nhiều nơi khác tiếp cận công nghệ mà không phải tự huấn luyện từ đầu.
Việt Nam có thể tự làm mô hình AI lớn không?
Đã có các nhóm trong nước công bố mô hình ngôn ngữ cho tiếng Việt, thường bằng cách tinh chỉnh từ mô hình mở hoặc huấn luyện mô hình cỡ vừa. Khó khăn chính là dữ liệu tiếng Việt chất lượng cao và chi phí tính toán. Mức độ năng lực của từng mô hình cần xem đánh giá độc lập hiện hành.
Vì sao trước đây chatbot rất ngô nghê mà giờ lại trò chuyện trôi chảy?
Chatbot đời cũ phần lớn chọn câu trả lời viết sẵn theo từ khoá hoặc theo kịch bản. Chatbot hiện nay dùng mô hình ngôn ngữ lớn học từ lượng văn bản khổng lồ, nên sinh ra câu trả lời mới phù hợp ngữ cảnh. Sự trôi chảy này đến từ quy mô dữ liệu và mô hình, nhưng không đảm bảo câu trả lời luôn đúng.
Mã nguồn mở có vai trò gì trong việc AI tiến nhanh?
Các thư viện phần mềm mã nguồn mở giúp nhà nghiên cứu không phải viết lại từ đầu những thành phần cơ bản. Việc chia sẻ bài báo và mô hình giúp ý tưởng của một nhóm được nhóm khác kiểm chứng và cải tiến nhanh. Mức độ mở của các mô hình khác nhau nhiều, và đây cũng là chủ đề tranh luận về an toàn.
Transformer có phải là phát minh cuối cùng của AI không?
Không có lý do để nghĩ vậy. Transformer là kiến trúc chủ đạo hiện nay, nhưng các nhà nghiên cứu vẫn đang thử nhiều kiến trúc khác nhằm xử lý văn bản dài hiệu quả hơn hoặc tốn ít tính toán hơn. Lịch sử AI cho thấy kiến trúc chủ đạo có thể thay đổi khi điều kiện mới xuất hiện.