Mô hình nền là kết quả của chặng tiền huấn luyện: nó đọc rất nhiều văn bản và giỏi viết tiếp bất cứ đoạn chữ nào, nhưng chưa biết rằng mình phải trả lời câu hỏi. Mô hình trợ lý là mô hình nền được dạy thêm bằng hàng nghìn đến hàng trăm nghìn cặp câu hỏi và câu trả lời mẫu, để nó quen cách nhận yêu cầu và đáp lại cho đúng việc. Chặng dạy thêm này thường được gọi là tinh chỉnh hướng dẫn.
Chatbot bạn dùng hằng ngày là mô hình trợ lý, thường còn qua thêm một chặng học từ phản hồi của con người được trình bày ở bài riêng. Hiểu ranh giới giữa hai loại mô hình giúp bạn giải thích nhiều hiện tượng: vì sao chatbot hay mở đầu bằng một câu khen câu hỏi, vì sao các chatbot khác hãng lại có giọng na ná nhau, và vì sao một số mô hình tải về miễn phí lại trả lời rất lạ.
Một người đọc rất nhiều nhưng chưa từng làm lễ tân
Hãy hình dung một người đã đọc hết thư viện của cả thành phố nhưng chưa từng đứng quầy tiếp khách. Bạn đến hỏi: "Cho hỏi phòng họp tầng mấy?". Người đó có thể đáp lại bằng một đoạn văn về lịch sử của toà nhà, hoặc đọc tiếp một câu khác giống trong truyện, vì trong sách những câu hỏi thường được nối tiếp bằng đủ thứ. Kiến thức thì có, nhưng phản xạ trả lời đúng người, đúng việc thì chưa.
Mô hình nền ở trong hoàn cảnh y hệt. Nhiệm vụ duy nhất nó từng được giao là viết tiếp văn bản sao cho giống văn bản thật. Một câu hỏi đặt vào, với nó, chỉ là phần mở đầu của một văn bản nào đó. Văn bản ấy có thể là bài hỏi đáp, có thể là đề thi có nhiều câu hỏi liền nhau, có thể là một chuỗi bình luận cãi nhau. Nó chọn cách viết tiếp có vẻ hợp lý nhất theo những gì đã đọc.
Người lễ tân mới cần vài tuần được hướng dẫn: khách hỏi gì thì đáp thế, giọng lịch sự ra sao, câu nào không được trả lời. Tinh chỉnh hướng dẫn chính là mấy tuần thực tập đó. Điều đáng chú ý là thời gian thực tập ngắn hơn rất nhiều so với thời gian đọc sách, nhưng thay đổi hẳn cách người đó cư xử trước mặt khách.
Tinh chỉnh hướng dẫn diễn ra thế nào, theo nguyên lý
Mỗi hãng làm theo cách riêng và không công bố hết, nhưng các tài liệu nghiên cứu công khai mô tả một khung chung gồm những bước dưới đây.
- Soạn hội thoại mẫu. Người viết chuyên nghiệp, thường có hướng dẫn chi tiết, soạn các cặp yêu cầu và câu trả lời tốt: tóm tắt một đoạn văn, giải thích một khái niệm, viết một bức thư, từ chối một yêu cầu nguy hiểm một cách nhã nhặn.
- Phủ nhiều loại việc. Bộ mẫu được cố ý đa dạng: hỏi kiến thức, viết sáng tác, lập trình, dịch, lập kế hoạch, trò chuyện thường ngày. Mục tiêu không phải dạy kiến thức mới mà dạy cách dùng kiến thức sẵn có cho nhiều dạng yêu cầu.
- Đánh dấu vai. Mỗi đoạn hội thoại được đánh dấu rõ đâu là lời người dùng, đâu là lời trợ lý. Nhờ vậy mô hình học được rằng sau lời người dùng thì đến lượt mình đáp, và đáp xong thì dừng.
- Huấn luyện tiếp trên bộ mẫu. Cơ chế giống tiền huấn luyện: đoán chữ, sai thì chỉnh tham số. Khác là bây giờ chỉ học trên các câu trả lời mẫu, nên mô hình dần nghiêng về kiểu đáp đó.
- Kiểm và lặp lại. Nhóm phát triển thử mô hình bằng bộ câu hỏi kiểm tra, tìm chỗ trả lời tệ, soạn thêm mẫu cho đúng chỗ yếu, rồi huấn luyện lại.
Có một phát hiện được nhiều nhóm nghiên cứu ghi nhận: chất lượng của bộ mẫu quan trọng hơn số lượng. Một bộ mẫu nhỏ nhưng được viết cẩn thận có thể tạo ra trợ lý tốt hơn bộ mẫu lớn viết vội. Điều này cũng có nghĩa là giọng văn, cách lập luận của một nhóm người viết mẫu ảnh hưởng tới cách chatbot nói chuyện với hàng triệu người.
So sánh mô hình nền và mô hình trợ lý qua cùng một yêu cầu
Bảng dưới là ví dụ giả định, mô tả kiểu phản ứng thường gặp chứ không trích từ một mô hình cụ thể nào. Nó cho thấy cùng một kiến thức bên trong nhưng cách thể hiện khác nhau xa.
| Yêu cầu đưa vào | Mô hình nền thường làm gì | Mô hình trợ lý thường làm gì |
|---|---|---|
| "Giải thích ngắn gọn lạm phát là gì." | Viết tiếp thành một đề bài có thêm câu hỏi 2, câu hỏi 3, hoặc một đoạn diễn đàn | Trả lời vài câu định nghĩa, kèm một ví dụ |
| "Viết lời mời họp lớp." | Viết tiếp một đoạn bất kỳ có chữ họp lớp, có thể là kể chuyện | Đưa một mẫu lời mời đủ thời gian, địa điểm, lời chào |
| Một yêu cầu nguy hiểm | Có xu hướng viết tiếp vì không có ý niệm từ chối | Từ chối hoặc chuyển hướng theo cách đã được dạy |
| "Bạn là ai?" | Viết như một nhân vật trong truyện hoặc người trên diễn đàn | Tự giới thiệu là trợ lý AI theo cách hãng đã định |
| Câu hỏi không có đáp án chắc chắn | Viết tiếp một cách tự tin | Đôi khi thừa nhận chưa chắc, tuỳ mức được dạy |
Hàng cuối đáng để ý: khả năng nói "không chắc" không tự sinh ra trong tiền huấn luyện, vì văn bản trên mạng hiếm khi kết thúc bằng thừa nhận không biết. Đó là thói quen phải được dạy ở các chặng sau, và vẫn còn là điểm yếu được ghi nhận rộng rãi.
Những dấu vết của tinh chỉnh mà bạn nhận ra khi trò chuyện
Giọng nhất quán. Dù bạn hỏi chuyện nấu ăn hay chuyện thuế, chatbot thường giữ một giọng: lịch sự, hơi dài dòng, hay chia ý thành danh sách. Đó là giọng của bộ mẫu được dạy, không phải giọng tự nhiên của dữ liệu mạng vốn rất hỗn tạp.
Câu mở đầu và câu kết quen thuộc. Nhiều chatbot hay bắt đầu bằng một câu nhắc lại câu hỏi hoặc khen câu hỏi hay, kết bằng lời mời hỏi thêm. Những nếp này lan ra vì xuất hiện nhiều trong mẫu và vì người chấm ở chặng sau thường ưa chúng.
Giọng các hãng na ná nhau. Các hãng dạy theo cùng xu hướng chung, đôi khi dùng cả bộ dữ liệu mẫu công khai giống nhau, và văn bản do chatbot viết đã tràn lên mạng rồi quay lại vào dữ liệu. Kết quả là nhiều chatbot có giọng giống nhau dù là sản phẩm của các nhóm khác nhau.
Tự giới thiệu theo kịch bản. Khi bạn hỏi "Bạn là ai", câu trả lời đến từ những gì được dạy và từ câu lệnh hệ thống hãng đặt sẵn, không phải từ nhận thức về bản thân. Có lúc mô hình còn tự nhận nhầm tên mô hình khác vì đã đọc nhiều văn bản về mô hình đó.
Mô hình tải về miễn phí: bạn đang cầm loại nào
Khi tìm hiểu các mô hình có trọng số mở, bạn sẽ gặp hai phiên bản đặt cạnh nhau: một bản có chữ "base" và một bản có chữ "instruct" hoặc "chat". Bản base là mô hình nền, bản instruct là mô hình đã tinh chỉnh hướng dẫn. Người mới hay tải nhầm bản base rồi ngạc nhiên vì nó không trả lời câu hỏi mà cứ viết lan man.
Bản base vẫn có ích, chủ yếu cho người làm kỹ thuật muốn tự tinh chỉnh theo việc riêng mà không bị ảnh hưởng bởi thói quen của bản trợ lý có sẵn. Còn người muốn trò chuyện, hỏi đáp, gần như luôn cần bản đã tinh chỉnh. Cách cài đặt và chạy mô hình trên máy là phần kỹ thuật, trang AI Lập Trình có hướng dẫn cho ai cần.
Lưu ý rằng một số tổ chức đưa lên mạng các bản tinh chỉnh do họ tự làm từ mô hình của người khác. Chất lượng và mức an toàn của những bản này khác nhau rất xa, vì có thể đã bị gỡ bớt phần dạy từ chối. Không phải mô hình nào gắn chữ "chat" cũng đã được kiểm kỹ như bản chính hãng.
Từ một mô hình nền ra nhiều trợ lý khác nhau
Vì tinh chỉnh rẻ hơn tiền huấn luyện rất nhiều, một mô hình nền có thể sinh ra cả một họ phiên bản. Hiểu điều này giúp bạn đọc tên sản phẩm AI bớt rối:
- Trợ lý đa năng: bản trò chuyện chung mà phần lớn người dùng gặp, được dạy trả lời mọi loại câu hỏi ở mức khá.
- Bản chuyên viết mã: cùng gốc, được tinh chỉnh thêm trên nhiều hội thoại về lập trình, nên giỏi việc đó hơn và đôi khi kém hơn ở việc trò chuyện thường.
- Bản suy luận: được dạy thêm cách viết ra các bước nháp trước khi đưa đáp án, phù hợp bài toán nhiều bước. Thuật ngữ này được giải thích ở danh mục thuật ngữ của trang.
- Bản rút gọn chạy nhanh: nhỏ hơn, có khi được dạy bằng cách bắt chước câu trả lời của bản lớn, đổi một phần chất lượng lấy tốc độ.
- Bản riêng của doanh nghiệp: công ty lấy mô hình có sẵn, tinh chỉnh thêm cho giọng thương hiệu hoặc định dạng câu trả lời riêng.
Vì cùng một gốc, các phiên bản này thường chia sẻ cả điểm mạnh lẫn điểm yếu về kiến thức, chẳng hạn cùng mốc thời gian dữ liệu, cùng chỗ hổng về tiếng Việt. Đổi sang một bản khác tên của cùng họ không phải lúc nào cũng giải quyết được chỗ mô hình gốc không biết.
Giới hạn: tinh chỉnh dạy cách nói, không thêm hiểu biết sâu
Một hiểu lầm phổ biến là tinh chỉnh giúp mô hình biết thêm nhiều điều. Thực tế bộ mẫu nhỏ hơn rất nhiều so với dữ liệu tiền huấn luyện, nên nó chủ yếu thay đổi cách mô hình thể hiện những gì đã có. Nếu kiến thức về một chủ đề không có trong mô hình nền, vài trăm câu mẫu khó lấp được khoảng trống đó.
Thậm chí có nghiên cứu cho thấy khi dạy mô hình trả lời tự tin những điều nằm ngoài hiểu biết của nó, mô hình có thể quen thói bịa nhiều hơn. Đây là một trong những lý do các nhà phát triển phải cân nhắc kỹ khi soạn mẫu: dạy trợ lý luôn có câu trả lời nghe rất dễ chịu, nhưng có thể khiến nó ít thừa nhận giới hạn của mình.
Vì vậy nếu bạn cần một chatbot giỏi một lĩnh vực hẹp, chẳng hạn văn bản nội bộ của công ty, cách thường được dùng không phải tinh chỉnh mà là cho mô hình đọc tài liệu đó ngay lúc trả lời. Cơ chế này được giải thích ở danh mục Tác tử AI, công cụ và bộ nhớ của trang.
Câu hỏi thường gặp
Tinh chỉnh hướng dẫn có phải là học từ phản hồi của con người không?
Hai chặng khác nhau. Tinh chỉnh hướng dẫn cho mô hình học bắt chước các câu trả lời mẫu do người viết. Học từ phản hồi của con người dùng việc người chấm so sánh, xếp hạng các câu trả lời của chính mô hình. Nhiều chatbot đi qua cả hai chặng, theo thứ tự đó.
Ai viết các câu trả lời mẫu?
Thường là người viết được thuê qua các công ty dịch vụ dữ liệu, đôi khi có chuyên gia từng lĩnh vực cho câu hỏi chuyên sâu. Họ làm theo bản hướng dẫn chi tiết của hãng. Một phần mẫu ngày nay còn được tạo bằng chính mô hình AI rồi người kiểm duyệt lại.
Vì sao chatbot hay trả lời dài dòng?
Một phần vì bộ mẫu và người chấm ưa câu trả lời đầy đủ, có cấu trúc. Câu trả lời dài trông chu đáo hơn khi so sánh hai phương án, nên mô hình dần nghiêng về phía dài. Nhiều hãng đã điều chỉnh, nhưng xu hướng này vẫn thấy rõ.
Mô hình nền có nguy hiểm hơn mô hình trợ lý không?
Mô hình nền không có lớp dạy từ chối, nên dễ viết tiếp nội dung có hại nếu được mồi. Nhưng nó cũng khó dùng hơn vì không làm theo yêu cầu. Rủi ro thực tế phụ thuộc người dùng và mục đích; với người dùng phổ thông, bản trợ lý chính hãng là lựa chọn thích hợp.
Câu lệnh hệ thống có phải là tinh chỉnh không?
Không. Câu lệnh hệ thống là đoạn chỉ dẫn được đặt vào đầu cuộc trò chuyện mỗi lần, không thay đổi tham số của mô hình. Tinh chỉnh thì thay đổi tham số vĩnh viễn. Hai cách thường dùng kết hợp: tinh chỉnh tạo nền tính cách, câu lệnh hệ thống điều chỉnh cho từng sản phẩm.