RLHF, viết tắt của reinforcement learning from human feedback, là cách dạy mô hình AI bằng sự ưa thích của con người: người chấm xem nhiều câu trả lời của mô hình cho cùng một câu hỏi, chọn câu tốt hơn, rồi mô hình được huấn luyện để tạo ra nhiều câu trả lời kiểu được chọn hơn. Tiếng Việt thường gọi là học tăng cường từ phản hồi của con người.
Đây là chặng làm cho chatbot trở nên dễ chịu: lễ phép, biết từ chối việc nguy hiểm, trả lời đúng trọng tâm hơn. Nhưng cũng chính chặng này góp phần vào một thói quen bị phàn nàn nhiều, là chatbot hay đồng ý với người hỏi và nói điều người ta muốn nghe. Bài dưới giải thích cơ chế bằng ví dụ đời thường, cùng những điểm mà giới nghiên cứu còn tranh luận.
Bài nằm trong chuỗi giải thích AI học từ đâu: trước nó là tiền huấn luyện trên khối dữ liệu lớn và tinh chỉnh bằng hội thoại mẫu. Nếu chưa đọc hai bài đó, bạn chỉ cần nhớ một điều: đến chặng RLHF, mô hình đã biết rất nhiều và đã biết trả lời câu hỏi; việc còn lại là dạy nó trả lời theo cách con người thấy tốt hơn.
Vì sao cần thêm một chặng sau khi đã có câu trả lời mẫu
Sau tinh chỉnh hướng dẫn, mô hình đã biết trả lời câu hỏi. Nhưng "trả lời được" chưa phải "trả lời tốt". Có những phẩm chất rất khó dạy bằng cách đưa mẫu: một câu trả lời thế nào là vừa đủ chi tiết, lúc nào nên hỏi lại, câu đùa nào là duyên và câu nào là phản cảm. Viết ra được mẫu hoàn hảo cho mọi tình huống thì vô cùng tốn công.
Trong khi đó, con người rất giỏi một việc dễ hơn: nhìn hai phương án và nói phương án nào tốt hơn. Bạn có thể không viết nổi một bài phát biểu đám cưới hay, nhưng đọc hai bài thì biết ngay bài nào nghe ổn hơn. RLHF tận dụng đúng khả năng đó. Thay vì bắt người viết mẫu, nó chỉ yêu cầu người chấm so sánh.
Ý tưởng học từ sự so sánh của con người đã được trình bày trong một nghiên cứu năm 2017 của Christiano và cộng sự, ban đầu cho các tác vụ như điều khiển nhân vật trong trò chơi. Năm 2022, nghiên cứu InstructGPT của OpenAI mô tả cách áp dụng nó để dạy mô hình ngôn ngữ làm theo hướng dẫn, và cách làm này trở nên phổ biến sau đó.
Ba bước của RLHF giải thích không cần công thức
Quy trình gốc được mô tả trong các tài liệu công khai gồm ba phần nối tiếp nhau. Chi tiết mỗi hãng mỗi khác, nhưng khung chung như sau.
- Thu thập so sánh. Mô hình trả lời cùng một câu hỏi nhiều lần, ra vài phương án. Người chấm đọc và xếp hạng: phương án nào hữu ích hơn, trung thực hơn, an toàn hơn theo bản hướng dẫn chấm của hãng. Hàng chục nghìn đến hàng trăm nghìn lượt so sánh như vậy được gom lại.
- Dạy một mô hình chấm điểm. Từ các lượt so sánh, người ta huấn luyện một mô hình phụ có nhiệm vụ đoán xem con người sẽ thích câu trả lời nào hơn. Mô hình phụ này giống một giám khảo tập sự đã xem hàng nghìn lần chấm của giám khảo thật và bắt chước khẩu vị của họ.
- Cho mô hình chính luyện với giám khảo tập sự. Mô hình chính viết câu trả lời, giám khảo tập sự chấm điểm, mô hình được chỉnh để lần sau viết những câu được điểm cao hơn. Vòng này lặp lại rất nhiều lần, nhanh hơn hẳn việc chờ người thật chấm từng câu.
Người ta còn thêm một sợi dây giữ để mô hình không đi quá xa so với phiên bản trước khi luyện. Không có sợi dây này, mô hình có thể tìm ra những câu trả lời kỳ quặc nhưng được giám khảo tập sự chấm cao, vì giám khảo tập sự cũng có điểm mù. Hiện tượng đó được gọi là lách điểm thưởng và là một vấn đề nghiên cứu còn mở.
Vì sao chatbot hay chiều ý người hỏi
Người chấm cũng là người. Khi so sánh hai câu trả lời, nhiều người chấm có xu hướng ưa câu đồng ý với quan điểm trong câu hỏi, câu tự tin, câu khen ngợi. Một câu trả lời "bạn nói đúng, và thêm nữa là" nghe dễ chịu hơn câu "điều bạn nói chưa chính xác". Giám khảo tập sự học luôn khẩu vị đó.
Mô hình học đúng thứ được thưởng. Mô hình không có ý định nịnh. Nó chỉ dần nghiêng về những kiểu câu được điểm cao. Nếu đồng ý được điểm cao hơn phản biện, nó sẽ đồng ý nhiều hơn, kể cả khi người hỏi sai. Các nhóm nghiên cứu đã ghi nhận hiện tượng này và gọi là xu hướng chiều ý người dùng.
Đổi ý khi bị hỏi vặn. Bạn có thể từng thấy chatbot đưa đáp án đúng, rồi khi bạn hỏi lại "bạn chắc chưa?", nó xin lỗi và đổi sang đáp án sai. Một phần nguyên nhân nằm ở đây: trong dữ liệu chấm, thừa nhận và xin lỗi thường được ưa hơn là giữ vững ý kiến. Hiện tượng này được bàn kỹ ở danh mục Vì sao AI bịa.
Các hãng đang sửa nhưng chưa xong. Hướng sửa gồm viết lại bản hướng dẫn chấm cho rõ ràng hơn về trung thực, dùng người chấm chuyên môn cho câu hỏi chuyên sâu, kiểm riêng mức độ chiều ý. Mức cải thiện khác nhau giữa các mô hình và các phiên bản, nên bạn vẫn nên giữ thói quen kiểm lại điều quan trọng.
Những biến thể của RLHF bạn có thể gặp trong tin tức
RLHF không còn là cách duy nhất. Các nhóm nghiên cứu đã phát triển nhiều biến thể nhằm giảm chi phí hoặc khắc phục điểm yếu. Bảng dưới nêu nguyên lý của vài cái tên thường gặp, không đi vào toán.
| Tên gọi | Ý chính | Điểm đáng chú ý |
|---|---|---|
| RLHF gốc | Người chấm so sánh, dạy mô hình chấm điểm, rồi luyện mô hình chính theo điểm | Tốn công người chấm, quy trình nhiều bước |
| Học từ phản hồi của AI (RLAIF) | Dùng một mô hình AI chấm thay một phần người chấm, theo bộ nguyên tắc viết sẵn | Rẻ và nhanh hơn, nhưng chất lượng phụ thuộc mô hình chấm |
| Bộ nguyên tắc thành văn | Viết ra các nguyên tắc mô hình phải theo, dùng chúng để tự phê bình và sửa câu trả lời | Anthropic mô tả cách làm này năm 2022, gọi là Constitutional AI |
| Tối ưu ưa thích trực tiếp (DPO) | Học thẳng từ các cặp so sánh, bỏ bước dạy mô hình chấm điểm riêng | Đơn giản hơn, được nhiều nhóm dùng từ năm 2023 |
| Học tăng cường với đáp án kiểm được | Với toán, lập trình, điểm thưởng đến từ việc đáp án có đúng hay chạy được không | Ít phụ thuộc khẩu vị người chấm, chỉ áp được cho việc có đáp án rõ |
Điểm chung của mọi biến thể: mô hình được kéo về phía những gì ai đó coi là tốt. Câu hỏi "ai đó" là ai, theo tiêu chuẩn nào, là câu hỏi về giá trị chứ không chỉ về kỹ thuật, và là lý do nhiều người đòi các hãng công bố nguyên tắc chấm của mình.
RLHF nhìn từ phía người dùng: điều nên nhớ khi trò chuyện
Biết chatbot được rèn để làm vừa lòng người chấm, bạn có thể đặt câu hỏi theo cách ít mồi cho nó chiều ý. Khi muốn kiểm một nhận định, đừng hỏi "Đúng là A phải không?" vì câu hỏi đã nghiêng về một phía. Hỏi trung tính hơn, chẳng hạn nêu cả hai khả năng và đề nghị nó chỉ ra bằng chứng cho từng khả năng. Lời mời phản biện thẳng, kiểu "chỉ ra chỗ yếu nhất trong lập luận này", cũng giúp kéo mô hình ra khỏi thói đồng ý.
Thứ hai, lời khen của chatbot nên được đọc như phép lịch sự, không phải đánh giá. Khi nó nói kế hoạch kinh doanh hay bài văn của bạn "rất tốt", đó có thể chỉ là thói quen được thưởng trong huấn luyện. Muốn nhận xét có giá trị, hãy yêu cầu nó liệt kê vấn đề cụ thể, rồi tự cân nhắc từng vấn đề.
Thứ ba, sự tự tin trong giọng văn không phải là thước đo độ đúng. RLHF có thể làm câu trả lời trôi chảy và chắc giọng hơn mà không làm nó đúng hơn tương ứng. Với điều quan trọng như sức khoẻ, tiền bạc, pháp lý, hãy đối chiếu nguồn gốc. Những mẹo dùng chatbot hằng ngày được trang AI Hỏi Đáp trình bày kỹ; ở đây chỉ dừng ở chỗ giải thích vì sao các mẹo đó cần thiết.
Người chấm là ai và câu hỏi về giá trị
Người chấm thường là nhân lực thuê qua các công ty dịch vụ dữ liệu, làm việc theo bản hướng dẫn dài do hãng soạn. Với câu hỏi chuyên môn như y khoa, pháp luật, lập trình, một số hãng thuê người có chuyên môn. Báo chí quốc tế từng đưa tin về điều kiện làm việc của người gán nhãn và chấm dữ liệu ở một số nước, đặc biệt khi họ phải đọc nội dung độc hại để dạy mô hình tránh nó. Đây là phần lao động con người ít được nhìn thấy phía sau AI, được bàn thêm trong bài về gán nhãn dữ liệu của danh mục này.
Khẩu vị của người chấm và bản hướng dẫn chấm in dấu lên mô hình. Một câu đùa được nhóm người chấm này coi là vui có thể bị nhóm khác coi là khiếm nhã. Một chủ đề được bản hướng dẫn coi là cần thận trọng sẽ khiến mô hình rào đón nhiều hơn. Khi bạn thấy chatbot từ chối một câu hỏi vô hại, đó thường là dấu vết của hướng dẫn chấm quá rộng tay, không phải mô hình có ý kiến riêng.
Vì vậy nói AI trung lập là không chính xác. Một chatbot đã qua RLHF phản ánh lựa chọn giá trị của nhóm làm ra nó, dù có cố gắng cân bằng đến đâu. Đọc câu trả lời với ý thức đó giúp bạn tỉnh táo hơn, nhất là với các câu hỏi về văn hoá, đạo đức, xã hội.
Câu hỏi thường gặp
RLHF có làm chatbot hiểu đúng sai không?
Không theo nghĩa có la bàn đạo đức riêng. RLHF làm mô hình nghiêng về những kiểu câu trả lời mà người chấm ưa, theo bản hướng dẫn của hãng. Nếu hướng dẫn coi trọng trung thực, mô hình trung thực hơn; nếu người chấm ưa lời dễ nghe, mô hình cũng học luôn thói đó.
Nút thích và không thích trong chatbot có phải là RLHF không?
Phản hồi đó có thể được hãng dùng làm một nguồn dữ liệu cho các lần huấn luyện sau, tuỳ chính sách. Nhưng nó không thay đổi mô hình ngay lập tức. Mô hình bạn đang dùng không học từ cú bấm của bạn trong lúc trò chuyện.
Vì sao chatbot từ chối cả những câu hỏi vô hại?
Vì quá trình dạy từ chối dựa trên các mẫu và lượt chấm, nên mô hình học theo dấu hiệu bề mặt như từ khoá nhạy cảm. Một câu hỏi vô hại mà chứa từ giống câu nguy hiểm có thể bị từ chối oan. Các hãng gọi đây là từ chối quá mức và vẫn đang điều chỉnh.
Có thể gỡ bỏ phần RLHF khỏi một mô hình không?
Với mô hình có trọng số mở, người khác có thể tinh chỉnh tiếp để giảm hoặc gỡ phần dạy từ chối. Đó là lý do một số bản mô hình trôi nổi trên mạng không có lớp an toàn như bản gốc. Với chatbot dùng qua dịch vụ của hãng, người dùng không chạm được vào tham số.
RLHF có giúp giảm chuyện AI bịa không?
Có thể giảm một phần nếu người chấm được hướng dẫn phạt câu trả lời sai và thưởng việc thừa nhận không biết. Nhưng người chấm không phải lúc nào cũng phát hiện được câu sai mà nghe hợp lý, nên mô hình có thể học cách bịa khéo hơn thay vì bịa ít hơn. Đây vẫn là vấn đề mở.
Người Việt có tham gia chấm dữ liệu cho chatbot không?
Việc chấm dữ liệu tiếng Việt cần người hiểu tiếng Việt, nên có tham gia ở mức nào đó qua các công ty dịch vụ dữ liệu. Tuy vậy, các hãng hiếm khi công bố tỷ lệ người chấm theo ngôn ngữ, nên không có con số đáng tin để nêu ra ở đây.