AI chuyển giọng nói thành chữ bằng cách cắt âm thanh thành những khung rất ngắn, rút ra đặc trưng của từng khung, rồi dùng một mô hình đã học từ rất nhiều giờ ghi âm có kèm lời để đoán chuỗi chữ khớp nhất với âm thanh đó. Mô hình không chỉ nghe từng âm mà còn dựa vào ngữ cảnh để đoán, giống như người nghe điện thoại rè vẫn hiểu câu nhờ đoán ý.
Chính việc đoán theo ngữ cảnh khiến phụ đề tự động hay biên bản họp do máy ghi đọc rất trôi chảy, kể cả khi sai. Máy nhầm "cá" thành "cả", viết sai tên riêng, bỏ sót câu của người nói giọng địa phương đậm, và đôi khi còn tự thêm một câu không ai nói ở đoạn im lặng. Bài này giải thích cơ chế đằng sau từng lỗi, để bạn biết lúc nào tin được bản chép của máy và lúc nào phải nghe lại.
Từ tiếng nói tới dòng chữ: máy làm những gì
Dù là bàn phím gõ bằng giọng nói trên điện thoại hay phần mềm ghi biên bản họp, phần lõi thường đi qua các bước sau.
- Thu và làm sạch âm thanh. Micro ghi lại sóng âm; một số hệ thống lọc bớt tiếng ồn, tiếng vọng, tách giọng người khỏi nhạc nền.
- Cắt thành khung ngắn. Âm thanh được chia thành những lát vài phần trăm giây. Mỗi lát được chuyển thành một bảng số cho biết năng lượng phân bố ở các tần số, giống một "ảnh chụp" âm thanh ở thời điểm đó.
- Mô hình đọc chuỗi khung. Mạng nơ-ron nhìn cả chuỗi ảnh chụp âm thanh, nhận ra những mẫu ứng với âm, vần, thanh điệu, và liên hệ chúng với các khung trước sau.
- Đoán chuỗi chữ. Mô hình chọn chuỗi chữ có khả năng cao nhất, vừa khớp âm thanh vừa hợp lý về mặt ngôn ngữ. Đây là chỗ "ngữ cảnh" can thiệp mạnh.
- Thêm dấu câu, viết hoa, tách người nói. Các bước phụ chia câu, đánh dấu ai nói câu nào, đổi "hai mươi phần trăm" thành "20%".
Các hệ thống mới thường gộp mấy bước giữa vào một mô hình duy nhất được huấn luyện từ đầu tới cuối trên những cặp ghi âm và lời chép. Cách gộp này mạnh hơn, nhưng cũng khiến hành vi của mô hình giống mô hình ngôn ngữ hơn, kể cả thói quen bịa khi thiếu thông tin.
Ngày trước máy nghe theo âm, bây giờ máy nghe theo ý
Những hệ thống nhận dạng giọng nói trước đây được ghép từ nhiều phần: một phần nhận âm, một từ điển phát âm do chuyên gia soạn, một phần tính xác suất từ nào hay đi sau từ nào. Chúng làm khá tốt với câu lệnh ngắn, từ vựng hẹp, người nói chậm rõ. Bạn có thể nhớ những tổng đài tự động thời trước chỉ hiểu khi bạn nói đúng "một", "hai", "gặp nhân viên".
Sự thay đổi lớn đến khi mạng nơ-ron sâu được huấn luyện trên lượng ghi âm khổng lồ, nhiều ngôn ngữ, nhiều điều kiện thu: hội thoại ngoài đường, bài giảng, video trên mạng. Năm 2022, OpenAI công bố mã nguồn mở mô hình Whisper, được huấn luyện trên một kho ghi âm đa ngôn ngữ rất lớn lấy từ internet. Từ đó, việc chép lời tiếng Việt với chất lượng dùng được trở nên phổ biến, có trong nhiều ứng dụng.
Mô hình mới không chỉ "nghe âm" mà học được cả quy luật ngôn ngữ từ chính lời chép kèm ghi âm. Khi một âm nghe không rõ, nó lấp bằng chữ hợp ngữ cảnh nhất. Đây là điểm mạnh lớn: câu chép ra đọc trôi, ít lỗi chính tả vô nghĩa. Nhưng cũng là nguồn gốc của loại lỗi nguy hiểm nhất: chữ sai mà nghe hợp lý, nên người đọc không nhận ra.
Vì sao máy hay nghe nhầm tiếng Việt
Thanh điệu nằm ở cao độ, dễ lẫn. "Ma, mà, má, mả, mã, mạ" khác nhau chủ yếu ở đường cao độ. Khi người nói nhanh, nói nhỏ, hay ngữ điệu cảm xúc chồng lên thanh, đường cao độ bị méo và máy dễ chọn nhầm thanh. Ngữ cảnh cứu được phần lớn, nhưng không phải lúc nào cũng đủ.
Giọng vùng miền ít dữ liệu. Kho ghi âm tiếng Việt trên mạng nghiêng về một số giọng phổ biến. Giọng địa phương đậm, như một số vùng ở Nghệ An, Đà Nẵng (phần Quảng Nam cũ) hay miền Tây, ít xuất hiện hơn, nên máy nhận kém hơn hẳn. Đây là thiên lệch dữ liệu chứ không phải giọng đó "khó nghe".
Tên riêng và thuật ngữ hiếm. Tên người, tên công ty, tên thuốc, thuật ngữ chuyên ngành ít gặp trong dữ liệu, nên máy thay bằng từ phổ biến nghe gần giống. Một số công cụ cho phép thêm danh sách từ riêng để cải thiện.
Nói lẫn tiếng Anh. Người Việt đi làm hay chêm "deadline", "meeting", "báo cáo KPI". Máy phải đoán đang nghe tiếng nào, và hay viết thành chữ Việt na ná âm.
Nhiều người nói cùng lúc, tiếng ồn. Trong cuộc họp, người chen ngang, tiếng quạt, tiếng xe ngoài cửa sổ làm âm thanh chồng lấn. Máy có thể gộp câu hai người làm một, hoặc gán câu sai người nói.
Vì sao máy đôi khi chép ra câu không ai nói
Người dùng phần mềm chép lời đôi khi gặp chuyện lạ: đoạn ghi âm im lặng hay chỉ có tiếng ồn, mà bản chép lại có một câu hoàn chỉnh, kiểu "cảm ơn các bạn đã theo dõi" hay một câu hoàn toàn không liên quan. Hiện tượng này đã được các nhà nghiên cứu ghi nhận và phân tích ở một số mô hình chép lời phổ biến, và cơ chế của nó giống chuyện chatbot bịa.
Mô hình được huấn luyện để luôn đưa ra chuỗi chữ khớp nhất với âm thanh. Khi âm thanh gần như không có thông tin, phần "ngôn ngữ" trong nó chiếm ưu thế và tạo ra câu nghe quen thuộc từ dữ liệu huấn luyện. Nếu dữ liệu có nhiều video kết thúc bằng lời cảm ơn người xem, câu đó dễ được "nghe thấy" trong im lặng. Với âm thanh rè, mô hình có thể tạo ra những câu trôi chảy nhưng sai hẳn nội dung.
Nhiều ứng dụng đã thêm bước lọc đoạn im lặng và tiếng ồn trước khi chép để giảm lỗi này, nhưng chưa loại bỏ hẳn được. Với biên bản họp, lời khai, phỏng vấn, hồ sơ bệnh án, một câu bịa có thể gây hậu quả thật. Đó là lý do bản chép tự động cần được người dự họp hoặc người phỏng vấn soát lại, đặc biệt ở các đoạn có số liệu, tên người, cam kết.
Chép lời ngay trên máy và chép lời trên máy chủ khác nhau ở đâu
Cùng là chuyển giọng nói thành chữ, nhưng có hai cách chạy rất khác nhau. Cách thứ nhất là mô hình nằm ngay trong điện thoại hay máy tính của bạn. Âm thanh không rời khỏi thiết bị, kết quả hiện gần như tức thì, dùng được cả khi không có mạng. Đổi lại, mô hình phải đủ nhỏ để chạy trên chip của điện thoại mà không làm nóng máy, hết pin, nên thường kém hơn với giọng khó, tiếng ồn và từ hiếm.
Cách thứ hai là gửi âm thanh lên máy chủ của nhà cung cấp, nơi một mô hình lớn hơn nhiều xử lý rồi trả chữ về. Chất lượng thường tốt hơn, nhận giọng địa phương và thuật ngữ khá hơn, có thêm tách người nói và dấu câu đầy đủ. Cái giá là âm thanh của bạn đi qua hạ tầng của bên khác, chịu điều khoản của họ, và cần mạng ổn định.
Nhiều ứng dụng kết hợp cả hai: nhận câu lệnh ngắn trên máy, còn ghi âm dài thì gửi lên máy chủ. Người dùng thường không thấy ranh giới này, nên nếu bạn hay đọc thông tin nhạy cảm như số tài khoản, thông tin sức khoẻ, chuyện nội bộ công ty, hãy mở phần cài đặt và tài liệu của ứng dụng để biết âm thanh được xử lý ở đâu, có được lưu lại để cải thiện dịch vụ hay không. Thông tin này có thể thay đổi theo phiên bản, nên kiểm lại khi ứng dụng cập nhật lớn.
Nên kỳ vọng gì ở bản chép tự động trong từng tình huống
Độ chính xác của máy phụ thuộc nhiều vào điều kiện ghi âm hơn là vào tên công cụ. Bảng dưới là cách ước lượng ở mức nguyên lý, để bạn biết nên soát kỹ tới đâu.
| Tình huống | Kỳ vọng hợp lý | Chỗ cần soát kỹ |
|---|---|---|
| Một người đọc rõ, micro gần, phòng yên | Khá chính xác, sửa ít | Số liệu, tên riêng, dấu câu |
| Bài giảng, hội thảo có micro | Dùng được làm bản nháp | Thuật ngữ chuyên ngành, câu hỏi từ khán giả xa micro |
| Họp nhiều người quanh bàn, một điện thoại giữa bàn | Nhiều lỗi, gán sai người nói | Ai nói gì, các quyết định, con số |
| Ghi âm ngoài đường, quán cà phê | Bỏ sót, nghe nhầm nhiều | Gần như mọi câu quan trọng |
| Giọng địa phương đậm, người lớn tuổi nói nhanh | Kém hơn đáng kể | Toàn bộ, nên nghe lại |
| Video có nhạc nền, tiếng hiệu ứng | Phụ đề lệch, có thể có câu bịa | Đoạn đầu, đoạn cuối, đoạn chỉ có nhạc |
Khi ghi âm người khác, bạn cũng cần để ý chuyện xin phép và chỗ lưu tệp. Đưa ghi âm cuộc họp lên dịch vụ chép lời trực tuyến là đưa nội dung đó qua máy chủ bên thứ ba; với cuộc họp có thông tin khách hàng hay bí mật kinh doanh, hãy kiểm chính sách công ty và chính sách của dịch vụ trước. Phần bảo mật dữ liệu khi dùng AI có ở trang AI Bảo Mật.
Đọc bản chép của máy cho đúng cách
Bản chép tự động là công cụ rất tiết kiệm thời gian nếu bạn coi nó đúng vị trí: bản nháp có lỗi tiềm ẩn, không phải biên bản chính thức. Vài nguyên tắc rút từ cơ chế ở trên:
- Câu đọc càng trôi càng phải để ý, vì lỗi của mô hình mới thường là lỗi hợp lý, không phải lỗi vô nghĩa.
- Tìm những chỗ máy đánh dấu không chắc chắn nếu công cụ có hiển thị, hoặc những chỗ dấu câu bất thường; đó hay là chỗ âm thanh kém.
- Với số tiền, ngày tháng, tên người, liều lượng, luôn nghe lại đoạn gốc. Đây là những thứ ngữ cảnh không giúp máy đoán đúng được.
- Phụ đề tự động trên video người khác đăng có thể sai lời người nói; đừng trích dẫn ai đó chỉ dựa vào phụ đề tự động.
- Nếu thường xuyên dùng cho một lĩnh vực, thêm danh sách tên riêng, thuật ngữ vào công cụ nếu nó cho phép, và đặt micro gần người nói.
Tóm tắt cuộc họp do AI viết từ bản chép là thêm một tầng đoán nữa chồng lên: lỗi ở bản chép có thể bị tóm tắt "làm đẹp" thành kết luận sai. Hai tầng lỗi nên được soát riêng.
Câu hỏi thường gặp
Gõ tiếng Việt bằng giọng nói trên điện thoại có xử lý trên máy không?
Tuỳ điện thoại, hệ điều hành và cài đặt. Một số máy có mô hình chạy ngay trên thiết bị, một số gửi âm thanh lên máy chủ để xử lý. Bạn có thể xem trong phần cài đặt bàn phím hay quyền riêng tư của máy. Khi đọc thông tin nhạy cảm, nên biết âm thanh của mình đang đi đâu.
Vì sao phụ đề tự động trên video hay sai tên riêng?
Tên người, tên địa phương, tên thương hiệu ít xuất hiện trong dữ liệu huấn luyện, nên khi nghe thấy, máy chọn từ phổ biến nghe gần giống. Phụ đề tự động không biết video đang nói về ai, trừ khi người đăng cung cấp thêm thông tin. Người làm video cẩn thận thường sửa tay phụ đề trước khi đăng.
Máy có phân biệt được ai đang nói trong cuộc họp không?
Nhiều công cụ có chức năng tách người nói dựa vào đặc điểm giọng, giống phần dấu vân giọng trong nhân bản giọng nói. Nó làm tốt khi mỗi người nói rõ, không chen ngang, giọng khác biệt. Khi nhiều người giọng giống nhau hoặc nói chồng lên nhau, máy hay gán nhầm, nên cần soát.
Nói chậm và to có giúp máy chép đúng hơn không?
Nói rõ, đều, micro gần giúp nhiều hơn nói to. Nói chậm quá mức có thể làm ngữ điệu bất thường. Điều kiện ghi âm, như phòng yên, ít vọng, không có nhạc nền, thường ảnh hưởng tới kết quả nhiều hơn cách nói của bạn.
Nhận dạng giọng nói và nhận diện người nói khác nhau thế nào?
Nhận dạng giọng nói trả lời câu hỏi người đó nói gì, đầu ra là chữ. Nhận diện người nói trả lời câu hỏi ai đang nói, đầu ra là danh tính hoặc nhãn người nói. Hai việc dùng kỹ thuật gần nhau nhưng mục đích, rủi ro và quy định về dữ liệu sinh trắc khác nhau.