Nhận dạng giọng nói (NLP): Công nghệ đứng sau Siri và Google Assistant

Khi bạn nói "Hey Siri, đặt báo thức 6 giờ sáng", trợ lý ảo thực hiện một chuỗi bước: phát hiện từ khóa đánh thức, chuyển âm thanh thành văn bản (nhận dạng giọng nói tự động, ASR), hiểu ý định trong câu (hiểu ngôn ngữ tự nhiên, NLU, một nhánh của NLP), thực hiện hành động, rồi trả lời bằng giọng nói tổng hợp (TTS). Nhận dạng giọng nói và xử lý ngôn ngữ tự nhiên là hai công nghệ khác nhau nhưng phối hợp chặt chẽ. Bài viết giải thích từng mắt xích, những thách thức riêng với tiếng Việt và vấn đề quyền riêng tư khi dùng trợ lý giọng nói.

Chuỗi xử lý của một trợ lý giọng nói

Bước 1: Từ khóa đánh thức chạy ngay trên thiết bị

Điện thoại và loa thông minh liên tục nghe âm thanh xung quanh, nhưng chỉ để tìm từ khóa đánh thức. Việc này do một mô hình rất nhỏ chạy trên chip tiết kiệm năng lượng của thiết bị đảm nhận. Chỉ khi phát hiện từ khóa, thiết bị mới bắt đầu ghi và xử lý câu lệnh. Mô hình phải cân bằng hai loại lỗi: bỏ sót khi bạn gọi, và kích hoạt nhầm khi nghe âm thanh na ná. Kích hoạt nhầm là lý do đôi khi trợ lý "tự nhiên" lên tiếng giữa cuộc trò chuyện.

Bước 2: Nhận dạng giọng nói, biến sóng âm thành chữ

Âm thanh được số hóa và chuyển thành biểu diễn tần số theo thời gian, thường gọi là phổ đồ (spectrogram). Hệ thống ASR thế hệ trước gồm nhiều thành phần riêng: mô hình âm học nhận dạng âm vị, từ điển phát âm, và mô hình ngôn ngữ dự đoán chuỗi từ hợp lý. Các thành phần cổ điển từng dựa nhiều vào mô hình Markov ẩn.

Từ những năm 2010, Deep Learning thay đổi lĩnh vực này. Các hệ thống hiện đại thường là mô hình "đầu cuối" (end-to-end): một mạng nơ-ron lớn, ngày nay thường dựa trên Transformer hoặc Conformer, nhận âm thanh và trực tiếp xuất văn bản. Whisper, mô hình nhận dạng giọng nói đa ngôn ngữ mà OpenAI công bố mã nguồn năm 2022, là ví dụ cho cách huấn luyện trên lượng lớn dữ liệu âm thanh đa dạng giúp mô hình chịu được giọng nói, tiếng ồn và nhiều ngôn ngữ khác nhau. Cơ sở của các mạng này được trình bày trong bài mạng nơ-ron nhân tạo.

Xử lý trên thiết bị hay trên đám mây

Trước đây, phần lớn âm thanh được gửi lên máy chủ để nhận dạng. Nhờ chip AI chuyên dụng trên điện thoại, Apple và Google đã đưa nhiều phần nhận dạng giọng nói về xử lý ngay trên thiết bị cho một số ngôn ngữ và tác vụ, giúp phản hồi nhanh hơn, hoạt động khi không có mạng và giảm lượng dữ liệu gửi đi.

Bước 3: Hiểu ngôn ngữ, từ chữ đến ý định

Có văn bản rồi, hệ thống cần hiểu bạn muốn gì. Trong trợ lý truyền thống, NLU gồm hai nhiệm vụ chính:

• Phân loại ý định (intent): câu "đặt báo thức 6 giờ sáng mai" thuộc ý định "tạo báo thức".
• Trích xuất thực thể (slot filling): lấy ra thông tin cần thiết như thời gian "6 giờ", ngày "mai".

Cách tiếp cận này hoạt động tốt với các lệnh có cấu trúc nhưng cứng nhắc: câu nói ngoài những mẫu đã định nghĩa thường nhận được câu "Xin lỗi, tôi không hiểu".

Mô hình ngôn ngữ lớn thay đổi trợ lý ảo

Làn sóng mô hình ngôn ngữ lớn đang thay đổi lớp hiểu ngôn ngữ. Google đã đưa Gemini vào vai trò trợ lý trên Android, còn Apple công bố Apple Intelligence với nhiều nâng cấp cho Siri. Mô hình lớn giúp trợ lý hiểu câu nói tự nhiên, nhiều ý, có ngữ cảnh hội thoại, và trả lời câu hỏi mở. Thách thức là kết hợp sự linh hoạt đó với độ tin cậy khi thực hiện hành động thật như gửi tin nhắn, đặt lịch. Cơ chế của mô hình ngôn ngữ lớn được giải thích trong bài LLM hoạt động thế nào.

Bước 4 và 5: Thực thi và trả lời bằng giọng nói

Sau khi hiểu ý định, trợ lý gọi ứng dụng hoặc dịch vụ tương ứng. Nếu thiếu thông tin, nó hỏi lại. Câu trả lời được tổng hợp thành giọng nói bằng TTS. Các hệ thống TTS hiện đại dùng mạng nơ-ron, chẳng hạn hướng tiếp cận WaveNet do DeepMind giới thiệu năm 2016, tạo giọng nói tự nhiên hơn nhiều so với cách ghép đoạn âm thanh thu sẵn trước đây.

Thách thức riêng với tiếng Việt

• Thanh điệu: tiếng Việt có sáu thanh; "ma, má, mà, mả, mã, mạ" khác nghĩa hoàn toàn. Mô hình phải nhận đúng cao độ, vốn bị ảnh hưởng bởi ngữ điệu câu và cảm xúc.
• Phương ngữ: giọng Bắc, Trung, Nam khác nhau đáng kể về phát âm và từ vựng; dữ liệu huấn luyện cần đủ đại diện.
• Trộn ngôn ngữ: người Việt thường chen từ tiếng Anh như "check mail", "meeting", "deadline".
• Dữ liệu: lượng dữ liệu âm thanh có nhãn tiếng Việt ít hơn nhiều so với tiếng Anh.

Mức hỗ trợ tiếng Việt khác nhau giữa các trợ lý và thay đổi theo thời gian. Google Assistant đã hỗ trợ tiếng Việt từ nhiều năm, trong khi hỗ trợ của Siri với tiếng Việt hạn chế hơn; hãy kiểm tra danh sách ngôn ngữ hiện hành của từng nền tảng. Nhiều công ty công nghệ Việt Nam cũng phát triển giải pháp nhận dạng và tổng hợp tiếng Việt cho tổng đài, ô tô, nhà thông minh.

Quyền riêng tư khi dùng trợ lý giọng nói

Ghi âm giọng nói là dữ liệu nhạy cảm: nó có thể chứa thông tin cá nhân, giọng của người khác trong phòng và cả những đoạn ghi do kích hoạt nhầm. Đã có thời điểm các hãng lớn bị chỉ trích vì cho nhân viên hoặc nhà thầu nghe một phần bản ghi để cải thiện chất lượng, sau đó họ điều chỉnh chính sách theo hướng cho người dùng chủ động lựa chọn. Một số việc bạn có thể làm:

• Xem và xóa lịch sử giọng nói trong cài đặt tài khoản. Với Google, phần lưu hoạt động giọng nói nằm trong các cài đặt quyền riêng tư của tài khoản Google.
• Tắt tùy chọn chia sẻ bản ghi để cải thiện dịch vụ nếu không muốn.
• Tắt micro của loa thông minh khi trao đổi chuyện riêng tư.
• Hạn chế quyền trợ lý truy cập khi màn hình khóa.

Ứng dụng ngoài trợ lý ảo

• Phụ đề tự động cho video và cuộc họp trực tuyến.
• Chuyển ghi âm cuộc họp thành biên bản, tóm tắt.
• Tổng đài tự động hiểu yêu cầu khách hàng.
• Hỗ trợ người khiếm thị và người gặp khó khăn khi gõ phím.
• Điều khiển xe hơi rảnh tay.