Mô hình ngôn ngữ lớn (LLM) là gì? Cơ chế hoạt động của ChatGPT

Mô hình ngôn ngữ lớn (Large Language Model, LLM) là mạng nơ-ron rất lớn được huấn luyện trên lượng văn bản khổng lồ để dự đoán phần tiếp theo của một đoạn văn. ChatGPT hoạt động bằng cách lặp lại phép dự đoán đó: đọc câu hỏi của bạn, chọn token (mẩu từ) có khả năng xuất hiện tiếp theo cao, nối vào, rồi lặp lại cho đến khi hoàn thành câu trả lời. Điều khiến nó giống một trợ lý hữu ích là giai đoạn tinh chỉnh sau huấn luyện, dạy mô hình làm theo chỉ dẫn và trả lời theo cách con người đánh giá là tốt. Bài viết giải thích từng bước bằng ngôn ngữ dễ hiểu.

Bước 1: Biến chữ thành số với token

Máy tính không xử lý chữ trực tiếp. Văn bản được chia thành các token: có thể là một từ, một phần của từ, dấu câu hoặc khoảng trắng. Từ tiếng Anh phổ biến thường là một token; từ hiếm hoặc từ trong nhiều ngôn ngữ khác, bao gồm tiếng Việt có dấu, thường bị chia thành nhiều token hơn. Đây là lý do cùng một nội dung, tiếng Việt có thể tốn nhiều token hơn tiếng Anh, ảnh hưởng đến chi phí và giới hạn độ dài.

Mỗi token được ánh xạ thành một vector số nhiều chiều gọi là embedding. Trong không gian này, các từ có nghĩa gần nhau nằm gần nhau, và mô hình học được những quan hệ ngữ nghĩa từ dữ liệu.

Bước 2: Kiến trúc Transformer và cơ chế chú ý

Năm 2017, nhóm nghiên cứu của Google công bố bài báo "Attention Is All You Need", giới thiệu kiến trúc Transformer. Chữ "T" trong GPT (Generative Pre-trained Transformer) chính là từ đây.

Điểm cốt lõi là cơ chế self-attention (tự chú ý). Khi xử lý một token, mô hình xem xét tất cả token khác trong ngữ cảnh và quyết định nên "chú ý" vào token nào nhiều hơn. Trong câu "Con mèo không nhảy lên bàn vì nó quá cao", để hiểu "nó" chỉ cái bàn, mô hình cần chú ý vào "bàn" và "cao". Attention cho phép học những liên kết như vậy, kể cả giữa các từ cách xa nhau.

Một mô hình lớn xếp chồng nhiều tầng Transformer, mỗi tầng có nhiều "đầu chú ý" học các kiểu quan hệ khác nhau: ngữ pháp, đồng tham chiếu, chủ đề. Nền tảng của các tầng này vẫn là những nơ-ron nhân tạo, được giải thích trong bài mạng nơ-ron nhân tạo hoạt động thế nào.

Bước 3: Tiền huấn luyện, học từ văn bản khổng lồ

Trong giai đoạn tiền huấn luyện, mô hình đọc lượng văn bản rất lớn từ web, sách, mã nguồn và nhiều nguồn khác. Nhiệm vụ duy nhất: dự đoán token tiếp theo. Mỗi lần đoán sai, trọng số được điều chỉnh qua lan truyền ngược.

Điều đáng ngạc nhiên là để dự đoán tốt từ tiếp theo trên đủ nhiều văn bản đa dạng, mô hình phải học ngầm rất nhiều thứ: ngữ pháp, kiến thức về thế giới, phong cách viết, cấu trúc lập luận, thậm chí cách viết mã. Kết quả là một mô hình nền (base model) có khả năng viết tiếp văn bản rất trôi chảy, nhưng chưa phải trợ lý: hỏi nó một câu, nó có thể viết tiếp thêm câu hỏi khác thay vì trả lời.

Bước 4: Tinh chỉnh thành trợ lý

Tinh chỉnh có giám sát

Mô hình nền được huấn luyện thêm trên tập dữ liệu gồm nhiều cặp chỉ dẫn và câu trả lời mẫu chất lượng cao do con người viết. Mô hình học định dạng hội thoại: nhận yêu cầu, trả lời hữu ích.

Học tăng cường từ phản hồi con người (RLHF)

Người đánh giá xem nhiều câu trả lời khác nhau cho cùng một câu hỏi và xếp hạng câu nào tốt hơn. Dữ liệu xếp hạng được dùng để huấn luyện một mô hình phần thưởng dự đoán con người thích câu trả lời nào. Sau đó, LLM được tối ưu bằng học tăng cường để tạo ra câu trả lời đạt điểm thưởng cao. OpenAI đã mô tả quy trình này trong công trình InstructGPT, tiền thân của ChatGPT. Ngày nay có nhiều biến thể như DPO hay huấn luyện dựa trên bộ nguyên tắc, nhưng ý tưởng chung là căn chỉnh mô hình theo mong muốn của con người.

Bước 5: Tạo câu trả lời từng token một

Khi bạn gửi câu hỏi, toàn bộ cuộc hội thoại, kèm hướng dẫn hệ thống mà bạn không thấy, được đưa vào mô hình. Mô hình tính phân phối xác suất cho token tiếp theo trên toàn bộ từ vựng, chọn một token, nối vào, rồi lặp lại.

• Nhiệt độ (temperature): tham số điều chỉnh độ ngẫu nhiên khi chọn token. Nhiệt độ thấp cho câu trả lời nhất quán, nhiệt độ cao cho kết quả đa dạng, sáng tạo hơn.
• Cửa sổ ngữ cảnh: số token tối đa mô hình xem xét cùng lúc. Nội dung vượt quá cửa sổ sẽ bị cắt hoặc phải tóm tắt.

Đó là lý do câu trả lời hiện ra dần từng chữ, và cùng một câu hỏi có thể nhận được câu trả lời hơi khác nhau mỗi lần.

Vì sao LLM đôi khi bịa thông tin

Hiện tượng "ảo giác" (hallucination) bắt nguồn từ chính cơ chế hoạt động: mô hình được tối ưu để tạo văn bản hợp lý, không phải để tra cứu sự thật. Khi không có thông tin chắc chắn, nó vẫn có thể tạo ra câu trả lời nghe thuyết phục, kể cả tên sách, trích dẫn, số liệu không tồn tại. Các cách giảm thiểu:

• Kết nối tìm kiếm và RAG (Retrieval-Augmented Generation): truy xuất tài liệu liên quan rồi đưa vào ngữ cảnh để mô hình trả lời dựa trên đó.
• Yêu cầu dẫn nguồn và tự kiểm tra lại nguồn.
• Viết yêu cầu rõ ràng, cho phép mô hình nói "không biết", như hướng dẫn trong bài prompt engineering.

Từ mô hình đến sản phẩm ChatGPT

ChatGPT không chỉ là một mô hình. Sản phẩm bao gồm: mô hình ngôn ngữ, hướng dẫn hệ thống định hình hành vi, lớp kiểm duyệt an toàn, bộ nhớ hội thoại, cùng các công cụ như tìm kiếm web, chạy mã, đọc file, tạo ảnh. Khi mô hình "dùng công cụ", thực chất nó tạo ra yêu cầu gọi công cụ, hệ thống thực thi và đưa kết quả trở lại ngữ cảnh để mô hình tiếp tục.

LLM thực sự "hiểu" không?

Đây là câu hỏi còn tranh luận. Một quan điểm cho rằng LLM chỉ khớp mẫu thống kê; quan điểm khác chỉ ra rằng để dự đoán tốt, mô hình đã xây dựng các biểu diễn nội bộ về khái niệm và quan hệ. Điều chắc chắn là LLM có những điểm yếu mà con người không có: có thể mắc lỗi đơn giản ở phép tính hay đếm, nhạy cảm với cách diễn đạt câu hỏi, và không có trải nghiệm trực tiếp về thế giới. Dùng LLM hiệu quả nghĩa là tận dụng điểm mạnh về ngôn ngữ và kiểm chứng ở những chỗ nó dễ sai.

Nếu bạn muốn so sánh các mô hình hiện có trên thị trường, bài so sánh ChatGPT, Gemini và Claude phân tích điểm mạnh của từng lựa chọn.