Mạng nơ-ron nhân tạo (ANN) mô phỏng não bộ con người như thế nào?

Mạng nơ-ron nhân tạo (Artificial Neural Network, ANN) lấy cảm hứng từ cách các tế bào thần kinh trong não kết nối và truyền tín hiệu, nhưng nó là một mô hình toán học đơn giản hóa rất nhiều, không phải bản sao của não. Mỗi "nơ-ron" nhân tạo nhận nhiều số đầu vào, nhân với trọng số, cộng lại và đưa qua một hàm kích hoạt; hàng nghìn đến hàng tỷ nơ-ron như vậy xếp thành nhiều tầng có thể học những quy luật phức tạp như nhận diện khuôn mặt hay hiểu ngôn ngữ. Bài viết giải thích phần cảm hứng sinh học, cơ chế toán học và cả những điểm ANN khác xa não thật.

Nơ-ron sinh học: nguồn cảm hứng

Não người chứa khoảng 86 tỷ nơ-ron, theo các ước tính được trích dẫn rộng rãi trong khoa học thần kinh. Mỗi nơ-ron gồm:

• Đuôi gai (dendrite): nhận tín hiệu từ các nơ-ron khác.
• Thân tế bào: tổng hợp tín hiệu nhận được.
• Sợi trục (axon): truyền tín hiệu đi nếu tổng tín hiệu vượt ngưỡng, tức nơ-ron "phát xung".
• Khớp thần kinh (synapse): điểm nối giữa các nơ-ron, có thể mạnh hoặc yếu, và thay đổi theo kinh nghiệm.

Ý tưởng then chốt mà khoa học thần kinh gợi ý cho AI: học tập diễn ra bằng cách thay đổi độ mạnh của kết nối. Nhà tâm lý học Donald Hebb năm 1949 đã đề xuất rằng kết nối giữa hai nơ-ron thường hoạt động cùng nhau sẽ mạnh lên, một ý tưởng thường được tóm tắt là "cùng phát xung thì cùng kết nối".

Nơ-ron nhân tạo: phiên bản toán học

Năm 1943, Warren McCulloch và Walter Pitts đề xuất mô hình toán học đầu tiên của nơ-ron. Năm 1958, Frank Rosenblatt giới thiệu perceptron, có thể học từ dữ liệu. Nơ-ron nhân tạo hiện đại hoạt động theo bốn bước:

1. Nhận đầu vào: một danh sách số, ví dụ giá trị điểm ảnh hoặc đầu ra của các nơ-ron tầng trước.
2. Nhân trọng số: mỗi đầu vào được nhân với một trọng số, tương tự độ mạnh của khớp thần kinh.
3. Cộng và thêm độ lệch (bias): tổng có trọng số cộng với một hằng số điều chỉnh ngưỡng.
4. Hàm kích hoạt: biến tổng thành đầu ra, quyết định nơ-ron "kích hoạt" mạnh đến đâu.

Vì sao cần hàm kích hoạt

Nếu chỉ nhân và cộng, dù xếp bao nhiêu tầng, cả mạng vẫn tương đương một phép biến đổi tuyến tính duy nhất và không học được quan hệ phức tạp. Hàm kích hoạt phi tuyến như ReLU (giữ số dương, biến số âm thành 0), sigmoid hay tanh cho phép mạng biểu diễn những đường cong, ranh giới phức tạp. ReLU và các biến thể được dùng rất phổ biến trong mạng sâu nhờ đơn giản và giúp huấn luyện ổn định hơn.

Từ một nơ-ron đến một mạng

Một mạng điển hình gồm:

• Tầng đầu vào: nhận dữ liệu thô.
• Các tầng ẩn: biến đổi dữ liệu qua nhiều bước, mỗi tầng học biểu diễn trừu tượng hơn tầng trước.
• Tầng đầu ra: đưa ra kết quả, ví dụ xác suất ảnh là mèo hay chó.

Mạng có nhiều tầng ẩn được gọi là mạng sâu, từ đó có thuật ngữ Deep Learning. Một mạng nhận diện chữ số viết tay đơn giản có thể chỉ vài chục nghìn trọng số; các mô hình ngôn ngữ lớn hiện nay có hàng tỷ đến hàng trăm tỷ tham số.

Mạng học như thế nào: lan truyền ngược

Ban đầu, trọng số được khởi tạo ngẫu nhiên nên mạng đoán sai. Quá trình học lặp lại các bước:

1. Lan truyền xuôi: đưa một mẫu dữ liệu qua mạng để có dự đoán.
2. Tính sai số: hàm mất mát đo khoảng cách giữa dự đoán và đáp án đúng.
3. Lan truyền ngược (backpropagation): dùng quy tắc đạo hàm chuỗi để tính mỗi trọng số đóng góp bao nhiêu vào sai số.
4. Cập nhật trọng số: điều chỉnh từng trọng số một bước nhỏ theo hướng làm giảm sai số, phương pháp gọi là hạ gradient.

Lặp lại hàng triệu lần trên rất nhiều mẫu, trọng số dần hội tụ về giá trị giúp mạng dự đoán tốt. Thuật toán lan truyền ngược được phổ biến rộng rãi qua công trình năm 1986 của David Rumelhart, Geoffrey Hinton và Ronald Williams, và đến nay vẫn là nền tảng huấn luyện mạng nơ-ron.

Các kiến trúc mạng phổ biến

• Mạng truyền thẳng nhiều tầng (MLP): mỗi nơ-ron nối với mọi nơ-ron tầng kế tiếp; dùng cho dữ liệu dạng vector.
• Mạng tích chập (CNN): dùng bộ lọc trượt trên ảnh để phát hiện đặc trưng cục bộ. Thú vị là CNN được gợi cảm hứng một phần từ nghiên cứu của Hubel và Wiesel về vỏ não thị giác, nơi các tế bào phản ứng với cạnh và hướng cụ thể. Ứng dụng nổi bật được nói đến trong bài thị giác máy tính trong xe tự lái.
• Mạng hồi quy (RNN, LSTM): có vòng lặp để xử lý chuỗi như văn bản, âm thanh; từng là lựa chọn chính trước khi Transformer xuất hiện.
• Transformer: dùng cơ chế chú ý (attention) để mỗi phần tử trong chuỗi xem xét mọi phần tử khác; là nền tảng của các mô hình ngôn ngữ lớn, giải thích trong bài cơ chế hoạt động của LLM.

ANN khác não bộ ở những điểm nào

Phép so sánh "mô phỏng não" hữu ích để hình dung nhưng dễ gây hiểu lầm:

• Cơ chế tín hiệu: nơ-ron thật truyền xung điện theo thời gian với hóa chất dẫn truyền phức tạp; nơ-ron nhân tạo chỉ tính số liên tục theo từng bước.
• Cách học: chưa có bằng chứng rõ ràng rằng não dùng lan truyền ngược như ANN; não học liên tục, từ ít ví dụ, không cần hàng triệu mẫu có nhãn.
• Năng lượng: não hoạt động với công suất ở mức khoảng vài chục watt, trong khi huấn luyện mô hình lớn cần trung tâm dữ liệu tiêu thụ năng lượng khổng lồ.
• Cấu trúc: não có kết nối hồi tiếp dày đặc, nhiều loại tế bào và vùng chuyên biệt; ANN thường có cấu trúc đều đặn hơn nhiều.
• Hiểu biết: ANN học tương quan thống kê, không có trải nghiệm, cơ thể hay ý thức như con người.

Lĩnh vực mạng nơ-ron xung (spiking neural network) và chip neuromorphic đang cố gắng mô phỏng sát hơn cách não truyền tín hiệu, hướng tới hiệu quả năng lượng cao hơn, nhưng vẫn chủ yếu ở giai đoạn nghiên cứu.

Từ cảm hứng sinh học đến kỹ thuật thuần túy

Lịch sử ANN trải qua nhiều thăng trầm: kỳ vọng lớn thời perceptron, rồi giai đoạn trầm lắng khi giới hạn được chỉ ra, và sự trở lại mạnh mẽ từ đầu những năm 2010 nhờ dữ liệu lớn và GPU. Ngày nay, phần lớn tiến bộ đến từ kỹ thuật toán học và kỹ thuật hệ thống hơn là từ việc bắt chước não sát hơn. Để biết ANN đứng ở đâu trong bức tranh rộng của học máy, hãy đọc bài khác biệt giữa Machine Learning và Deep Learning.