Lý thuyết về học sâu

Những năm gần đây, khi khả năng tính toán của các máy tính được nâng lên một tầm cao mới với lượng dữ liệu khổng lồ được thu thập thì học máy đã tiến thêm một bước dài, đẫn đến việc ra đời một lĩnh vực mới được gọi là học sâu.

Học sâu là một nhánh của ngành học máy dựa trên một tập hợp các thuật toán để cố gắng mô hình hóa dữ liệu trừu tượng ở mức cao, bằng cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp, hoặc bằng cách khác bao gồm nhiều biến đổi phi tuyến, được lấy cảm hứng từ cấu trúc và chức năng của bộ não được gọi là mạng thần kinh nhân tạo.

Một mạng thần kinh nhân tạo bao gồm ba lớp chính, đó là: lớp đầu vào, lớp ẩn và lớp đầu ra với một số mô hình học sâu (Mạng nơ ron tích chập (Convolutional Neural Network - CNN) và Mạng nơ ron hồi quy (Recurrent Neural Network - RNN)).

Đảm bảo tính riêng tư cho học sâu

Bài toán bảo vệ tính riêng tư cho học máy đã được nghiên cứu rộng rãi bởi cộng đồng khai thác dữ liệu trong những năm gần đây. Để đảm bảo tính riêng tư cho học máy nói chung và cho mô hình học sâu phân tán nói riêng có thể thực hiện theo các phương pháp khác nhau, mỗi phương pháp sẽ có những ưu, nhược điểm riêng của nó.

Tuy nhiên, các phương pháp này luôn tồn tại một sự đánh đổi cố hữu giữa tính đúng đắn của tính toán, tính riêng tư của những dữ liệu nhạy cảm và tính hiệu quả của giải pháp. Việc lựa chọn phương pháp nào phù hợp sẽ phụ thuộc vào mục tiêu của bài toán cần xử lý. Các giải pháp học máy đảm bảo tính riêng tư dựa trên tính toán bảo mật nhiều thành viên thường đảm bảo được độ chính xác và bảo vệ được các thông tin riêng tư, nhạy cảm trong dữ liệu của mỗi người dùng [1]. 

Tính toán bảo mật nhiều thành viên

Tính toán bảo mật (Sercure Computation - SC), tính toán nhiều bên (Multi-party Computation - MPC) hay tính toán bảo mật nhiều thành viên (Secure Multi-party Computation - SMC) là một lĩnh vực của mật mã với mục tiêu tạo ra các phương thức cho phép các bên cùng tính toán một hàm dựa trên các giá trị đầu vào của họ mà vẫn đảm bảo tính riêng tư của những giá trị đầu vào này.

Để thực hiện giao thức SMC chỉ cần mỗi bên tham gia có một máy tính đáng tin cậy để chạy phần giao thức của mình và cách (có thể không an toàn) để giao tiếp với các bên tham gia khác. Giao thức bao gồm một loạt các thông điệp được trao đổi giữa những bên tham gia và cuối cùng mỗi bên tham gia tìm hiểu đầu ra của giao thức. Bản thân giao thức là công khai, cho phép mỗi bên tham gia xác minh độc lập rằng phần mềm chạy trên máy của chính họ là hợp lệ [1].

Các giao thức tính toán bảo mật nhiều thành viên cho độ an toàn cao và đảm bảo được mức độ riêng tư mạnh. Tuy nhiên, những vấn đề về hiệu năng đang cản trở sự phát triển của các giao thức này.

Để làm rõ độ an toàn và mức độ đảm bảo riêng tư mạnh của phương pháp này, tác giả trình bày một giao thức học sâu có đảm bảo tính riêng tư hiệu quả dựa trên phương pháp tính toán bảo mật nhiều thành viên dựa trên giao thức tính tổng bảo mật cho bài toán an toàn thông tin phát hiện thư rác và tiến hành thử nghiệm. 

Giao thức học sâu có đảm bảo tính riêng tư hiệu quả dựa trên tính toán bảo mật nhiều thành viên

Trong mô hình huấn luyện mạng học sâu phân tán, cần định nghĩa bài toán đảm bảo tính riêng tư cho mô hình này.

Có 𝑁 bên 𝒫 = {𝑃1, 𝑃2, . . . , 𝑃𝑁} tham gia huấn luyện mô hình, trong đó mỗi bên sở hữu một bộ dữ liệu huấn luyện riêng tư tương ứng 𝐷1, 𝐷2, . . ., 𝐷𝑁. Các bên này muốn kết hợp để thực hiện việc huấn luyện một mô hình chung tổng quát mà không tiết lộ các thông tin cục bộ của mình bao gồm:

• Các thuộc tính của dữ liệu đầu vào;
• Nhãn dữ liệu đầu ra hoặc phản hồi của mô hình với dữ liệu;
• Kiến trúc chi tiết của mô hình bao gồm: kiến trúc mạng, tham số, các hàm mất mát;
• Thông tin định danh về đóng góp của một bên dữ liệu đối với một bản ghi cụ thể.

Để làm được điều này, các bên cần xây dựng và thực thi một giao thức an toàn 𝜋. Trong bài toán đặt ra, tác giả trình bày giao thức huấn luyện mạng học sâu phân tán sử dụng giao thức tính tổng bảo mật an toàn.

Quý độc giả vui lòng đọc toàn văn bài báo tại đây.