Google ra mắt VaultGemma, mô hình AI đặt quyền riêng tư lên hàng đầu

Google chính thức ra mắt VaultGemma, mô hình AI tập trung vào quyền riêng tư, nhằm ngăn rò rỉ dữ liệu đào tạo và bảo vệ thông tin người dùng.

Google vừa công bố VaultGemma, một mô hình AI thế hệ mới được thiết kế chuyên biệt nhằm bảo vệ quyền riêng tư dữ liệu và ngăn chặn nguy cơ rò rỉ trong quá trình đào tạo.

Đây là nỗ lực tiếp theo của gã khổng lồ công nghệ trong bối cảnh các mô hình ngôn ngữ lớn (LLM) liên tục bị đặt câu hỏi về khả năng lưu giữ và tái tạo thông tin nhạy cảm.

VaultGemma được phát triển từ đầu với cơ chế quyền riêng tư khác biệt (Differential Privacy – DP), giúp mô hình không ghi nhớ và tái tạo lại dữ liệu đào tạo gốc.

Theo Google, đây là mô hình ngôn ngữ mở lớn nhất từng được huấn luyện bằng DP, với quy mô 1 tỉ tham số, đánh dấu bước tiến quan trọng trong việc xây dựng AI riêng tư theo thiết kế.

Đặc biệt, trọng số của VaultGemma đã được phát hành miễn phí trên các nền tảng như Hugging Face và Kaggle, mở ra cơ hội cho cộng đồng nghiên cứu và phát triển AI khai thác, thử nghiệm.

Google cho biết họ đã hợp tác chặt chẽ với DeepMind để thiết lập các quy tắc mở rộng mới cho việc huấn luyện, qua đó cân bằng giữa ba yếu tố gồm quyền riêng tư, hiệu suất và chi phí tính toán.

Trong nhiều năm qua, các chuyên gia liên tục cảnh báo nguy cơ rò rỉ dữ liệu từ LLM.

Bằng cách gửi đúng lời nhắc, kẻ tấn công có thể buộc mô hình tiết lộ thông tin nhạy cảm.

Một ví dụ điển hình là vụ kiện giữa New York Times và OpenAI, trong đó tòa soạn cáo buộc ChatGPT đã tái tạo nguyên văn một số bài báo của họ.

Thay vì chỉ áp dụng các biện pháp bảo vệ quyền riêng tư ở cấp độ người dùng như cách thường thấy, Google đã tích hợp quyền riêng tư khác biệt (DP) ngay trong quá trình đào tạo, bằng cách thêm các lớp nhiễu để ngăn mô hình ghi nhớ và tái tạo dữ liệu gốc.

Tuy nhiên, giải pháp này cũng mang lại thách thức khi quá trình huấn luyện kém ổn định hơn, kích thước lô phải tăng và chi phí tính toán cao hơn.

Bất chấp những đánh đổi, Google khẳng định phát hiện quan trọng của họ là có thể đào tạo một mô hình nhỏ hơn nhưng hiệu quả hơn khi áp dụng quy mô lô lớn trong môi trường có DP.

Với VaultGemma, Google kỳ vọng đặt ra chuẩn mực mới cho ngành AI, không chỉ mạnh mẽ, mà còn an toàn và tôn trọng quyền riêng tư người dùng ngay từ nền tảng.