Các công nghệ trí tuệ nhân tạo (AI), bao gồm các mô hình ngôn ngữ lớn (LLM), đang trở thành một phần quan trọng trong cuộc sống hàng ngày. Tuy nhiên, trung tâm dữ liệu hỗ trợ chúng tiêu tốn mức năng lượng khổng lồ. Chỉ riêng tại Đức, các trung tâm dữ liệu đã sử dụng khoảng 16 tỷ kWh điện trong năm 2020, chiếm khoảng 1% tổng năng lượng tiêu thụ của cả nước. Đến năm 2025, con số này dự kiến tăng lên 22 tỷ kWh.
Khi các ứng dụng AI trở nên phức tạp hơn, nhu cầu năng lượng của chúng sẽ tiếp tục tăng, đặc biệt là trong quá trình đào tạo mạng thần kinh nhân tạo. Để giải quyết thách thức này, Felix Dietrich, giáo sư về học máy tăng cường vật lý tại Đại học Kỹ thuật Munchen, Đức, cùng đồng nghiệp phát triển phương pháp đào tạo mới nhanh gấp 100 lần các phương pháp truyền thống mà vẫn duy trì độ chính xác tương tự. Đột phá này có tiềm năng giúp giảm đáng kể mức năng lượng cần thiết để đào tạo AI, SciTechDaily hôm 10/3 đưa tin.
Mạng thần kinh nhân tạo, cung cấp sức mạnh cho các nhiệm vụ AI như nhận dạng hình ảnh và xử lý ngôn ngữ, được mô phỏng theo não người. Chúng gồm nhiều nút thần kinh (hay neuron nhân tạo) kết nối với nhau, xử lý thông tin bằng cách gán các giá trị cho tín hiệu đầu vào. Khi đạt đến một ngưỡng nhất định, tín hiệu được chuyển đến lớp nút tiếp theo.
Quá trình đào tạo mạng thần kinh nhân tạo đòi hỏi lượng tính toán khổng lồ nên tiêu tốn rất nhiều điện. Ban đầu, các giá trị tham số được gán ngẫu nhiên. Hệ thống sau đó liên tục điều chỉnh các giá trị này qua nhiều lần lặp để cải thiện độ chính xác của dự đoán.
Trong nghiên cứu mới, thay vì lặp đi lặp lại việc xác định tham số giữa các nút, nhóm của Dietrich sử dụng xác suất. Phương pháp xác suất này dựa trên việc sử dụng các giá trị tại những vị trí quan trọng trong dữ liệu đào tạo, nơi các giá trị thay đổi mạnh và nhanh.
Mục tiêu của nghiên cứu mới là dùng phương pháp này để thu được những hệ thống động lực học tiết kiệm năng lượng từ dữ liệu. Những hệ thống như vậy thay đổi theo một số quy tắc nhất định qua thời gian, có thể hiện diện trong các mô hình khí hậu và thị trường tài chính.
"Phương pháp của chúng tôi cho phép xác định những tham số cần thiết với năng lượng tính toán tối thiểu. Điều này có thể giúp việc đào tạo mạng thần kinh nhân tạo trở nên nhanh hơn nhiều và tiết kiệm năng lượng hơn. Ngoài ra, chúng tôi nhận thấy rằng độ chính xác của phương pháp mới cũng tương đương với các mạng được đào tạo theo kiểu lặp đi lặp lại", Dietrich cho biết.
Ý kiến ()