Công cụ AI chuyển đổi video phát trực tiếp đầu tiên thế giới

Mirage được giới thiệu có thể chuyển đổi các luồng video trực tiếp sang nhiều phong cách hình ảnh khác nhau mà vẫn giữ nguyên chuyển động, cấu trúc và tốc độ khung hình.

Công ty khởi nghiệp trong lĩnh vực công nghệ trí tuệ nhân tạo (AI) của Israel, Decart, vừa công bố một hệ thống mà hãng mô tả là mô hình video-to-video tự hồi tiếp (autoregressive) theo thời gian thực đầu tiên trên thế giới.

Hệ thống mới có tên Mirage, được thiết kế để chuyển đổi các luồng video trực tiếp sang nhiều phong cách hình ảnh khác nhau mà vẫn giữ nguyên chuyển động, cấu trúc và tốc độ khung hình, một bước tiến có thể mở ra những khả năng mới trong cách sản xuất và điều chỉnh video theo thời gian thực.

Khác với các công cụ tạo ảnh và video AI trước đây thường gặp lỗi hình ảnh, Mirage tạo từng khung hình video theo trình tự, dựa vào khung hình trước đó và một đoạn văn bản ngắn mô tả phong cách mong muốn.

Phương pháp tự hồi tiếp này giúp đảm bảo tính nhất quán về chuyển động và sự ổn định về mặt hình ảnh, điều mà nhiều mô hình dựa trên khuếch tán (diffusion models) hiện nay chưa thể làm tốt.

Theo Decart, Mirage có thể xử lý 20 khung hình/giây ở độ phân giải trang mạng tiêu chuẩn, với độ trễ chỉ khoảng 100 mili giây cho mỗi khung hình. Hiệu suất này được kỳ vọng có thể áp dụng cho các ứng dụng như phát trực tiếp, gọi video tương tác và các tình huống thời gian thực khác, nếu hạ tầng phần cứng và điện toán đám mây đủ mạnh.

Công ty cũng cho biết sẽ mở rộng hỗ trợ cho độ phân giải Full HD và 4K khi hiệu suất hệ thống được cải thiện.

Decart được tiến sĩ Dean Leitersdorf và cựu sĩ quan quân đội Moshe Shalev thành lập vào năm 2023. Kể từ khi thành lập, công ty đã huy động được 53 triệu USD từ các quỹ đầu tư mạo hiểm hàng đầu, bao gồm Sequoia, Benchmark và Zeev Ventures.

Hiện tại, công ty có hơn 50 nhân viên, phần lớn làm việc tại trụ sở chính ở Tel Aviv, cùng với các văn phòng bổ sung ở miền Bắc Israel, các thành phố San Francisco và New York ở Mỹ.