Нейросеть Kandinsky обучит роботов законам физики

Сбер представил новое семейство генеративных моделей Kandinsky WM 1.0, ориентированных на создание видео с высокой физической достоверностью. Эти модели специально разработаны для обучения систем Physical AI — искусственного интеллекта, способного воспринимать и взаимодействовать с физическим миром. В основе Kandinsky WM 1.0 лежит нейросеть Kandinsky 5.0 Video Lite, дополнительно обученная на материалах с камер роботов, беспилотных автомобилей и промышленных процессов. Такое обучение позволяет генерировать видео, максимально приближённые к реальным физическим законам.

Главное преимущество новых моделей заключается в возможности создавать видеоматериалы с редкими, сложными или опасными ситуациями, которые трудно или невозможно снять в реальности. Это особенно актуально для тренировки беспилотных такси, промышленных роботов и других автономных систем, для которых сбор объемных и разнообразных данных представляет значительные сложности и затраты. Kandinsky WM 1.0 генерирует короткие видео продолжительностью около 5 секунд, отражающие базовые действия — манипуляции с объектами, дорожные ситуации и этапы производственных процессов. Такие «кирпичики» служат основой для построения полноценного моделирования мира и создания симуляторов для обучения и тестирования роботов.

Для повышения физической точности создаваемых роликов разработчики применили дообучение на миллионах реальных видеозаписей и методы обучения с подкреплением, оценивающие сохранение формы объектов, правильность перспективы и плавность движения. Благодаря этому Kandinsky WM 1.0 минимизирует типичные ошибки генерации видео, такие как искажение объектов и нереалистичные движения. Опубликованный под лицензией MIT код и веса моделей доступны всем желающим бесплатно, что делает их ценным инструментом для широкого круга специалистов — от стартапов и университетов до крупных компаний в области беспилотного транспорта и промышленной автоматизации.

Уже сейчас модели Kandinsky WM 1.0 используются в Центре робототехники Сбера для обучения собственных роботов, а также в дорожном симуляторе института AIRI. По словам Дениса Димитрова, CTO Kandinsky и управляющего директора по исследованию данных Сбера, эти технологии позволяют виртуально «пережить» даже те сценарии, которые невозможно воспроизвести в реальной жизни. Таким образом, новые модели делают важный шаг к созданию систем, способных понимать физическую реальность, предсказывать развитие событий и самостоятельно принимать решения в сложных ситуациях.