Вышла OminiControl — нейросеть для перемещения объектов с одного изображения на другое
Разработчики выпустили контроллер OminiControl для диффузионных моделей-трансформеров. С её помощью пользователи могут перемещать объекты с фотографии на сгенерированное изображение.
OminiControl работает в двух режимах: • Генерация. В этом режиме на вход нейросети надо передать фотографию исходного объекта и текстом описать желаемый результат. После чего нейросеть сгенерирует изображение, на котором будет находиться исходный объект.
• Заполнение маски. Пользователь может закрыть маской фрагменты исходного изображения и задать текстовый запрос для генерации. После этого нейросеть заполнит маску, учитывая промпт.
Пока нейросеть может генерировать изображения с разрешением 512 × 512 пикселей. В ближайшее время разработчики выпустят модель, которая будет создавать картинки с разрешением 1024 × 1024 пикселей.
Компьютерный доктор
Вышла OminiControl — нейросеть для перемещения объектов с одного изображения на другое
Разработчики выпустили контроллер OminiControl для диффузионных моделей-трансформеров. С её помощью пользователи могут перемещать объекты с фотографии на сгенерированное изображение.• Генерация. В этом режиме на вход нейросети надо передать фотографию исходного объекта и текстом описать желаемый результат. После чего нейросеть сгенерирует изображение, на котором будет находиться исходный объект.
Код OminiControl опубликован на GitHub, а на площадке HuggingFace развернули бесплатное демо.
Источник