Nvidia выпустила мощный инструмент, позволяющий разработчикам генерировать изображения в Blender, используя в качестве основы 3D-модель, а не текстовые промпты. Инструмент получил длинное название — AI Blueprint for 3D-guided generative AI — и уже доступен для скачивания.
Суть технологии заключается в том, что пользователь может собрать сцену в популярном 3D-редакторе Blender с генеративной нейросетью FLUX.1 от Black Forest Lab, расставив здания, деревья, транспорт и другие объекты, а затем на основе этой композиции нейросеть сгенерирует реалистичное и детализированное 2D-изображение. Такой подход, как отмечает The Verge, даёт больше контроля, чем традиционные текстовые описания. Например, можно точно задать ракурс, расположение элементов и даже их пропорции, избежав долгих правок.
«Этот инструмент использует 3D-сцену как каркас, поэтому подойдут даже грубые модели, так как нейросеть сама доработает детали», — поясняют в Nvidia. Отмечается, что такой метод особенно полезен, когда необходимо получить конкретный результат, а не полагаться на случайность генерации. Например, если дизайнер создаёт город с определённым количеством зданий и машин, он может быстро собрать сцену в Blender, а FLUX.1 превратит её в финальное изображение и избавит от необходимости бесконечно корректировать промпты, пытаясь приблизиться к желаемому, более точному результату.
Вообще, Nvidia позиционирует свои AI Blueprints как «готовые, настраиваемые рабочие процессы», упрощающие разработку приложений на основе генеративного ИИ. В данном случае инструмент включает пошаговые инструкции, примеры ассетов и предустановленную среду для удобства пользователей. Однако идея не уникальна: ранее компания Adobe также представила прототип похожего решения под названием Project Concept на своей конференции MAX в октябре. Однако пока её вариант остаётся экспериментальным, и о широком релизе речи не идёт.
Тем временем новый инструмент от Nvidia уже доступен для загрузки, но требует мощной видеокарты — например, RTX 4080 или выше. Эксперты отмечают, что подобные технологии могут ускорить работу дизайнеров, концепт-художников и геймдев-студий, стремящихся к более точным результатам при работе с ИИ-генерацией, а также сократить время на подбор промптов.