Stable Diffusion: картинки на своём компьютере

Что такое Stable Diffusion и зачем запускать её локально

Stable Diffusion - модель генерации изображений по текстовому описанию: по заявлению разработчиков, она способна создавать фотореалистичные картинки практически по любому текстовому запросу. Модель относится к latent diffusion моделям и умеет не только рисовать с нуля, но и изменять уже готовые изображения по текстовым подсказкам - это отражено в описании версии Stable Diffusion 2.1.

Главное отличие локального запуска от облачных генераторов - в том, где хранятся данные и выполняются вычисления. При развёртывании Stable Diffusion на своём компьютере можно настроить работу так, что веса модели и конфигурация будут загружаться только с диска, без обращения к интернету при каждой генерации. Это удобно, если нужно работать без доступа в сеть, многократно экспериментировать с одной моделью без ограничений по количеству запросов или хранить промпты и результаты только у себя.

Если задача разовая или разбираться с установкой не хочется, проще воспользоваться готовым онлайн-инструментом - например, Kandinsky в каталоге SHEER Hub (/kandinsky/) позволяет генерировать изображения по описанию без настройки окружения на компьютере. Но если нужен постоянный доступ к инструменту, контроль над параметрами генерации и работа без ограничений облачного сервиса, локальная установка Stable Diffusion - рабочий вариант.

Что нужно для установки

Программы и инструменты Для автоматической установки интерфейса AUTOMATIC1111 на Windows в официальной инструкции указаны конкретные требования: Python версии 3.10.6 и система контроля версий Git. Эти два компонента - база, без которой скрипт установки не запустится. После их установки инструкция предполагает запуск готового скрипта, который скачивает остальные зависимости и саму модель.

Если вы предпочитаете программный способ запуска без графической оболочки, подойдёт библиотека Diffusers от Hugging Face. Она позволяет загрузить готовый pipeline и обращаться к нему из кода на Python - вариант для тех, кто хочет встроить генерацию изображений в собственный скрипт или сервис, а не работать через готовый интерфейс.

Видеокарта и видеопамять AUTOMATIC1111 заявляет поддержку видеокарт NVIDIA и AMD, при этом NVIDIA в документации названа рекомендуемым вариантом - это связано с тем, что большинство оптимизаций и библиотек для диффузионных моделей в первую очередь рассчитаны на CUDA. Точный минимум видеопамяти назвать нельзя: требования меняются в зависимости от версии модели, выбранного разрешения изображения, точности вычислений (precision) и используемых оптимизаций интерфейса. Перед установкой стоит свериться с документацией конкретной версии модели и интерфейса, который вы выбрали, а не ориентироваться на обобщённые цифры из разных источников.

Требования к процессору, объёму оперативной памяти и свободному месту на диске тоже зависят от конкретной модели и набора расширений - универсальных цифр для всех версий Stable Diffusion нет, актуальные параметры нужно смотреть в документации выбранной сборки непосредственно перед установкой.

Как запустить Stable Diffusion: два основных способа

Через Diffusers - программный интерфейс Если вы работаете на Python и хотите управлять генерацией из кода, подойдёт библиотека Diffusers. Базовый сценарий выглядит так: модель загружается методом from_pretrained, а затем pipeline переносится на видеокарту командой вида pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to(“cuda”). Это стандартный пример из документации Hugging Face, который показывает минимальный набор кода для генерации изображения на GPU.

Отдельный параметр - local_files_only. Если установить его в значение True, модель не будет загружаться с Hub заново - будут использоваться только файлы, уже сохранённые на компьютере. Это полезно, если вы заранее скачали веса модели и хотите работать без постоянного подключения к интернету или контролировать, какая именно версия модели используется в проекте.

Через веб-интерфейс AUTOMATIC1111 Для тех, кому неудобно работать через код, есть готовые веб-интерфейсы с графической оболочкой. Самый известный из них - AUTOMATIC1111 Stable Diffusion WebUI. В описании проекта указано, что интерфейс поддерживает оригинальные режимы txt2img и img2img, а также inpainting и outpainting - подробнее о разнице между ними дальше. Репозиторий распространяется по лицензии AGPL-3.0, и это важно учитывать, если вы планируете модифицировать код и распространять свою версию дальше.

txt2img, img2img, inpainting и outpainting: в чём разница

Внутри одного интерфейса обычно доступно сразу несколько режимов генерации, и они решают разные задачи.

Эти четыре режима - базовый набор, который упоминается в описании AUTOMATIC1111 как часть функциональности интерфейса. На практике большинство задач по редактированию закрываются связкой img2img и inpainting, а txt2img остаётся основным способом получить изображение с нуля без исходной картинки.

Лицензия и права на изображения: что можно, а что нет

Прежде чем использовать результаты генерации в коммерческих проектах, стоит разобраться в условиях лицензии. Stability AI указывает, что использование актуальных Core Models бесплатно для всех, если только вы не применяете их в коммерческих целях и ваш доход или доход вашей организации не превышает 1 млн долларов в год - в этом случае начинают действовать другие условия лицензии (dipsik besplatno kak otkryt chat na russkom) (nic).

По заявлению Stability AI, создатель владеет результатами, сгенерированными Core Models или производными моделями, при условии соблюдения закона и правил допустимого использования. Прежде чем публиковать или продавать изображения, стоит отдельно свериться с политикой допустимого использования конкретной модели, а не считать, что права на картинку автоматически закрывают все юридические вопросы.

Условия лицензии могут отличаться для разных версий Stable Diffusion - 1.x, 2.x, SDXL и Stable Diffusion 3.5 могут распространяться на разных условиях, и подтвердить, что они полностью совпадают, нельзя. Поэтому для каждой конкретной модели, которую вы планируете использовать, лицензию нужно проверять отдельно, а не опираться на формулировки из описания другой версии.

Отдельно стоит учитывать лицензию самого интерфейса. Например, репозиторий AUTOMATIC1111 распространяется по лицензии AGPL-3.0 - она касается кода интерфейса, а не прав на сгенерированные изображения, и регулирует, что происходит, если вы берёте этот код за основу собственного продукта и распространяете его дальше.

Когда локальный запуск оправдан, а когда проще выбрать готовый сервис

Локальная установка Stable Diffusion имеет смысл, если вы готовы разобраться с настройкой Python, видеокарты и драйверов и собираетесь генерировать изображения регулярно и в больших объёмах. Это также рабочий вариант, если важно, чтобы данные и промпты не покидали компьютер, или если вы хотите тонко настраивать модель под конкретную задачу - подключать дополнительные веса, обучать собственные стили, комбинировать расширения между собой.

Если задача - быстро получить несколько картинок для поста, презентации или теста гипотезы, разбираться с установкой может быть избыточно. В этом случае логичнее воспользоваться готовым сервисом генерации изображений из каталога, где не нужно думать про видеокарту, драйверы и зависимости. Разбор того, как выбрать подходящий генератор изображений по описанию под конкретную задачу, можно почитать в отдельной статье на эту тему (/blog/generator-izobrazheniy-kartinka-po-opisaniyu/).

Если вы разрабатываете собственный сервис на основе открытых моделей генерации изображений и хотите, чтобы о нём узнали пользователи, которые ищут такие инструменты, его можно разместить в каталоге SHEER Hub.