Inpainting w Stable Diffusion to zaawansowana technika pozwalająca na selektywną modyfikację określonych obszarów obrazu przy użyciu modeli dyfuzji latentnej. Technologia ta wykorzystuje maski binarne do wskazania regionów przeznaczonych do regeneracji oraz prompty tekstowe definiujące pożądaną zawartość. W przeciwieństwie do standardowych modeli text-to-image, architektury inpaintingu wymagają specjalistycznej konfiguracji z rozszerzonym wejściem kanałowym.Architektura i Modele Specjalistyczne
Jak zacząć?
W pobranym i zainstalowanym środowisku (jeśli jeszcze tego nie zrobiłeś zerknij tutaj)
przejdź do zakładki img2img i wybierz Inpaint.
Twoim oczom ukaże się miejsce na wpisanie prompta i wysłanie zdjęcia.
Po wybraniu zdjęcia lewym przyciskiem myszy nakładasz maskę na element które chcesz zmienić np.
Następnie przechodzimy dalej i widzimy następujące elementy
i co istotne parametry width oraz height oraz Sampling steps/method i CFG Scale takie jak w oryginalnym obrazie, zmiana chociażby rozmiaru zwróci obraz zniekształcony.
Reszta parametrów odpowiada za:
Resize mode:
- Just resize – Proste przeskalowanie obrazu do docelowego rozmiaru
- Crop and resize – Przycięcie i przeskalowanie obrazu
- Resize and fill – Przeskalowanie z wypełnieniem brakujących obszarów
- Just resize (latent upscale) – Przeskalowanie w przestrzeni latentowej
Mask mode:
- Inpaint masked – Inpaintowanie tylko obszarów oznaczonych maską (białe obszary)
- Inpaint not masked – Inpaintowanie obszarów poza maską (odwrotność standardowego działania)
Masked content:
- fill – Wypełnienie zamaskowanego obszaru neutralnym kolorem przed rozpoczęciem procesu
- original – Zachowanie oryginalnej zawartości jako punkt wyjściowy
- latent noise – Wypełnienie obszaru losowym szumem w przestrzeni latentowej
- latent nothing – Brak wypełnienia w przestrzeni latentowej
- Inpaint area
Inpaint area:
- Whole picture – Przetwarzanie całego obrazu
- Only masked – Przetwarzanie tylko obszaru wokół maski dla zwiększenia wydajności
Only masked painting – Określa ile pikseli wokół zamaskowanego obszaru ma być uwzględnionych podczas przetwarzania w trybie “Only masked”.
Denoising strength – Siła procesu denoising określająca, jak bardzo oryginalny obraz może być zmodyfikowany.
Po wpisaniu prompta oraz zaznaczeniu obiektu możesz zauważyć że zaznaczony fragment został zmieniony a reszta obrazu zachowana.
Zastosowania Praktyczne
Inpainting znajduje zastosowanie w korekcji defektów wizualnych, modyfikacji elementów kompozycji oraz usuwaniu niechcianych obiektów z obrazów. Typowe scenariusze obejmują naprawę zniekształconych twarzy, zmianę ekspresji mimicznych, korekcję anatomii dłoni oraz usuwanie artefaktów tła. Technika umożliwia również dodawanie nowych elementów do istniejących kompozycji z zachowaniem spójności stylistycznej i oświetlenia.
Dla uzyskania optymalnych rezultatów zaleca się eksperymentowanie z różnymi wartościami siły denoizingu oraz wykorzystanie losowych seed’ów do generowania wielu wariantów. Zaawansowani użytkownicy mogą łączyć inpainting z technikami image-to-image dla precyzyjniejszej kontroli nad efektem końcowym.
