[StableDiffusion] Controlnet #1

https://youtu.be/J-9d8mF7dI4?si=tiatQ1V2U5sl8vTl

 

 

ControlNet 설치

Extensions -> Available -> Load from -> sd-webui-controlnet 검색하여 설치

 

 

Installed 보면 설치내역 알 수 있음. (난 이미 처음부터 깔려있음) Check for Updates -> Apply and quit

 

Controlnet이 생겨있다

 

Controlnet 사용하려면 전용 모델이 필요

📌https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

pth 확장자 전부 받음

 

 

pth확장자

.pth 확장자는 주로 PyTorch, 인기 있는 머신러닝 프레임워크에서 사용되는 파일 형식.

PyTorch 모델의 가중치(weights), 즉 모델이 학습하는 동안 얻은 파라미터를 저장하기 위한 것.

=> 학습모델 같은거인듯

 

다운받은 파일을  sd/stable-diffusion-webui/extensions/sd-webui-controlnet/models 에 넣는다

 

 

 

여기를 눌러서 펼친다

 

왼쪽 Preprocessor은 분석에 뭘 쓸건지, 오른쪽 Model은 생성에 뭘 쓸건지 (아까 다운받은게 목록에 떠있음. 없으면 옆에 파란버튼 눌러 새로고침)

 

 

Canny

 

enable: controlnet 을 쓸 것이다

Pixel Perpect: 자동으로 최적의 해상도 설정

Canny : 스케치를 딴 다음 그걸 기반으로 생성

 

폭발 아이콘 클릭하면 분석이미지를 미리 볼 수 있다

나머지 옵션은 그냥 두는게 좋음

 

Generate 하니까 원래 이미지의 구도로 만들어짐

 

 

Depth

Depth Map을 이용하는 듯

깊이감이 있는 사진이면 유용할 듯

 

OpenPose

사람의 뼈대를 인식해서 동일한 포즈로 생성해줌

 

Extensions > Available > OpenPose Editor 검색

 

OpenPose Editor를 설치하면 포즈를 직접 수정할 수 있다

 

재시작하면 OpenPose Editor 메뉴가 생겨있음

 

자세 설정하고 Send to txt2img 클릭

 

뼈대가 자동으로 들어간다. Controlnet에서 OpenPose 선택. preproessor는 이미 해놨으니까 None

 

Pose가 실제 사람 비율과 맞아야 제대로 된 결과가 나온다.

 

 

📌civit ai: https://civitai.com/models

위 사이트에서 Filter를 pose로 하면 사람들이 만들어놓은 포즈 받을 수 있음