요 며칠(20240523 기준) stable difussion 을 써보고 나서 느낀 몇가지 내용을 기억삼아 정리해 봅니다. 아래 내용은 linux 서버에 설치한 상태를 기준하여 정리한 내용이기 때문에 데스크탑에 standalone 으로 설치한 경우에는 다를 수 있습니다.
1. checkpoint model -> lora 순서로 작업하는것이 좋다. 일단 checkpoint model 이 쓸만해야 이후 lora 에서 변주를 주기가 좋다
2. checkpoint model 은 가능하면 ckpt 가 아니라 safetensors 모델을 사용하는것이 좋다. 다만 ckpt 외에 구할 수 없는 경우는 어쩔 수 없지만...
3. checkpoint model 에서 girl 또는 woman 을 넣는 경우 조금만 prompt 를 방심하먄 야짤이 나온다. 여성캐릭터를 생성할때는 꼭 negative keyword 에 관련된 것들을 넣는 것이 좋다. SFW(상업사용), NSFW(Not safe for work/후방주의), hard 등의 키워드를 negative 에 사용해야 좋다
4. lora 는 가중치를 고려해서 처리해야 한다. lora 의 가중치가 1 에 가까울수록 checkpoint 의 생성 결과를 최대한 lora 에 정의된 스타일로 덧씌운다.
5. checkpoint model 을 전환한 이후에 lora tab 의 내용을 reload 해야할 필요가 있다. 현재 선택된 checkpoint model 과 호환? 되는 lora 를 걸러준다.
6. 기본 checkpoint model 은 사용할 수 있는 키워드가 제한적이다. 이 경우 생성을 실패하게 되는데, 이때 다른 checkpoint model 로 전환한다고 해도 stable difussion 이 오동작할 가능성이 있다. 이 경우 stable difussion 을 재시작 하는것이 좋다
7. stable difussion 으로 뭔가를 생성하다 보면 원하지 않았는데 학습이 진행되는 느낌이 있다. 생성을 반복할수록 완성도가 높은 이미지가 나오지만, 다른 방향의 키워드가 잘 적용되지 않는 상태로 전환되기도 한다. 이 경우 원한다면 stable difussion 을 재시작 하는것이 좋다.
사람 관련을 생성할때 참고할 prompt 는 다음과 같은듯 하다(이건 사람마다 생각의 방식이 다르기 때문에 참고 정도로만 봐주세요)
* 배경 및 날씨 등
* 성별(연령대를 감안할 수 있는 키워드도 좋다. girl, woman, man, uncle, guy 등)
* 근육상태(slim, muscular 등) 또는 체형
* 시선 및 기타 방향
* 포즈
* 모자 여부
* 표정 여부
* 머리 색상
* 머리 길이
* 전체 옷 스타일
* 상의 옷 종류 및 색상
* 하의 옷 종류 및 색상
* 카메라 각도
댓글 0개