[생성AI] 생성AI 기초(8) : 스타일 트랜스퍼(Style Transfer)란?

 

스타일 트랜스퍼(Style Transfer)가 뭐죠?

스타일 트랜스퍼는 말 그대로 스타일을 전송(transfer)한다는 뜻으로 원본 이미지의 콘텐츠를 보존하면서 한 이미지의 스타일을 다른 이미지로 전송하는 프로세스를 말합니다. 이는 머신러닝(Machine Learning) 알고리즘을 사용하여 이미지, 동영상, 음악과 같은 새로운 데이터를 생성하는 생성 AI에서 많이 사용되는 기술입니다. 

기본 개념은 어렵지 않습니다. 원본이 되는 이미지의 스타일과 콘텐츠를 분리한 다음 이를 새로운 이미지에 결합하는 것입니다. 유명한 반 고흐의 초상화에서 고흐의 화풍(스타일)만 분리해서 다른 사람의 초상화로 전송하면 고흐가 그린 듯한 고흐 스타일의 초상화가 생성된다는 뜻입니다. 이때 이미지의 스타일은 질감, 색상 및 기타 시각적 특징에 의해 정의되며, 이미지의 콘텐츠는 이미지 내의 개체와 그 배열을 나타냅니다.

MS 이미지 크리에이터 모나리자에 반 고흐 초상화 스타일을 트랜스퍼한 결과물입니다.

생성 AI에서 스타일 트랜스퍼는 어떻게 작동하나요? 

작동 방식은 자세한 내용은 다소 전문적인 내용이다보니 어려울 수 있지만 기본 개념은 다음과 같습니다. 생성 AI에서 스타일 트랜스퍼는 컨볼루션 신경망(CNN) 및 적대적 생성 신경망(GAN)과 같은 딥러닝 모델을 사용하여 이루어집니다. 이러한 신경망 모델은 대규모 이미지 데이터를 학습하여 이미지의 스타일과 콘텐츠를 정의하는 기본 패턴을 파악하는 훈련을 받게 됩니다. 

이렇게 훈련을 받은 AI는 스타일 트랜스퍼를 수행하기 위해 사전에 학습된(pre-trained) 모델을 사용하여 입력 이미지에서 스타일 및 콘텐츠 특징을 추출합니다. 스타일 기능은 사전 학습된 모델의 여러 레이어 간의 상관 관계를 분석하여 얻고, 콘텐츠 기능은 모델의 특정 레이어의 활성화를 분석하여 얻게 됩니다.  

입력 이미지에서 스타일 및 콘텐츠 특징이 추출되면 이를 결합하여 입력 이미지와 콘텐츠는 동일하지만 다른 이미지의 스타일을 가진 새로운 이미지를 생성합니다. 이는 입력 이미지와 출력 이미지의 스타일 및 콘텐츠 특징의 차이를 측정하는 손실 함수를 최소화하기 위해 출력 이미지의 픽셀 값을 반복적으로 업데이트하는 그라데이션 하강과 같은 최적화 기법을 사용하여 이루어집니다.

생성 AI에서 스타일 트랜스퍼는 어떻게 활용되나요?

스타일 트랜스퍼는 이미지나 비디오 조작, 예술적인 렌더링, 시각적 스토리텔링 등 생성 AI에서 매우 폭넓게 활용되고 있습니다. 특히, 이미지 조작은 미드저니나 스테이블 디퓨전 등 최근 각광받는 이미지 생성 서비스에서 활발하게 사용되고 있는데, 한 이미지의 스타일을 다른 이미지로 전송하여 새롭고 흥미로운 시각 효과를 만들어냅니다. 위에서 말한 고흐 뿐만 아니라 모네, 몽크, 말리 등 유명한 화가의 그림의 스타일을 사진에 적용하여 사진을 그림처럼 보이게 만들 수도 있습니다. 이 작업은 미리 학습된 CNN 신경망을 사용하여 사용자의 사진에 스타일 전송을 수행하는 프리즈마와 같은 모바일 앱을 사용하여 실시간으로 수행할 수 있습니다.

스타일 트랜스퍼가 응용되는 또 다른 분야는 비디오 조작입니다. 비디오에 새롭고 흥미로운 시각 효과를 넣는 데 사용할 수 있습니다. 예를 들어, 특정 영화의 스타일을 비디오에 전송하여 비디오가 다른 스타일이나 기간에 촬영된 것처럼 보이게 만들 수 있죠. 이 작업은 원본 동영상과 콘텐츠는 동일하지만 선택한 영화의 스타일이 적용된 새 프레임을 생성할 수 있는 GANs 신경망을 통해 이루어집니다. 

이미지 및 동영상 조작 외에도 스타일 트랜스퍼는 예술적 렌더링이나 아예 새로운 아트 스타일을 생성하는 데에도 사용할 수 있습니다. 예를 들어 여러 아티스트의 스타일을 결합하여 새로운 아트 스타일을 만들 수도 있습니다. 이 작업은 여러 아티스트의 스타일을 정의하는 기본 패턴과 특징을 학습한 다음 이러한 스타일을 결합한 새로운 이미지를 생성할 수 있는 GANs 신경망을 사용하여 수행할 수 있습니다.

마지막으로 스타일 트랜스퍼를 통해 재미있는 시각적 내러티브를 만드는 데 사용 가능한 시각적 스토리텔링을 만들어 볼 수도 있습니다. 소설과 동일한 내용을 담고 있지만 유명 만화 작가의 시각적 스타일이 적용된 만화책을 만들 수도 있다는 뜻입니다. GANs 신경망을 사용해서 소설의 콘텐츠와 선택한 만화 작가의 스타일을 결합한 새로운 이미지를 생성할 수 있습니다. 

 

나만의 스타일을 창조하다

 

반 고흐 초상화 스타일 벤츠 E-Class

딥 러닝을 기반으로 하는 스타일 트랜스퍼는 생성 AI에서 정말 다양하게 응용할 수 있는 기술이자 생성 AI가 대중들의 많은 관심을 받게 만든 일등 공신이라고 할 수 있습니다. 

다만, 다른 기술과 마찬가지로 스타일 전송에도 아직 한계가 있습니다. 이미지의 스타일을 콘텐츠가 매우 다른 이미지로 옮기는 것은 아직 쉽지 않아 결과물이 예측과 전혀 다른 기묘한 그림이 생성되기도 합니다.  즉, 고흐의 초상화 스타일을 메르세데스 벤츠로 옮기는 것은 쉽지 않다는 것이죠. 지속적인 연구와 개발이 이루어지고 있으니 조만간 더 흥미로운 스타일의 그림들을 만들어 볼 수 있을 것 같습니다. 

이미지 및 비디오 조작, 예술적 렌더링, 시각적 스토리텔링 등 스타일 트랜스퍼는 나이나 배경과 상관없이 다양한 사람들이 활용하고 즐길 수 있는 기술입니다. 잠재력이 무궁무진한 만큼, 다양한 시도를 통해 여러분만의 독특한 스타일을 만들어보시기 바랍니다.