컴퓨터가 하다 하다 이제 창작을 하네? GAN이 뭐길래?

알파고를 통해 인공지능이 알려지자, 많은 사람들은 컴퓨터를 신기해 하면서도 두려워 했던 반응들이 기억이 난다. 백만원, 천만원의 레슨을 받고 몇 십 수 년의 내공으로 빚어진 바둑 천재들이 컴퓨터 한대에 의해 하나 둘 씩 무너지다 급기야 대한민국 최정상의 바둑기사 이세돌까지 당하고 만다. '조만간 내 직업도 컴퓨터로 대체되면 어떡하지?'라는 생각과 함께 걱정이 모두 한번쯤은 했을 것이다. 컴퓨터가 우리 생활에 들어온 것은 현실이 되었다. 농장에서는 인력대신 IoT를 활용하여 농작물을 관리하며, 공장에서는 기계들이 쉴새없이 물건들을 찍어내려가며 제조하고, 배달업에서는 라스트마일이니 뭐니 하면서 무인배송기와 드론으로 택배를 실어 나르며 일분 일초가 바쁘게 우리의 일자리를 뺐어가고 있다.  알파고가 이세돌을 꺽고난 이후로도 분명히 많은 바둑 기사 꿈나무들도 프로 바둑기사 대신 인공지능에게 수업료를 내며 배우고 있지 않을까 생각해본다. 

 

하지만 이 난리통에서도 우리는 괜찮아라며 안도의 한숨을 내쉬는 집단들이 있었다. 화가, 디자이너, 작곡가 등 창작하는 사람들이다. 이 사람들은 특히 직업에 대한 자존감이 너무 강해서 천재라는 우월주의에 헤어나오지 못하는 모습을 종종 보이곤 한다 (장난입니다). 따라서 다 같이 절망을 맞이하고 있는 이 시기에, 안도하는 사람들에게도 같이 절망을 공유하고자 오늘의 글을 써내려가 본다(개발자들은 예외. 왜냐면 개발자들은 탈모가 많다고 합니다...🥲). 그것은 바로 인공지능이 창작의 영역까지 침범했다는 사실이다. 오늘 소개할 기술은 GAN(Generative Adversarial Network)으로 근 몇년간 핫하게 떠오르는 머신러닝 한 가지 분야이다. 오늘의 글에서는 GAN이 무엇이고, 어떻게 창작할 수 있으며, 실생활에서 어떻게 다양하게 활용되고 있는지 알아보도록 해보자...!

<이 그림은 GAN이 창작한 그림이다 (출처: Deep Hunt)>

이름도 멋있는 GAN. 너 뭐야?

아마 많은 사람들이 GAN에 대해 생소할 것이다. (우선 이 단어는 '걘'이라고 읽는다) GAN을 설명하자면 Generative Adversarial Network의 약자로 한국어로는 '생성적 대립 신경망'으로 불린다. 명칭 그대로 해석하자면, 기존에 있던 인공지능 신경망을 이용하여 두개의 대립구조를 만들고, 이를 통해 새로운 결과물을 생성하는 모델이다. 이게 도대체 무슨 이야기냐, 쉽게 예를 한번 들어주겠다.

 

롯데백화점에 리커머스라는 한 명품 중고샵이 들어왔다고 치자. 이 중고샵은 중고명품을 사기도하고 팔기도 하는 샵이기 때문에, 유능한 판별가 A를 상품의 진품과 가품 여부를 판단하도록 고용하였다. 하지만 최고의 방패가 있으면 최고의 검이 있는 법! 백화점 중고 명품샵이 롯데백화점에 밖에 없기 떄문에 입지도 좋고 신뢰성이 좋아 시세보다 좋은 가격에 중고 물품을 사들이고 있다는 소문이 퍼진 이후로, 짝퉁 제조의 달인 B가 가품을 최대한 정교하게 만들어 해당 중고샵에 납품하기로 마음 먹는다. 결국 판별가 A는 수 많은 짝퉁 가방을 접하며 어떤 제품도 판별하는 세계적인 판별사가 되었고, 짝퉁 제조사 B는 강력한 판별가 A로 인해 그 누구보다 정교한 짝퉁을 제조하는 세계적인 제조자로 자리잡게 되었다. 

<짝퉁 제조사(좌), 판별가 (우)>

 

위에 이야기를 읽은 여러분은 아마 속으로 '어쩌라고'라고 생각하고 있을 것이다. 하지만 이 이야기는 놀랍게도 GAN과 관련이 있다. GAN은 Generator(제조자)와 Discriminator(판별가)을 대결구도로 학습을 시킨다. Input이 주어졌을때 Generator은 최대한 진짜 같도록 정교하게 변형 시킬것이고, Discriminator은 그것이 아무리 정교해도 진짜가 아니라는 것을 밝혀낼것이다. 이렇게 계속 학습하다보면, 어떤 Input을 넣어도 정말 그럴듯한 진품이 만들어질 것이라는 이론이다. 여기서 중요한 것은 어떤것을 판별할 것이냐이다. 내가 무엇을 판별할 것이냐에 따라 그 대상의 결과물이 나오기 떄문이다. 

그래서 이것이 어떻게 창작을 한다는 거냐?  

GAN이 무서운 점은 "무엇이든" 진짜처럼 만들 수 있다는 것이다. 사실 창작 자체도 무에서 유를 창조하는 것이 아니다. 음악중에도 클래식・발라드 등의 범주가 있고, 미술에는 수채화・유화 등의 범주가 있듯이 유사하지만 이전에 없던것만 만들면 된다. GAN도 그 정도는 할 수 있다는 것이다. Discriminator에 클래식 노래를 한 껏 넣어주어 클래식이 뭔지 학습시키고, Generator에 한 껏 클래식 음악처럼 만들도록 학습시킨다면, 랜덤 값을 넣어주는 것 만으로 클래식 풍의 음악이 만들어질 수 있다는 것이다. 

 

GAN이 창작할 수 있는 이유는 바로 GAN은 생성 모델이기 때문이다. 생성모델의 특징은 학습 데이터 분포를 학습하여 실제 데이터와의 차이를 줄이면 나중에 실제 데이터와 비슷한 결과물을 만들 수 있는것이다(잠깐 졸았다면 세수하고 돌아오도록 하자). 그렇다면 생성 모델은 GAN 이외에 없는 것인가? 그렇지는 않다. GAN 이전에도 지금까지 수 많은 생성 모델이 존재해왔다. 다만 GAN만큼의 정교하며 훌륭한 성능을 낸 생성모델이 없었던 것이다. 그 누가 괴짜 같은 최고의 창과 최고의 방패의 '모순' 형태의 대결 구도 인공지능이 대단한 성능을 낼지 예측했겠는가? 심지어 GAN은 시기도 잘 탔다. 일전에 딥러닝 분야를 뜨겁게 한 CNN이라는 이미지 분석 모델이 마침 GAN과 궁합이 잘 맞기도 했고, 이미지・영상에 활용도가 높아, GAN은 현재 인공지능 분야에서 실용성이 높기로 큰 인기를 누리고 있다. 

 

실생활에서 우리가 마주한 GAN

앞서 GAN이 실용성 높다라고 말한 이유는, GAN은 이미 우리 생활속에서도 많이 접할 수 있기 때문이다. 특히 미디어에서 많이 접할 수 있기 때문에 더욱 더 친근감이 들기도 한다. 하나씩 살펴보도록 해보자.

딥페이크

<유투브 DG Killer Voice 중 >

최근에 일론 머스크가 많은 사람들에게 큰 절망과 동시에 큰 웃음을 주고 있다. 일론 머스크의 얼굴을 합성하여 패러디한 이 유명한 영상처럼 수 많은 딥페이크 영상들이 GAN 기술을 이용하여 만들어진 것은 아마 잘 모르고 있을것이다. 워에서 말한 다른 사람의 얼굴을 진짜 일론 머스크처럼 만들어 AI조차 구분 못하게 경지까지 오르면 정말 정교한 딥페이크 영상이 만들어지는 것이다. 하지만 딥페이크를 악용한 범죄들이 많이 생겨나며 마냥 좋다라고 말하기에는 어렵다. 

 

가상 모델 생성

<Datagrid 제공>

의류 브랜드 웹 사이트 들어가면 옷만 전시되는 사진과 모델이 옷을 입고 있는건 큰 차이가 난다. 이런 모델을 고용하는 것은 신규 런칭한 브랜드에게는 큰 부담이 될 수 밖에 없다. 이런 업체들을 위해, AI 가상 모델에게 옷을 입히는 방법으로도 GAN이 사용되기도 한다. 원하는 인종, 피부 색, 신체 크기를 원하는 대로 설정을 할 수 있고, 입히고 싶은 옷을 선택하면, 해당 옷을 입은 맞춤형 모델이 생성된다. 이때 모델의 얼굴은 실재 존재하는 사람이 아닌, 초상권이 없는 가상의 사람의 얼굴이다. 

이미지 업스케일링

<출처: Neurohive>

이건 GAN으로 이미지 복원했을때의 사진이다. 해당 예제는 CelebA라는 수 많은 셀럽의 사진 데이터셋을 학습시킨 후, 사람의 얼굴에 한하여서 복원이 가능하다. 이건 비단 사람 얼굴에 해당되는건 아니다. 해상도 낮은 옛날 사진 또는 영상을 복원하여 출판하는 일도 생기고 있다. 최근에 넷플릭스에 역사 다큐멘터리에서는 옛날 영상을 복원하여서 업로드한 넷플릭스 오리지널 시리즈가 있다. 수 많은 흑백 전쟁 영상을 학습시킨 후 그것을 GAN을 이용하여 복원시킨 것이라고 보면 되겠다. 

 

앞으로 기대되는 GAN의 행보

GAN은 2014년도에 처음 발견된 기술이지만 벌써 이미 우리 삶 곳곳에 침투 되어있다. 앞서 설명하지 못했지만 최근 들어서 우리가 일상에서 자주 사용하는 사진 앱들의 등장에 그 내부를 들여다보면 GAN의 영향이 있다. 얼굴형도 바꾸고, 배경의 어떠한 물체를 없애며, 다양한 꾸미기 기능 등, 수 많은 기능들이 GAN을 통해 구현이 되어지고 있다. GAN은 실로 무서운 속도로 우리 삶 가운데 자리매김을 하였고, 앞으로는 어떤 영역까지 GAN이 사용될 지 그 가능성은 무궁무진해 보인다. 

 

앞서 필자는 기술의 발전이 기존의 인간의 영역을 침범하는 것을 '절망'이라고 표현하였다. AI가 발전하며 인간만 할 수 있다고 생각하던 정교한 것들을 기계들이 해내고, 심지어 창작의 영역에 침범하기까지 이르렀다. 하지만 그렇다고 해서 과연 그것을 '절망'이라고 단정 지을 수 있을까? 그렇지 않다. 왜냐하면 새로운 기술속에 또 새로운 기회가 있기 때문이다. 넥플릭스는 새로운 기술을 접목시켜 재빠르게 역사 컨텐츠를 재구성하여 많은 역사 덕후들에게 사랑을 받았고, 네이버는 스노우라는 카메라도 아닌 사진 어플이라는 것을 만들어 전세계적으로 열풍을 일으키고 있다. 따라서 우리의 역할은 신기술 개발은 기술자에게 맡기되, 앞으로 새로 나오는 GAN과 같은 기술들을 유심히 살펴보며, 오히려 기술의 발전을 기회로 잡는 것이 그 어느 때보다 중요하다고 판단된다. 지금 현재 이 글을 읽고 있는 여러분들이 앞장 서서 신기술을 배우고 각자의 위치와 상황에서 기술을 접목시켜 절망에서 기회로 바꾸는 당사자들이 되길 바라겠다.