정지된 사진을 보고 다음에 무슨 일이 일어날지를 예측하고 이를 영상으로 만들어주는 알고리즘
정지된 사진을 보고 다음에 무슨 일이 일어날지를 예측하고 이를 영상으로 만들어주는 알고리즘
  • 금민호 기자
  • 승인 2019.10.07 07:20
  • 댓글 0
이 기사를 공유합니다

[퓨처타임즈=금민호기자] 좋아하는 사진을 자동으로 짧은 비디오 영상으로 변환시킬 수 있다고 상상해보라. 판타지처럼 들리는가? 이렇게 되기까지 그리 오래 걸리지 않을 전망이다. MIT의 칼 본드릭(Carl Vondrick), 하메드 피시아배시(Hamed Pirsiavash)와 안토니오 토랄바(Antonio Torralba)는 최근 딥러닝 알고리즘을 이용하여 하나의 정지 화면을 기반으로 1초의 예측 영상을 생성하는데 성공했다.

 

 

신 다이내믹스(Scene Dynamics)라고 부르는 이 소프트웨어는 약 2백만 개의 분류되지 않은 영상을 통해 학습되었다. 새로운 이미지가 주어지면 시스템은 두 개의 경쟁적인 신경 네트워크를 가동한다. 첫 번째 네트워크가 예측 영상을 생성하면 두 번째 네트워크는 이 영상이 실제인지 가짜인지를 식별한다. 알고리즘은 모션 추정에 기반을 두어 프레임 수를 예측하는 것 외에도 발생될 수 있는 특정 동작을 분류한다. 완벽하다고 할 수는 없지만 그 결과는 이미 충분히 인상적이다. 소프트웨어가 분류되지 않은 영상을 통해 학습되었다는 사실을 주목할 필요가 있다.

딥러닝 프로그램에는 일반적으로 세심하게 분류된 데이터를 공급한다. 하지만 이렇게 하는 데에는 많은 시간과 노력이 필요하며 맞춤형 경험을 통한 학습을 제한한다. 연구진들은 자신들의 연구가 특별한 데이터 세트의 필요성을 줄이고 기계가 더 복잡한 정보로부터 학습할 수 있도록 해주는 방법이며 노동력이 덜 필요한 "감독이 없는 학습" 방법의 발전을 가져오기를 희망한다. 그리고 이것은 예측 영상을 목표로 하는 유일한 프로젝트는 아니다.

MIT의 비주얼 다이내믹스(Visual Dynamics)는 소스 프레임마다 새로운 예측 프레임을 생성하는 유사한 프로젝트이다. 그 차이는 무엇인가? 비주얼 다이내믹스는 이론적으로 다음에 일어날 수 있는 짧은 내용을 예측하며, 신 다이내믹스는 이전에는 존재하지 않았던 완전히 새로운 비디오 시퀀스를 만든다. 또한 신 다이내믹스는 백그라운드에서 피사체를 분리하고 각각에 대해 새로운 콘텐츠를 생성할 수 있다.

정지영상에서 예측 영상을 만들어내는 것은 다양한 응용프로그램이 있다. 가장 주목할 만한 것은 ‘하늘에서 떨어진’ 영상을 만들어내는 것이다. 논문의 수석 저자의 한 사람인 칼 본드릭은 마더보드와의 인터뷰에서 이렇게 말했다. ‘나는 짧은 영화 또는 TV 쇼를 만드는 기계창작에 대해 환상을 가지고 있다. 우리는 지금 1초의 영상을 생성하고 있지만, 규모를 키우기 시작한다면 일관성 있는 스토리를 가진 몇 분짜리 영상도 생성할 수 있을 것이다. 아직은 그렇게 할 수 있는 수준에 이르지 못하지만, 이제 첫 걸음을 내딛은 것이다.’

비디오 제작 외에도 이와 유사한 모션 예측 기능들은 컴퓨터 영상 시스템에 통합 될 수 있다. 모션 예측 기능을 가진 로봇은 자신의 앞에서 사람과 물체가 어떻게 움직이게 될지 추측하게 된다. 이를 통해 로봇 자신이 손상되거나 사람들을 해치게 되는 것을 피할 수 있다. 소프트웨어를 통해 모션을 예측할 수 있다면 다른 것도 예측하도록 훈련시킬 수 있을까? 이러한 소프트웨어의 앞으로 사용 가능한 용도 중 하나는 영상을 더 선명하게 하면 영상의 흐릿하거나 왜곡된 픽셀이 어떻게 보일지 예측하는 것이다. 이를 통해 저해상도, 압축 영상, 인공이 가미된 영상이 자동적으로 고해상도로 업그레이드 될 수 있다.

연구진들에 의하면, 이 기술이 자율주행 기술과 보안 전술의 개선에 사용될 것으로 예상하고 있다. 그러나 멀티미디어 조작의 어두운 면도 분명히 존재한다. 우리는 결국 권력 선전이나 거짓 증거 생성에 이러한 프로그램이 사용되는 것을 보게 된다. 그리고 조작 여부는 쉽게 알 수 없을 것이다. 감사하게도 아직 이러한 우려는 시기상조이다. 그러나 조만간 미디어 조작기술이 보다 광범위하게 보급되면 미디어는 정적인 것에서 동적인 것으로 바뀌게 된다. 결국 이러한 기술의 결과는 사용자의 사용 동기에 달려 있다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.

  • 서울특별시 영등포구 국회대로 800 (여의도동, 여의도파라곤) 1236호
  • 대표전화 : 02-783-7789
  • 팩스 : 02-783-7790
  • 청소년보호책임자 : 최성립
  • 법인명 : 퓨처타임즈
  • 제호 : 퓨처타임즈
  • 등록번호 : 서울 아 51999
  • 등록일 : 2017-11-20
  • 발행일 : 2017-05-01
  • 발행인 : 송승호
  • 편집인 : 송승호
  • 퓨처타임즈 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재와 복사, 배포 등을 금합니다.
  • Copyright © 2019 퓨처타임즈. All rights reserved. mail to
ND소프트