'비슷하다 하지만 다르다'는 개념을 인공지능에게 가르치기
'비슷하다 하지만 다르다'는 개념을 인공지능에게 가르치기
  • 임채능 기자
  • 승인 2019.11.07 16:28
  • 댓글 0
이 기사를 공유합니다

Marianna Kalashnyk / Shutterstock.com
Marianna Kalashnyk / Shutterstock.com

[퓨처타임즈=임채능기자] 인간으로서 당신은 본능적으로 레오파드가 오토바이보다 고양이에 더 가깝다는 것을 알지만, 우리가 가장 많은 AI를 훈련시키는 방식은 이런 종류의 관계를 알지 못하게 한다. 우리의 알고리즘에 유사성 개념을 구축하면 훨씬 더 많은 능력을 발휘할 수 있다.

합성곰 신경망 (convolutional neural networks)은 컴퓨터 시각의 분야에 혁명을 가져 왔으며, 이제는 기계가 가장 어려운 시각적 작업 중 일부에서 인간보다 성능이 뛰어나다. 그러나 KTH 왕립 기술원 (KIT Royal Institute of Technology)의 부교수인 Atsuto Maki는 사람들이 이미지를 분석하도록 훈련시키는 방법은 인간이 배우는 방식과 매우 다르다고 말한다.

"당신이 2살이고 표범 사진에서 보는 것에 대해 질문을 받았다고 상상해보라. 당신은 '고양이'라고 대답 할 수도 있고 부모님은 '그래, 별로 비슷하지는 않다'라고 말할지도 모른다."

대조적으로, 우리가 신경망을 훈련시키는 방법은 그런 종류의 부분적인 신용을 거의 제공하지 못한다. 그들은 일반적으로 올바른 라벨에 대해 높은 자신감을 가지며 "고양이" 또는 "오토바이"와 같은 잘못된 라벨을 똑같이 잘못 인식하도록 훈련된다. 잘못되었다는 사실을 무시하면 훈련 데이터의 모든 정보를 활용하지 않는다는 것을 의미하므로 Maki는 실수라고 말한다.

모델을 이런 방법으로 교육 할 때에도 모델이 얼마나 잘 보이지 않는지를 알 수 있도록 모델이 얼마나 잘 일반화 할 수 있는지에 대해 많이 알 수 있는 잘못된 레이블에 할당되는 확률에 약간의 차이가 있다.

모델에 표범 무늬를 보여주고 "고양이"에게 5%의 확률과 "오토바이"1%를 주면 고양이가 오토바이보다 표범에 더 가깝다는 사실을 알 수 있다. 대조적으로, 그 수치가 그 반대인 경우, 모델은 고양이와 표범을 유사하게 만드는 광범위한 특징을 배우지 못했고, 새로운 데이터를 분석 할 때 잠재적으로 도움이 될 수 있다.

우리가 클래스 간의 유사점을 식별 할 수 있는 능력을 향상시킬 수 있다면 더 유연한 모델을 더 일반적으로 만들 수 있어야 한다. 그리고 최근의 연구는 정규화라고 불리는 접근법의 변형이 어떻게 우리가 목표를 달성하는 데 도움이 될 수 있는지 보여주었다.

신경망은 "과잉(overfitting)"이라는 문제가 발생하기 쉽다. 이는 지나치게 많은 신경을 쓰는 경향이 있다는 것을 의미한다. 이러한 상황이 발생하면 모델은 교육 데이터에서 탁월하게 수행되지만 이러한 특정 단점이 없으면 보이지 않는 테스트 데이터에 적용될 때 제대로 수행되지 않는다.

정형화는 일반적으로 네트워크의 용량을 줄여 이러한 불필요한 정보를 학습함으로써 이 문제를 우회하여 새로운 데이터로 일반화 할 수 있는 능력을 향상시킨다. 기술은 다양하지만 일반적으로 인공 신경 세포 사이의 가중치의 강도나 네트워크의 구조를 수정해야 한다.

그러나 최근에는 연구자들이 모든 클래스에서 확률의 확산을 장려함으로써 새로운 정규화 접근법을 제안했다. 이것은 본질적으로 그들이 더 많은 클래스 유사성을 포착하도록 도와 주며, 따라서 일반화 능력을 향상시킨다.

이러한 접근 방식 중 하나는 2017년 Google Brain 연구원에 의해 고안되었으며, 깊은 학습의 개척자인 Geoffrey Hinton 이 주도했다. 그들은 모델의 산출물에 대한 과신 예측을 직접 처벌하는 교육 과정에 페널티를 도입했으며, 레이블 매끄러움이라는 기술은 다른 모든 것보다 훨씬 큰 확률을 방지한다. 이는 올바른 레이블의 경우 확률이 낮고 잘못된 레이블의 경우 확률이 더 낮아서 이미지 분류에서 음성 인식에 이르기까지 다양한 작업의 모델 성능을 향상시키는 것으로 나타났다.

또 다른 하나는 2017년 Maki 자신으로부터 왔으며 동일한 목표를 달성했지만 모델의 피쳐 벡터에서 높은 값을 억제함으로써 물체의 모든 중요한 특성을 설명하는 수학적 구성이다. 이것은 출력 확률의 확산에 대한 노크-온 효과를 가지며 다양한 이미지 분류 작업에 대한 성능을 향상시키는 데에도 도움이 된다.

접근법이 아직 초기 단계 일 때, 인간이 이러한 유사성을 활용하여보다 효율적으로 학습 할 수 있다는 사실은 이를 통합 한 모델이 약속을 지님을 암시한다. Maki는 여러 가지 유사한 객체를 구별하는 것이 중요한 응용 분야에서 특히 유용 할 수 있다고 지적했다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.

  • 서울특별시 영등포구 국회대로 800 (여의도동, 여의도파라곤) 1236호
  • 대표전화 : 02-783-7789
  • 팩스 : 02-783-7790
  • 청소년보호책임자 : 최성립
  • 법인명 : 퓨처타임즈
  • 제호 : 퓨처타임즈
  • 등록번호 : 서울 아 51999
  • 등록일 : 2017-11-20
  • 발행일 : 2017-05-01
  • 발행인 : 송승호
  • 편집인 : 송승호
  • 퓨처타임즈 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재와 복사, 배포 등을 금합니다.
  • Copyright © 2019 퓨처타임즈. All rights reserved. mail to
ND소프트