구글의 챗봇모델인 메나 Meena는 얼마나 큰 기술이며 어떤 영향을 미치나?
구글의 챗봇모델인 메나 Meena는 얼마나 큰 기술이며 어떤 영향을 미치나?
  • 최영란 기자
  • 승인 2020.02.11 11:41
  • 댓글 0
이 기사를 공유합니다

[퓨처타임즈=최영란 기자] 구글의 챗봇모델인 메나 Meena는 얼마나 큰 기술이며 어떤 영향을 미치나? 구글이나 페이스북의 눈부신 인공지능분야 신기술의 진화는 놀랍다. . 구글은 인간의 대화 중 400억 단어에 달하는 대화가 가능하게 되었고, 대화의 문답으로 7번의 대화를 보여줌으로써 신경망을 훈련시켰다. 어쨌든 Meena는 방대하다.

구글의 챗봇 Meena
구글의 챗봇 Meena

구글이나 페이스 북과 같은 기술은 AI 분야에서 끝없이 인상적인 진보를 발표하는 데 익숙해 져왔다. 그럼에도 불구하고, 구글이 “어떤 것에 대해 대화할 수 있는 대화 에이전트”를 구축했다고 발표했을 때 , 전문가들은 주의를 기울여야 했다.

현장에서 일하면서 조직이 대화형 솔루션을 구축할 수 있도록 도와주는 기술이 특히 흥미로웠다. 봇의 가장 큰 과제 중 하나는 사용자가 적절하게 말하고 응답할 수 있는 무한한 문구를 처리하는 것이다. 무엇이든 대화할 수 있는 봇은 이 도전을 해결하는데 필요한 것 같다. 따라서 질문은 Meena라고 하는 Google의 새로운 봇이 대화형 AI응용프로그램을 배포하려는 조직에 어떤 영향을 미치는가? 과연 우리는 성경에 나오는 성배를 찾았는가? 우리 봇들이 마침내 "죄송합니다. 이해가 안 돼요"라고 말할 수 있다. 이런 상황에서 Meena는 매우 인상적이며 문제를 해결하기 위한 매혹적인 시도를 한다.

Meena 란 무엇인가?
 

Google은 도대체 무엇을 발명했나? Meena는 26억 개의 매개 변수로 종단간 훈련된 신경 대화식모델이다. 구글에 따르면 Meena의 최고버전은 400억 단어의 데이터 세트에서 2,048개의 텐서 처리장치 즉 Google의 전용 AI 특정 칩을 사용하여 30일 동안 훈련되었다. 무작위 단어만이 아니다. Google은 '멀티 턴 대화'를 위한 공개 도메인 소셜 미디어를 찾았다. 여기서 턴은 대화에서 한 쌍의 문구이다. 구글은 인간의 대화 중 400억 단어에 달하는 대화가 가능하게 되었고, 대화의 문답으로 7번의 대화를 보여줌으로써 신경망을 훈련시켰다. 어쨌든 Meena는 방대하다. 비록 구글이 그렇지 않은 코드를 모두 공개하더라도, 소수의 조직만이 유사한 Meena와 유사한 모델을 훈련할 수 있다. Meena는 아직 여전히 실험실에 있으며 관리하기가 매우 복잡하여 아직 인공지능 도구에 포함시킬 수는 없어 Google에서 곧 서비스로 제공할 가능성은 낮다. 따라서 단기적으로는 현존 봇이 Meena의 도움없이 살아 남아야한다.

Meena는 무엇을 할 수 있나?

일반적으로 최첨단 연구에서와 같이 Meena는 즉시 사용할 수 없다. 실제 제품을 만드는데 시간이 걸린다. 그러나이 연구는 우리 제품이 중장기적으로 어떤 방향으로 나아가는지에 대해 알려준다. 인간은 이제 어떤 것에 대해서도 대화할 수 있으며 Meena는 정말 최고의 챗봇일까?

 

첫째, Meena가 다른 챗봇보다 성능이 우수하다고 주장하려면 몇 가지 평가 기준이 필요하다. Google은 이를 "감수성 및 특이성 평균" 또는 SSA라고하는 새로운 지표를 도입했다. 이 점수가 소개하는 혁신은 봇의 답변이 합리적인지 여부, 즉 인간이 적절한 대응으로 합리적으로 평가할 것인지와 대응이 구체적인지를 측정한다는 것이다. 일반적으로 봇은 "트릭"을 사용하여 실제로 상황에 맞지 않는 일반적인 응답을 제공할 때 대화를 따라가고 있다고 생각한다. 예를 들어 다음과 같은 대화를 할 수 있다.

인간 : 나는 스파이 영화를 정말 좋아합니다!

봇 : 놀랍습니다. 더 말 해주세요!

이는 합리적인 반응이지만 구체적이지 않다. 동일한 답변이 여러 대화에 적용된다. 보다 구체적인 답변은 다음과 같다.

인간 : 나는 스파이 영화를 정말 좋아합니다!

봇 : 놀랍습니다. 나는 모든 미션임파서블 스파이영화를 좋아합니다. 가장 좋아하는 것은 무엇입니까?

Google은 Meena와 다른 챗봇 즉 XiaoIce, Mitsuku, CleverBot 및 DialoGPT들의 특이성과 감성 점수를 매겼으며 그 최종 최고 SSA 점수를 받았다. Google이 설명하는 것 처럼 숫자에는 약간의 뉘앙스가 있지만 대략적으로 다음과 같다.

Meena는 79% SSA, Mitsuku 및 Cleverbot 56%, DialoGPT 48% 및 XiaoIce 31%를 기록했다. 이 측정 항목을 사용하여 사람과 대화를 평가할 수 있다는 점을 감안하면 Google은 평균적인 사람간 대화 SSA를 86%로 측정했기 때문에 Meena는 이에 근접하고 있다. 즉 사람간의 대화처럼 챗봇이 잘 해낸다는 것이다.

요약하자면, 봇의 응답이 최대 7번 주고받는 대화에서 합리적이고 구체적인지 여부를 직접 측정하는 Google의 자체 점수 접근방식을 기반으로 Meena는 다른 챗봇보다 높은 점수를 받았다. 상황을 설명하기 위해 Mitsuku는 Loebner Prize Turing Test의 승자이며 XiaoIce는 수억 명의 사용자와 대화하는 엄청나게 인기있는 Microsoft 서비스를 제공한다. 점수 접근방식으로 쉽게 약점을 발견하고 Google 자체의 측정기준을 사용하여 Google의 객관성에 대해 논쟁할 수 있지만 Meena의 능력은 인상적이다. 또한 Meena는 훈련된 신경망 모델이며 Mitsuku와 XiaoIce는 훨씬 더 많은 사람의 개입이 가능한 하이브리드 시스템이다.

미래에 미치는 영향은 무엇인가?

Meena는 인간과 몇 차례의 주고받는 대화를 나눌 수 있다. 그러나 Meena는 신뢰할 수 있는 어떤 것도 가르칠 수 없다. Meena는 과제를 끝내거나 새로운 것을 배우도록 도와 주지는 않는다. 그것은 명백한 목표나 목적없이 대화할 때 그렇다. 인간은 중요하지 않은 것에 대해 대화하는데 너무 많은 시간을 할애하지만 봇 기반 디지털서비스와 상호작용할 때 인간이 그들로부터 원하는 특정된 질문이 있다. 티켓을 예약하거나 고객지원 문제를 해결하려고 하거나, 특정 영역, 분야에 대한 정확한 정보를 얻거나 직면한 문제에 대한 정서적 또는 심리적 지원을 원한다.

대화형 챗봇 제품에는 목적이 있으며 더 개방적인 질문에 실패하더라도 작업을 완료하기 위해 인간과 협력하려고 한다. Meena는 대화에서 인간적인 모습을 가장 우선시 한다. 그러나 다른 유형의 작업이 주어지면 적절한 대화 방식이 무엇인지에 대해 배울 것이 많이 있다. 특정 상황에서 특히 민감한 개인정보가 관련된 경우 응답에서 “로봇”이 더 선호된다는 연구결과가 있다. 소셜미디어 상호작용을 통해 얻은 대화와 함께 Meena의 역할은 무엇일까? 대화 경험에 연결되면 부적절한 말이 없어지며, 수백만 명의 공공 SNS에서 인간이 나눈 대화가 세계 최고의 챗봇에 적합한 데이터세트가 될까?

결론

Meena는 챗봇 분야에서 환상적인 기여를 할 것이다. Google이 이룩한 과제의 거대한 부분을 아직 완벽하게 포착하기는 어렵다. 그러나 우리는 이 연구결과를 보면서 인간과 로봇이 어떻게 의사소통할 수 있는지를 알게된다. 어떤 것에 대해서도 인간과 대화할 수 있는 봇” 또는“최고의 챗봇”과 같은 설명이 반드시 유용한 것은 아니다. 이 연구에서 실제로 중요한 것은, 즉 인간과 같은 대화를 정의하고 해당 유형의 대화에 대한 챗봇 세계에서 어떤 역할이나 중요성을 탐구하는 일이다. 점점 더 많은 대화형 AI솔루션이 일상생활에 등장하게 될 것이며, Meena는 우리를 그 목표에 더 가깝게 데려다 줄 것이다.

이 글을 쓴 이는 Ronald Ashri는 대화형 AI 컨설팅 GreenShoot의 공동창립자이자 CTO이며"AI-Powered Workplace"의 저자이다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.

  • 서울특별시 영등포구 국회대로 800 (여의도동, 여의도파라곤) 1236호
  • 대표전화 : 02-783-7789
  • 팩스 : 02-783-7790
  • 청소년보호책임자 : 최성립
  • 법인명 : 퓨처타임즈
  • 제호 : 퓨처타임즈
  • 등록번호 : 서울 아 51999
  • 등록일 : 2017-11-20
  • 발행일 : 2017-05-01
  • 발행인 : 송승호
  • 편집인 : 송승호
  • 퓨처타임즈 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재와 복사, 배포 등을 금합니다.
  • Copyright © 2020 퓨처타임즈. All rights reserved. mail to
ND소프트