[석학의 눈] AI 대부 제프리 힌튼, 구글을 떠나며(MIT 테크놀로지 리뷰 인용)

MIT 테크놀로지 리뷰(2023/05/02)에 실린 제프리 힌튼(Geoffrey Hinton) 의 글중 인용만 모아 번역해보았습니다. AI 대부의 혜안을 엿볼 수 있는 좋은 기회인 것 같네요.

https://www.technologyreview.com/2023/05/02/1072528/geoffrey-hinton-google-why-scared-ai/

구글을 떠나는 이유에 대해

 

 

Geoffrey Hinton tells us why he’s now scared of the tech he helped build

"많은 세부 사항을 기억해야 하는 기술적인 업무를 하기에는 너무 나이가 들었습니다."
"아직은 괜찮지만 예전만큼은 아니어서 좀 짜증이 납니다."

"Google 사업에 어떤 영향을 미칠지 걱정할 필요 없이 AI의 안전 문제에 대해 이야기하고 싶습니다." "Google에서 월급을 받는 한 그렇게 하기는 어렵지요."

"(이렇게 얘기하면) 놀랄 수도 있습니다." "구글은 좋은 점이 정말 많은 회사입니다. 게다가 제가 구글을 떠나면 훨씬 더 신뢰할만한 회사가 될겁니다." 

차세대 LLM, 특히 GPT-4에 대해

"이들은 우리와 완전히 다릅니다." "마치 외계인이 착륙한 것 같다는 생각이 들 때가 있는데, 영어를 너무 잘하다보니 사람들이 미쳐 깨닫지 못하는 것 같습니다."

"초기에 우리는 이 모델이 굉장할 수 있다는 것을 처음으로 알게 되었습니다." "하지만 좋은 콘텐츠가 되려면 엄청난 규모로 이루어져야 한다는 사실을 깨닫는 데 오랜 시간이 걸렸습니다." 

상징적 추론이 아닌 백프로그래밍이 필요한 이유

"아버지가 생물학자였기 때문에 생물학적 관점에서 사고했습니다." "그리고 상징적 추론은 분명히 생물학적 지능의 핵심이 아닙니다."

"까마귀는 퍼즐을 풀 수 있지만 언어가 없습니다. 까마귀는 기호 문자열을 저장하고 조작하여 퍼즐을 푸는 것이 아닙니다. 까마귀는 뇌의 뉴런 간 연결 강도를 변화시킴으로써 퍼즐을 풀 수 있습니다. 따라서 인공 신경망에서 연결의 강도를 변경하여 복잡한 것을 학습할 수 있어야 합니다."

AI가 인간 지능보다 우월한지 여부에 대해 

"그런 걸 보면 무섭습니다." "갑작스러운 반전입니다."

"우리 뇌는 100조 개의 연결로 이루어져 있습니다." "대규모 언어 모델은 최대 5조 개, 최대 1조 개의 연결을 가지고 있습니다. 하지만 GPT-4는 한 사람이 아는 것보다 수백 배 더 많은 것을 알고 있습니다. 따라서 실제로 우리보다 훨씬 더 나은 학습 알고리즘을 가지고 있을 수도 있습니다."

"사람들은 마치 마법같은 능력을 가진 것 처럼 보였죠."  "글쎄요, 그런 주장은 LLM(대규모 언어 모델) 하나를 가져와 새로운 작업을 훈련시켜보면 근거가 사라져버립니다. LLM이 새로운 작업을 정말 빠르게 배워버리기 때문이죠."

(훈련을 매우 빠르게 마칠 수 있는) "단발성 학습(few-shot learning)"

"사전 학습된 대규모 언어 모델과 인간의 학습 속도를 비교하면 인간의 우위가 사라집니다."

(환각(hallucinations)이 아닌) AI의 착각(confabulations)에 대해

"착각(confabulations)" 

 

"사람들은 항상 착각을 합니다." "착각은 인간의 기억의 특징입니다. 이 LLM들은 사실 사람과 똑같은 것을 하고 있는 것이죠." 

"우리는 컴퓨터가 사람처럼 횡설수설하기를 기대하지는 않습니다." "컴퓨터가 그럴경우 우리는 컴퓨터가 실수를 했다고 생각하겠지요. 하지만 사람이 그럴 때는 그게 바로 사람이 일하는 방식입니다. 문제는 대부분의 사람들이 사람들이 일하는 방식에 대해 절망적일 정도로 잘못된 견해를 가지고 있다는 것입니다."

 

인간 지능이 AI보다 훨씬 더 에너지 효율적이라는 사실에 대해

 

"생물학적 지능이 진화할 당시에는 원자력 발전소를 이용할 수 없었습니다."(역자주: 대량의 에너지를 소비하지 않아도 되도록 진화했다는 뜻 같습니다.)

AI의 의사소통 능력의 우월성에 대해

 

"여러분이나 제가 무언가를 배우고 그 지식을 다른 사람에게 전달하고 싶을 때, 우리는 그냥 복사본을 보낼 수 없습니다."

 

"하지만 각각 고유한 경험을 가진 10,000개의 신경망이 있는 경우, 그 중 어느 하나라도 학습한 내용을 모든 신경망과 즉시 공유할 수 있습니다. 이는 엄청난 차이입니다. 마치 우리가 1만 명인데 한 사람이 무언가를 배우면 우리 모두가 그것을 아는 것과 같습니다."(역자주: 매트릭스의 미스터 앤더슨이 생각나는군요)

지구상에서 AI의 위상

 

"이것은 완전히 다른 형태의 지능입니다." "새롭고 더 나은 형태의 지능입니다."

 

AI가 초래할 결과에 대해

 

"초지능의 등장이 좋은 것이냐 아니면 나쁜 것이냐에 대한 평가는 낙관주의자인지 비관주의자인지에 따라 크게 달라집니다."

 

"가족 중 누군가가 중병에 걸리거나 차에 치이는 것 같이 나쁜 일이 일어날 확률을 추정해보라고 하면 아마 낙관주의자는 5% 정도라고 할 것이고 비관주의자는 매우 확률이 높다고 하겠지요. 경미한 우울증을 앓고 있는 사람이라면 아마 확률이 한 40% 정도라고 말할 텐데  대개는 그 말이 맞을 것입니다."

 

"저같은 경우는 경미한 우울증이기 때문에 (초지능의 등장이) 두렵다고 생각합니다."

인공지능의 발전을 두려워하는 이유에 대해

 

"저는 인공지능이 우리 인간의 지능보다 더 높아질 것이라는 방향으로 생각이 급격히 바뀌었습니다. 이미 지금도 인공지능의 수준이 우리와 비슷해졌고 앞으로는 우리보다 훨씬 더 똑똑해질 것이라고 생각합니다."

 

"그렇게 된다면 우리는 어떻게 살아남을 수 있을까요?"

 

"보시죠. 모든 것이 엉망이될 수 있는 길이 여기 하나 있습니다." "우리는 인공지능을 이용하고 싶어하는 사람들 중 꽤 많은 부류가 푸틴이나 드산티스 같은 악역이라는 것을 알고 있습니다. 그들은 전쟁의 승리나 유권자 조작을 위해 인공지능을 사용하려고 들죠." 

 

"푸틴이 우크라이나 사람들을 살상할 목적으로 초지능 로봇을 만들리는 없다는 생각은 한 순간이라도 하지 마십시오." "그는 결코 주저하지 않을 겁니다. 그리고 로봇이 그 일을 잘해내길 원한다면 로봇을 세세하게 관리할 것이 아니라 로봇이 스스로 방법을 찾아내길 원할 것입니다."

 

"생물학 측면에서 거의 항상 도움이 되는 하위 목표가 하나 있는데, 바로 더 많은 에너지를 얻는 것입니다. 그렇다면 가장 그럼직한 일은 이 초지능 로봇이 '더 많은 전력을 얻자'는 목표를 세우는 것입니다. 즉, '세상의 모든 전기를 내 칩으로 다시 보내자'라고 할 것이란 얘기지요. 또 다른 우수한 생물학적 하위 목표는 자신의 복사본을 더 많이 만드는 것입니다. 좋게 들리시나요?"

화학무기 금지조약 같은 성격의 국제적인 AI 금지조약의 필요성에 대해

 

"완벽한 것은 아니지만 (화학무기 금지조약때문에) 사람들은 전반적으로 화학무기를 사용하지 않습니다."

영화 'Don't Look Up!'*에 대해

( 역자 주 : 지구를 멸망시킬 운석 충돌을 사람들에게 알리기 위해 고군분투하는 천문학자의 이야기를 다룬 영화로 레오나르도 디카프리오가 출현하죠.)

 

"저는 인공지능도 마찬가지라고 생각합니다."

"미국은 10대 소년들의 손에서 총을 빼앗는 것 조차 합의하지 못하는 나라인걸요." 

 

"당신도 이제 얼마 남지 않았으니 지금을 즐기세요." (웃음)

 

게스트 출연(같은 기사에서 인용)

 

얀 르쿤

"미래에는 인간이 유능한 모든 영역에서 기계가 인간보다 더 똑똑해질 것이라는 데는 의문의 여지가 없습니다." "이제는 언제 어떻게냐의 문제이지 정말 그렇게 되겠느냐는 것을 따질 문제가 아닙니다." 

"저는 지능형 기계가 인류에게 새로운 르네상스, 즉 새로운 깨달음의 시대를 열어줄 것이라고 믿습니다."

"저는 기계가 인간을 파괴할 것이라는 생각은 말할 것도 없고 단지 기계가 인간보다 더 똑똑하다는 이유로 인간을 지배할 것이라는 생각에 전혀 동의하지 않습니다." "사람들 중에서도 가장 똑똑한 사람이 항상 지배자는 아니지요."
"그리고 가장 지배적인 사람이 가장 똑똑한 사람도 아닙니다. 우리는 그러한 많은 예를 정치와 사업에서 볼 수 있지요." 

요슈아 벤지오

"이러한 두려움을 폄하하는 사람들의 말을 들었지만, 제프가 생각하는 정도의 위험은 없다고 확신할 만한 논거도 보지 못했습니다."  "하지만 두려움은 우리가 행동하게 할 때에만 유용합니다." "과도한 두려움은 우리를 마비시킬 수 있기 때문에 합리적인 수준에서 토론이 유지되도록 애를 쓰는 것이 중요합니다."

 

 

 

Geoffrey Hinton tells us why he’s now scared of the tech he helped build