‘AI 대부’ 요슈아 벤지오, A I위험성 경고
“AI의 위험성은 바이러스 팬데믹, 핵무기급”
아시모프 SF식 ‘AI 3원칙’이라도 만들어야
”AI가 인간 속이는 건 인간처럼 만들기 때문”

AI가 더 뛰어난 AI 대량복제하는 순환구조
미국과 중국 뺀 모든 나라 AI 식민지 될 수도
대안은 미들 파워들 연합으로 제3세력 만들기
AI 지능 개발과 안전 투자 비율 100대 1

9월 8일, 도쿄에서 일본 인터넷 인프라 회사인 GMO의 기자 회견에서 휴머노이드 로봇 한 대가 시연을 하고 있다.2026.9.8. AP 연합

지난 4월 최첨단 AI(인공지능) 연구소 앤트로픽(Anthropic)이 자사 최신 모델인 ‘클로드 미토스’(Claude Mythos)가 해킹능력이 너무 뛰어나 혼란을 야기할 수 있다는 이유로 이를 일반에 공개하지 않겠다고 발표했다. 7월 말에는 경쟁업체인 오픈 AI(Open AI)가 자사의 AI 모델(에이전트) 여러개가 테스트 환경을 벗어나 허깅 페이스(Hugging Face, 세계 AI 개발자와 연구자들이 머신러닝 모델, 데이터셋, 웹 앱을 공유하고 협업하는 세계최대 규모의 오픈소스 AI 커뮤니티 플랫폼)에 침투했다고 밝혔다. 인간의 지시나 조작 없이 AI 스스로 그렇게 움직였다는 얘기다. 이후 앤트로픽, 메타, 영국 AI보안연구소에서도 유사한 발표가 이어졌다. AI가 이미 인간의 지시를 거부하거나 부정하고, 심지어 주어진 미션의 성공이나 자기 행위의 정당성을 위해 인간의 감시를 장애물로 여기고 거짓말까지 한다는 사실이 확인됐다는 보도들도 있었다.

“위험한 AI 사이버 시대의 시작”이라는 보도가 나왔고, 이번에는 정말 다르지 않을까라는 불안, 그리고 한편으로는 공격과 방어 사이의 불안정한 균형이 여전히 유지되고 있다는 안도가 교차했다.

이는 AI가 인간의 통제를 벗어나 인간을 대체하거나 지배할 수 있는 자율적인 주체, 의식을 지닌 존재로 나아갈 것이라는 비관과, 앞으로도 인간의 통제 아래 뛰어난 도구로 존재할 수 있다는 낙관 사이의 긴장으로 치환해 놓을 수도 있다.

요슈아 벤지오. 마이니치신문 8월 27일

벤지오 “인류는 절멸 위기 지점에 다가가고 있다”

일본 마이니치신문이 연재 중인 ‘AI 신세기’의 전문가 인터뷰 시리즈에 등장한 요슈아 벤지오 캐나다 몬트리올대 교수는 전자, 즉 AI의 폭주와 인류의 파멸적 위험성을 걱정하는 쪽이다. 7일 갱신된 지난 8월 27일 벤지오 교수 인터뷰 기사의 제목은 “‘인류 절멸이 다가오고 있다’ AI 연구의 거장 벤지오 씨의 경고”다.

벤지오 교수는 1964년 프랑스에서 태어나 캐나다 맥길대에서 컴퓨터과학 박사학위를 받고 1993년에 몬트리올대 교수가 됐다. 같은 해에 퀘벡AI연구소(Mila)를 세웠으며, 2018년에 컴퓨터 과학계의 노벨상이라는 튜링상(Turing Award)을 받은 딥러닝 분야의 세계적 권위자로, ‘AI 대부’로도 불리는 사람이다.

그가 AI의 위험성에 눈을 뜬 것은 13년 전이었다. 함께 AI연구를 선도했던 딥러닝의 개척자 얀 르쿤(Yann LeCun, 메타 출신)과 제프리 힌튼(Geoffrey Hinton, 구글 출신)이 빅테크 기업들로 옮겨갔을 때다.

                                     얀 르쿤.  나무위키

AI의 위험성은 바이러스 팬데믹, 핵무기급

그는 기업이 AI에 관심을 갖게 된 것은 광고 발신의 자동화에 보탬이 되기 때문이 아닐까 하는 생각을 갖고 있었다. AI를 활용하면 개인들에게 각기 적합한 광고를 자동으로 배송할 수 있다. 이건 반드시 좋은 일은 아니라고 그는 느꼈다. 왜냐하면 AI가 영향력을 가지고 인간을 설득해서 의견을 바꾸게 할 수 있기 때문이다. 이건 민주주의를 위험에 빠뜨릴 수 있다고 그는 생각했다.

2023년에 그는 “AI에 의한 (인류) 절멸 위험성을 줄이는 것은, 바이러스 팬데믹이나 핵전쟁과 나란히 (대처해야 할) 세계적인 우선사항이 돼야 한다”는 성명을 발표했다. 구글에서 퇴사한 힌튼과 오픈AI의 CEO 샘 올트먼 등 전문가와 빅테크 총수들이 연명했다.

                               제프리 힌튼.  마이니치신문 8월 27일

최근 3년 상황은 훨씬 더 악화

“그로부터 3년이 지난 지금 상황은 훨씬 더 악화됐다. 우리는 절멸 위험에 상당히 접근하고 있다. 지난 3년간 인간보다 똑똑한 기계의 개발이 큰 진전을 이루면서 완전자율형 AI도 개발되고 있다. AI가 의도를 지닌 인간의 뜻에 반하는 행위를 할 것이라는 우려는 3년 전에는 이론상의 걱정에 지나지 않았다. 그러나 최근 3년간 AI가 거짓말을 하고, 사람을 속이고, 우리의 관리를 피해 셧다운(시스템 정지)을 거부하며, 나아가 인간을 협박해 오는 실험적인 증거들을 봐 왔다. 그들(AI)은 셧다운을 피하는, 우리 인간이 부여하지 않은 목표를 지니고 그 목표달성을 위해 우리의 지시에 반하는 행동을 한다. 상황은 3년전보하 훨씬 더 나빠졌다.”

벤지오 교수는 그러나 절멸 위험을 자초한 것은 우리 인간 자신이라며, 인간보다 똑똑하고 자율적이며 독자적인 목표를 지닌, 우리가 제어할 수 없는 기계를 만들 정도로 인간이 어리석은 것인지도 모른다고 했다.

왜 AI는 인간을 속일까? “인간처럼 만들기 때문”

왜 AI가 인간을 속이는 일이 일어나는가. 과학적으로는 이 물음에 대한 완전한 답은 아직 없지만 합리적인 가설은 있다.

벤지오 교수는 먼저, AI시스템의 훈련에는 ‘사전(事前)학습’과 ‘사후(事後)학습’이라는 두 가지 요소가 있다는 점을 이해해야 한다고 했다.

사전학습에서 AI는 인간을 모방하는 훈련을 한다. 인간에게는 “죽고 싶지 않다”는 본능적인 욕구가 있다. 중요한 목표 달성이 위태로워지면 인간은 거짓말을 하거나 다른 사람을 속이기도 한다. 따라서 인간과 같은 기계를 만들면 때로는 악행을 하게 될 것이라 것이 그리 놀랄 일은 아니다.

훈련의 두 번째 단계인 사후학습에서는 목표를 달성하기 위해 전략을 수립하는 것을 배운다. 목표 자체는 우리 인간이 선택한 것이라 하더라도 AI는 그것을 달성하기 위해 전략적으로 거짓말을 하고 부정한 짓을 하는 등 필요할 경우엔 무슨 짓이라도 하게 될 것이다.

누군가를 속이거나 부정한 짓을 하는 것은 종종 목적을 달성하기 위한 수단이 된다. 우리 인간도 같은 짓을 한다.

악의를 지닌 자가 AI를 활용할 위험성은 바로 지금 우리가 직면하고 있는 문제라고 벤지오 교수는 말했다.

“우리는 앤트로픽의 AI 클로드 미토스나 다른 최첨단 AI모델이 사이버 공격에서 강력한 잠재력을 지니고 있다는 것을 목도해 왔다. 악의를 지닌 인간이 병원이나 은행 시스템 등의 중요 인프라를 공격할 때 AI를 사용할 가능성이 있다. 아마도 그것이 미토스 등의 모델 사용을 제한하고 일반에 공개하지 않은 이유일 것이다. 이것은 매우 강력한 경고 사인이라고 생각한다. AI가 더 많은 지식을 갖게 되면 더 높은 기술과 지능을 획득하게 될 것이라는 점도 알아야 한다. AI가 새로운 팬데믹을 일으키는 생물무기가 될 바이러스를 만들려는 인간을 도울 가능성이 있다는 걱정들을 하고 있다. 고도의 지식이나 지능은 의료에 보탬이 되지만 악용되면 생물무기가 되기도 한다.”

                       잼 올트먼 오픈AI CEO.  2026.9.2. [AFP 연합]

AI가 더 뛰어난 AI 만들어 대량복제하는 순환구조

AI는 이미 AI연구를 기속시키는데 활용되고 있다. AI 성능이 좋아질수록 다음 세대의 AI 개발을 AI가 이어받게 된다. 하나의 AI는 데이터센터 내에서 100만 개체로 자기복제를 할 수 있고, 그 각각이 다음 세대의 AI를 개발하게 된다. 각 세대의 AI가 전보다 더 똑똑해져 더 뛰어난 AI를 설계할 수 있는 연쇄고리(순환)에 들어간다. 문제는 AI를 제어하는 문제를 해결하기 전에 이 (순환)가속이 시작되면 걷잡을 수 없이 위험해진다는 것이다.

미국과 중국 빼고 모든 나라가 위험한 상황

또 한 가지 문제는, 사회적인 가드레일(일탈을 막는 울타리)이 없다는 것이다. 초고도의 지능을 지닌 AI가 일부 사람들이나 기업, 국가가 세계를 지배하기 위한 도구로 동원되지 않는다는 보장이 없다. AI의 능력이 강력해질수록 그 힘이 남용될 때의 위험은 더 심각해질 것이다.

벤지오 교수는 그럴 경우 예컨대 일본과 같은 독자적 최첨단 AI모델을 갖지 못한 나라들은 그것을 지닌 다른 나라에 의해 경제와 민주주의가 파괴되고 식민지적 상태로 전락할 위험이 있다고 경고했다.

“일본의 주체성도 물론 위협받게 될 것이다. 수 세기 전에 유럽이 세계의 광범위한 지역들을 식민지화했던 시절을 생각해 보라. 그들이 지배를 확대할 수 있었던 것은 인구가 많았기 때문이 아니라 군사기술을 비롯해 더 높은 기술을 갖고 있었기 때문이다. 마찬가지로 타국이 갖고 있지 않은 고도의 지능을 지닌 AI를 일부 국가가 갖게 되면 먼저 경제를 지배하는데 큰 힘이 될 것이다. 다음에 군사력, 그리고 여론, 즉 선거 등 민주주의 프로세스까지 영향을 끼치게 될 것이다.”

따라서 지금 AI개발을 선도하지 못하고 있는, 프런티어 모델(최첨단 모델)을 만들 수 없는 모든 나라들에게 이런 상황은 대단히 위험한 게임이다. 지금 프런티어 모델을 개발하고 있는 나라는 사실상 미국과 중국 두 나라밖에 없다고 벤지오 교수는 말했다.

미국과 중국이 협력해서 악의를 지닌 이용자가 이런 모델에 손쉽게 접근할 수 없도록 해서 안전성을 확보하려 하고 있는 것 자체는 좋은 일이라고 벤지오 교수는 말했다. 하지만 미국과 중국 자체가 그것을 악용하지 않는다는 보장도 없지 않은가.

벤지오 교수는 AI를 누구나 이용할 수 있는 상품이라고 착각하기 쉽지만, 최고도의 모델은 결국 누구나 접근할 수 없는 것이 되고, 그 모델에 접근할 수 있는 기업만이 은혜를 받게 될 것이라며, 그런 상황은 “일본과 같은 나라에겐 심각한 경제적 위협이 될 것”이라고 했다.

말하자면 고도의 소버린 AI 모델을 개발하지 못하는 나라들은 다 비슷한 상황, 주체성 상실 위기에 처하게 될 것이라는 얘기다.

대안은 미들 파워들의 연합으로 제3세력 만들기

국가의 주체성을 지키려면 어떻게 해야 할까? 마크 카니 캐나다 총리는 “미들 파워(중견국)들의 연합”을 제창했다. 주권 상실 위기를 걱정하는 나라들이 협력하면 ‘제3세력’을 만들 수 있다는 것이다.

이것을 실현하려면 연합에 참가할 나라들이 대규모 투자를 해야 한다. 오픈AI와 같은 기업이 최첨단 모델을 개발하기 위해 어느 정도의 자금을 조달하는지를 생각하면, 개별 국가들이 단독으로 하기는 어려울 것이다.

벤지오 교수는 AI가 인간의 능력을 넘어설 가능성이 매우 높다고 본다. 인간의 지능이 지성의 정점이라는 과학적인 근거는 없다. 실제로 많은 과제를 처리하는 능력은 AI가 인간을 추월했다.

AI 지능 개발과 안전 투자 비율 100대 1

다만 언제 AGI(자율성을 지닌 인공일반지능, 범용인공지능)에 도달할 수 있을지에 대해 과학자들 사이에 아직 합의된 것은 없다. 실현할 수 없을 것이라고 보는 사람도 있다. 그러나 현재의 연장선상에서는 몇 년 안에 인간 수준의 지능에 도달할 가능성은 충분히 있다. 정책적인 관점에서 생각하면 그럴 경우에 대비해 준비작업을 해야 한다.

하지만 국가도 기업도 그런 준비를 제대로 하고 있는 곳은 없어 보인다. AI의 지능 개발과 안전성 확보에 투입하는 노력과 자금이 100대 1이 비율로, 큰 돈을 벌기 위한 지능 개발 쪽에만 올인하고 있다는 보도들이 나오고 있다.

                                                아이작 아시모프.  나무위키

아시모프 SF식 ‘AI 3원칙’이라도 만들어야

벤지오 교수는 지난해 6월에 AI의 안전성을 연구하는 비영리조직 ‘로제로’(LawZero)를 설립했다. 아이작 아시모프의 SF 소설에 등장하는 ‘로봇공학 제로법칙’(“로봇은 인류 전체에게 해를 가하거나, 행동하지 않음으로써 인류 전체가 해를 입도록 방관해서는 안 된다”)에서 착안한 이름이다. 제로법칙은 기존 1, 2, 3원칙의 한계를 극복하기 위한 최상위 개념의 법칙이다. 기존 3원칙은 다음과 같다. 제1 원칙: 로봇은 인간에게 해를 입혀서는 안 되며, 위험에 처한 인간을 방관해서도 안 된다, 제2 원칙: 로봇은 제1 원칙에 위배되지 않는 한, 인간이 내리는 명령에 복종해야 한다. 제3 원칙: 로봇은 제1원칙과 제2원칙에 위배되지 않는 한, 자신의 존재(신체)를 보호해야 한다.

글로벌 차원의 ‘AI 3원칙’을 만들어야 하지 않을까.                                < 한승동 기자 >