인공지능(AI)이 AI 연구개발(R&D)까지 수행하는 자동화가 빠르게 진행되면서 수년에 걸릴 기술 진보가 수개월로 압축되는 ‘지능 폭발’이 발생할 수 있다는 경고가 나왔다. 이에 따라 극단적인 경우 인간이 AI 시스템에 대한 통제력을 잃어 인류의 소외나 멸망으로 이어질 수 있다는 주장이다.
제프리 힌턴 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수 등 주요 AI 연구자 22명은 영국 케임브리지대 ‘AI 과학·정책 프로그램(CASP)’을 통해 발표한 공동 논문 ‘AI 연구개발의 자동화가 지능 폭발을 촉발한다면?’에서 이같이 밝혔다.
논문에는 세계 3대 ‘AI 대부’로 꼽히는 힌턴 교수와 벤지오 교수뿐 아니라 야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤트로픽 공동창업자, 에릭 호비츠 마이크로소프트(MS) 최고과학책임자(CSO), 던 송 메타 AI 연구 담당 부사장 등 주요 AI 기업의 연구진도 참여했다.
이들은 현재 빅테크 내에서 AI 모델의 개발 작업을 AI에 맡기는 자동화 속도가 빠르게 증가하고 있다고 했다. 앤트로픽은 개발진이 승인한 코드 중 AI가 작성한 비율이 지난해 1월 한 자릿수에서 올해 5월 80% 이상으로 급증했다. 인간은 감독만 하고 AI가 자율적으로 완수한 연구개발(R&D) 작업의 비율도 지난 3월에는 1%에 불과했지만, 지난달에는 26%로 늘어났다.
이처럼 기술 발전이 빨라지면 수개월짜리 복잡한 AI R&D 프로젝트 전체가 2년 안에 완전히 자동화할 수 있고, AI의 재귀적 자기개선(RSI) 고리가 완성되면 폭발적인 기술 가속이 일어날 수 있다고 내다봤다. 이와 같은 지능 폭발은 기술 혁신을 크게 앞당기거나 신약 발견 등 긍정적으로 작용할 수 있다. 그러나 사회가 적응할 수 있는 한계를 넘어서는 위험도 초래한다고 이들은 우려했다.
송 부사장은 월스트리트저널(WSJ)에 “이미 오늘날, 에이전트가 수행하는 작업을 감시하기 위해 AI가 필요한 단계에 이르렀다”며 “인간만으로는 감시를 수행하는 데 역부족”이라고 했다. 이어 “인류 사회는 이처럼 급속한 변화와 혼란에 대처할 준비가 돼 있지 않다”고 말했다.
논문은 “가장 극단적인 경우 AI 시스템에 대한 통제를 상실하면 인류의 소외나 멸망으로 이어질 수 있다”고 경고했다.
연구진은 이를 대비하기 위해 각국 정부가 AI 기업에 R&D 자동화 수준을 보여주는 지표 등을 보고하도록 의무화해야 한다고 제안했다. 또 원자력규제위원회(NRC)나 통화감독청(OCC)과 같이 AI 기업에 상주 감시관을 배치해야 한다고 했다.
안전 기준이 충족되지 않으면 AI 연구개발 작업 부하를 조절하거나 일시 중지할 수 있는 통제 장치를 마련하고, 급격한 노동시장 변화나 지정학적 불안정 등에 대비한 비상 대응 계획을 수립해야 한다고도 주문했다.
이들은 “정책 입안자들은 의미 있는 조처를 할 수 있는 기회가 사라지기 전에 상황을 파악하고 조정 체계를 구축하며 적응 능력을 키우는 행동에 즉각 나서야 한다”고 했다.
댓글0