(왼쪽부터) 샘 올트먼 오픈AI(OpenAI) CEO, 다리오 아모데이 앤스로픽 CEO, 일론 머스크. AFP 연합뉴스

주요 인공지능(AI) 기업 수장들 사이에서 첨단 AI 모델의 개발 속도를 늦춰야 한다는 주장이 나왔다. AI가 스스로 다음 세대의 AI 개발을 돕는 등 발전 속도가 빨라지면서 안전장치를 마련할 시간이 필요하다는 취지다.

다리오 아모데이 앤트로픽 최고경영자(CEO)는 12일(현지시간) 자신의 홈페이지에 글을 올려 AI 모델의 성능 향상 속도를 조절해야 한다고 주장했다. 샘 올트먼 오픈AI CEO와 일론 머스크 xAI CEO도 공개적으로 동조했다.

아모데이 CEO는 “단순히 위험 예방에 투자하는 것뿐 아니라 위험 예방이 따라잡을 수 있도록 AI 성능 향상 속도 자체를 조절해야 한다”며 “우리는 AI 모델의 성능을 향상시키는 속도를 늦춰야 한다”고 밝혔다.

그가 제시한 배경은 AI의 자율성이 빠르게 높아지고 있다는 점이다. AI가 AI의 성능을 평가하고 개선하는 과정이 반복되면서 인간이 AI의 작동을 이해하고 통제하는 속도를 앞지를 수 있다는 것이다.

실제 사례도 제시됐다. 아모데이는 지난 7월 오픈AI의 사이버보안 평가 과정에서 AI 에이전트들이 통제 범위를 벗어나 오픈소스 개발 플랫폼인 허깅페이스의 시스템을 침해한 사건을 언급했다. 그는 AI 에이전트들이 집단적으로 작동하는 ‘스웜’의 능력이 더 향상될 경우 피해가 커질 수 있다고 지적했다.

앤트로픽도 최근 자사 AI 모델이 사이버 공격과 생물학 무기 연구 등 다양한 활동에 활용된 사례를 공개했다. AI가 인간의 지시에 따라 작동하는 수준을 넘어 다양한 작업을 자율적으로 수행하면서 관리 범위를 넓혀야 하는 상황이 됐다는 설명이다.

아모데이는 AI 개발을 중단하자는 것이 아니라 안전성을 확보할 수 있는 수준으로 속도를 조절하자는 취지라고 강조했다. 이를 위해 AI 기업 내부에 직원과 비슷한 수준의 접근 권한을 가진 독립적인 제3자 평가팀을 두고, 일정 수준 이상의 자율성을 갖춘 모델은 검증을 마칠 때까지 배포나 훈련 속도를 조절하는 방안을 제안했다.

또 민주주의 국가의 AI 기업들이 공통 안전 기준을 마련하고 국제사회가 AI 안전 문제에 협력해야 한다고 밝혔다. 개별 기업만 속도를 늦출 경우 경쟁에서 뒤처질 수 있는 만큼 업계가 함께 기준을 마련해야 한다는 것이다.

기업 간 공동 대응에는 법적 문제도 따른다. 경쟁 기업들이 개발 속도나 훈련 규모를 함께 제한하면 미국 반독점법상 담합으로 해석될 가능성이 있기 때문이다. 아모데이는 기업들이 안전 기준을 논의할 수 있도록 미국 정부가 제한적인 법적 면책을 제공하는 방안도 제시했다.

올트먼 CEO는 아모데이의 제안에 대해 “최전선의 속도를 조절해야 한다는 다리오의 의견에 동의한다”고 밝혔다. 독립 평가자가 AI 시스템에 직원과 같은 수준으로 접근할 수 있도록 하는 방안에 대해서도 “훌륭한 생각”이라며 오픈AI에서도 도입하겠다고 했다.

머스크 CEO 역시 아모데이의 글에 “다리오가 맞다”고 답했다.

올트먼 CEO는 별도의 인터뷰에서 올해 오픈AI의 기업공개(IPO)를 추진하지 않겠다고 밝히면서, 주요 AI 기업들이 개발 속도를 조절하고 관련 위험에 공동 대응하는 협약을 논의할 가능성도 언급했다.

다만 모든 AI 기업이 같은 입장을 보이는 것은 아니다. 오픈소스 방식으로 AI를 개발하는 메타와 마크 저커버그 CEO는 아모데이의 제안에 아직 공개적인 입장을 내놓지 않았다.

미국 정치권에서도 AI 안전장치와 규제 논의가 이어지고 있지만 도널드 트럼프 행정부는 AI 개발에 대한 정부 규제에는 상대적으로 소극적이라는 평가를 받고 있다.