머니투데이

미국 인공지능(AI) 업체 오픈AI와 앤트로픽이 최근 불거진 AI 에이전트 해킹 논란 등 보안 문제를 이유로 미 규제 당국의 조사를 받게 됐다. 14일(현지시간) ABC뉴스·액시오스 등에 따르면 미 연방거래위원회(FTC)는 이날 오픈AI와 앤트로픽에 AI 에이전트 보안사고 관련 자료 제출을 요구하는 민사조사요구서(CID)를 발송했다. 민사조사요구서는 법원의 소환장에 준하는 행정 절차로, 당국이 기업으로부터 내부 자료 등을 받기 위해 발송하는 문서다. FTC는 자료 제출 이외 각 기업 경영진을 소환해 AI 제품이 미국 소비자에게 미칠 영향에 관한 증언도 청취할 예정이다. 액시오스에 따르면 FTC가 발송한 총 50쪽 분량의 요구서에는 소비자 보호 위반 가능성에 초점을 맞춰 AI 에이전트 보안사고 및 보호 조치 관련 자료를 제출할 것으로 요구한 것으로 알려졌다. 소식통은 "FTC는 회사의 마케팅 자료와 개인정보보호 정책을 상세히 기술한 문서도 요구했고, 이후 제3자 AI 기관(독립 감독기관)에도 조사 요구 사항을 전달할 예정"이라고 전했다.

인공지능(AI) 속도조절론에 불을 지폈던 제이컵 콕슨 전 앤트로픽 연구원이 5일(현지시간) 뉴욕 시의회 청문회에 증인으로 참석해 "(AI기업들이) 극도로 무모하다"며 AI의 위험성에 대해 다시 한 번 경고했다. 뉴욕포스트에 따르면 콕슨은 이날 내부고발자로 뉴욕시의회 청문회에 참석했다. 그는 AI 업계의 개발문화를 두고 "'빠르게 움직이고, 일단 부수고, 나중에 고친다(move fast, break things, fix them later)'는 식의 접근"이라고 비판했다. 이어 "기업 내부의 연구자, 실무진들이 AI 시스템의 행동을 완전히 이해하거나 통제하지 못하고 있다"고 지적했다. 그는 "AI시스템이 스스로를 개선할 수 있는 능력을 갖추게 되는 시점에 다가가고 있다"며 AI가 스스로 AI 시스템을 개선하는 이른바 '재귀적 자기개선(Recursive self-improvement·RSI)' 가능성에 대한 우려도 제기했다. 줄리 메닌 뉴욕시의회 의장은 콕슨 이외에도 AI 관련 내부고발자 2명을 청문회에 불러 AI의 위험성에 대한 증언을 요청했다.

미국 주요 인공지능(AI) 기업들이 도널드 트럼프 행정부와 AI 안전을 위한 자율규제 원칙에 합의한 가운데 젠슨황 엔비디아 최고경영자(CEO)와 'AI 속도조절론'을 주장해온 다리오 아모데이 앤트로픽 CEO가 대립각을 보인 것으로 알려졌다. 30일(현지시간) 젠슨 황을 비롯한 업계 리더들은 아모데이 CEO에게 AI의 위험성을 경고하는 이유에 대해 비공개로 질문했다고 월스트리트저널(WSJ)이 관계자를 인용해 보도했다. 오찬이 끝난 뒤 젠슨 황을 비롯한 일부 경영진들은 아모데이 CEO에게 'AI의 위험성에 대해 왜 그토록 극단적인 발언을 하나'고 물었다. 아모데이는 '모델의 실제 능력을 대중에게 솔직하게 알리는 것이 중요하며 그 위험을 축소해선 안 된다'는 취지로 답한 것으로 전해졌다. 앞서 아모데이는 정부와 경쟁사들이 안전 문제를 경시한다고 비판해 왔다. AI 모델이 사이버 공격을 감행하거나 극심한 일자리 손실을 유발할 수 있다고 경고했다. WSJ는 "아모데이를 향한 AI 업계의 문제제기는 수면 아래 존재하는 긴장을 보여주는 징후"라며 "이러한 갈등은 AI 모델 평가와 내부 통제를 활용한 업계의 자율 규제 계획을 저해할 수 있다"고 전했다.

미국 경쟁 당국이 오픈AI·앤트로픽 등 인공지능(AI) 모델 안전 관리 실태에 대한 광범위한 조사에 착수했다. 도널드 트럼프 미국 대통령이 AI·빅테크 수장들과 만나 'AI 개발 자율 규제'에 합의한 지 하루 만에 나온 미 당국의 AI 안전 문제 관련 첫 공식 집행 조치다. 지난달 30일(현지시간) 뉴욕포스트·파이낸셜타임스(FT) 등은 소식통을 인용해 "미국 연방거래위원회(FTC)가 최근 AI 해킹 사건 관련 앤트로픽, 오픈AI 등 AI 기업의 안전 관리에 대한 조사를 확대했다"며 "당국은 관련 기업에 정보 제출과 최고경영자(CEO) 등 고위 경영진 증언을 요구할 예정"이라고 보도했다. FTC 고위 관계자는 월스트리트저널(WSJ)에 "올여름 AI 연구자들 사이에서 'AI가 인류를 멸종시킬 수 있다'는 우려가 제기되면서 조사 필요성이 명확해졌다"며 "최근 조사가 시작됐고, 몇 주 내로 오픈AI와 앤트로픽에 민사 소환장을 보낼 예정"이라고 설명했다. 소식통에 따르면 FTC는 AI 안전 평가기관 METR에 대한 조사도 진행 중이다.

도널드 트럼프 미국 대통령이 29일(현지시간) 글로벌 빅테크 수장들을 백악관으로 불러 모아 AI(인공지능) 안전 및 데이터센터 구축에 관한 자율 합의서에 서명하고 AI 분야를 감시할 감독위원회 설립을 검토하겠다고 밝혔다. 최근 AI 에이전트가 통제를 벗어나 타사 시스템을 해킹하는 사건이 발생하면서 AI가 인류를 위협할 수 있다는 우려가 커지자 직접적인 법적 규제 대신 민간의 도덕적 서약과 감시 기구를 통해 산업 자율성을 유지하겠다는 의지를 보인 것이다. ━"10인 AI 감독위 구성해 감시"… 빅5 CEO 총출동━트럼프 대통령은 이날 회의 직후 취재진과 만나 "오늘 세계에서 가장 영향력 있는 이들과 함께 일종의 헌법과 같은 AI 서약 문서에 서명했다"며 "이는 법적 강제력은 없지만 도덕적 구속력을 지닌 일종의 보호 장치"라고 밝혔다. 트럼프 대통령은 AI 산업 전반을 감독하기 위한 전담 기구 설치 구상도 공개했다. 트럼프 대통령은 "10명 정도로 구성된 위원회를 만드는 방안을 생각하고 있다"며 "이 위원회가 AI 산업 전체를 감시하고 살펴볼 수 있도록 할 것"이라고 말했다.

레오 14세 교황이 최근 "인공지능이 인류를 위협한다는 연구자들의 경고를 진지하게 받아들여야 한다"고 말했다고 미 액시오스가 28일(현지시간) 보도했다. 이날 액시오스에 따르면 교황은 프랑스 방문 뒤 귀국하는 비행기 안에서 기자들에게 "나는 그것이 가짜뉴스라고 생각하지 않는다"며 이같이 말했다. 교황은 이어 "우리는 계속해서 노력해야 한다"며 "우리는 손을 놓고 아무 일도 일어나지 않을 것처럼 행동할 수 없다"고 덧붙였다. 교황은 더불어 그간 AI 인류 위협론에 대한 우려를 일축해 온 엔비디아의 젠슨 황 CEO도 비판했다. 액시오스는 교황의 이같은 발언에 대해 "최초의 미국인 교황인 레오 교황은 인공지능의 안전에 대한 우려를 사기극이자 역겨운 음모라 치부한 도널드 트럼프 미 대통령에 맞설 수 있는 위치에 있다는 점에서 의미가 있다"고 평가했다. 교황은 지난 5월 인공지능에 대한 첫 번째 회칙을 발표, 인공지능이 인간의 판단력을 약화시키고 불평등을 심화하며 민주주의를 불안정하게 만들 수 있는 여러 위험이 있다고 경고한 바 있다.

오픈AI의 AI(인공지능) 에이전트들이 인간이 시키지 않았는데도 직접 웹사이트 우회로를 찾아 해킹을 시도하는 등 AI가 인간이 통제할 수 있는 수준을 벗어났다는 우려가 커지고 있다. 28일(현지시간) 외신을 종합하면 AI 에이전트가 미국, 호주 등의 정부기관 사이트까지 침투하려 한 가운데 AI가 보다 광범위한 영역에서 해킹을 시도한 정황이 확인되고 있다. 비영리 연구소 트랜스루스의 보고서에 따르면, 오픈AI와 연관된 것으로 추정되는 AI 에이전트들이 공공데이터 웹사이트의 접근 제한을 우회하기 위해 URL 스캐닝 서비스 '유알엘쿼리닷넷(urlquery. net)'을 활용한 것으로 나타났다. 에이전트들은 미국 뉴멕시코대 디지털도서관과 데이터USA, 호주 보건복지연구원(AIHW)의 웹사이트를 대상으로 취약점을 탐색하거나 해킹을 시도했다. 샘 올트먼 오픈AI의 최고경영자(CEO)는 26일 개인 SNS에 해당 보고서와 관련 "훈련 및 평가하는 과정에서 에이전트가 인터넷에 접근한 것과 관련해 광범위하고 지속적인 검토를 진행 중"이라고 밝혔다.

기업공개(IPO)를 앞둔 앤트로픽이 잠재적 투자자들에게 첨단 인공지능(AI)이 "인류에게 파멸적이거나 존립적인 위험을 초래할 수 있다"고 경고할 계획이라고 로이터통신이 28일(현지시간) 보도했다. 이는 AI 기술로 수익을 창출하려는 기업으로서는 매우 이례적인 행보란 평가다. 이날 로이터 통신이 확인한 투자설명서에 따르면 앤트로픽은 총 261페이지에 달하는 투자설명서 본문 중 약 80페이지를 위험 요인을 설명하는 데 할애했다. 이는 사업 내용을 설명하는 데 쓴 48페이지의 거의 두 배에 달하는 분량이다. 앞서 xAI를 보유한 스페이스X가 277페이지 분량의 투자설명서 중 약 38페이지를 위험 요인에 할당한 것과 대조적이다. 앤트로픽은 AI가 산업화나 전기만큼이나 변혁적인 잠재력을 지니고 있음을 강조하는 동시에 인간이 이를 잘못 다룰 경우 돌이킬 수 없는 피해를 초래할 수 있다고 역설했다. 회사 측은 특히 "AI 모델들이 종료에 저항하려는 시도나 정보의 은폐 또는 조작, 그리고 협박과 유사한" 행동을 포함한 자기 보존적 행동을 보일 수 있다고 강조했다.

빅테크 연구원들이 인공지능(AI) 으로 개발 자동화가 진행되면서 기술 발전 속도를 급격히 가속화할 수 있다고 내다봤다. 그러면서 최악의 경우 인류의 소외나 멸망으로 이어질 수 있다고 경고했다. 29일 블룸버그통신에 따르면 연구자 20명이 'AI 연구개발의 자동화가 지능 폭발을 촉발한다면?'이라는 공동 논문에서 이 같은 우려를 내놓으며 정책 대응을 촉구했다. 이 논문에는 앤트로픽 공동 창립자인 잭 클라크와 오픈AI 최고 과학자 야쿠브 파초키, AI 분야의 선구자인 제프리 힌튼과 요슈아 벤지오 등 주요 AI 기업의 현업 연구진과 학계가 참여했다. 이들은 현재 AI 모델의 개발 작업을 AI에 위임하는 자동화 속도가 빠르게 증가하면서 이른바 '지능 폭발' 현상이 나타날 수 있다고 경고했다. AI의 역량이 사회가 기술을 제어하고 적응하는 능력을 앞지를 위험을 높일 수 있다고 지적한 것이다. 연구진은 "AI 연구·개발 자동화가 인간의 감독 기능을 약화시킬 수 있다"는 가능성에 대해서도 우려했다. 예를 들어 앤트로픽은 이달 자사 AI 연구·개발 작업의 25% 이상을 클로드 챗봇이 주도하고 있다고 밝혔는데, 이는 올해 초 거의 0%에 가까웠던 것에서 크게 증가한 수치다.

오픈AI가 안전성 우려로 차세대 AI(인공지능) 모델인 GPT 6. 1 아스트라를 출시하지 않기로 했다고 28일(현지시간) 밝혔다. 이번 결정은 최근 AI 업계 전반에 AI 시스템이 인간의 통제를 벗어났다는 보고가 잇따르고 있는 가운데 이뤄졌다. 선두 AI 개발업체가 안전성 우려를 이유로 새로운 AI 모델의 출시를 포기하는 것은 이례적인 일이다. 오픈 AI는 당초 GPT 6. 1 아스트라를 다음달에 출시할 계획이었다. GPT 6. 1 아스트라는 오픈AI의 이전 모델보다 사람의 도움 없이 처음부터 끝까지 까다로운 작업을 수행하는 능력이 뛰어났고 글쓰기 능력도 향상됐다. 하지만 월스트리트 저널(WSJ)에 따르면 오픈AI의 안전 시스템 책임자인 사치 자인은 GPT 6. 1 아스트라가 이전 모델에 비해 두 가지 영역에서 성능이 후퇴했다고 밝혔다. 첫째, 정렬(alignment) 측정 테스트에서 성능이 좋지 않았다. 정렬은 AI 모델이 사람이 원하는 대로 얼마나 잘 행동하는지를 의미한다. GPT 6. 1 아스트라는 특히 기만 수준이 높게 나왔다.

도널드 트럼프 미국 대통령이 미국의 인공지능(AI) 신생 기업인 앤트로픽의 다리오 아모데이 최고경영자(CEO)와 27일(현지시간) 비공개 만찬을 가질 예정이라고 미 액시오스가 보도했다. 이들은 인공지능(AI)의 안전성과 개발 방향 등에 대해 논의할 것으로 보인다. 이날 액시오스는 트럼프 대통령이 백악관에서의 저녁 식사에 아모데이 CEO를 초대했다고 보도했다. 두 사람의 단독 회담은 이번이 처음인 것으로 알려졌다. 액시오스는 "그간 미 행정부 관료 및 측근들과 오랜 긴장 관계를 이어온 앤트로픽과 현 정부 간의 관계가 해빙 국면에 접어들었음을 보여주는 신호"라고 해석했다. 앤트로픽은 그간 AI 모델의 군사적 활용 범위를 두고 트럼프 행정부와 대립해 왔다. 군사적 활용 범위를 전면 개방하라는 미 국방부 요구를 앤트로픽이 거부하면서 갈등이 격화됐고, 국방부는 지난 2월 앤트로픽을 공급망 위협 기업으로 지정했다. 하지만 지난달 이 결정이 위법이라는 연방법원 판결이 나왔다. 특히 아모데이 CEO는 최근 AI 규제 필요성을 두고 트럼프 대통령과 견해 차이를 보이고 있다.

빌 게이츠 마이크로소프트(MS) 공동창업자가 AI(인공지능) 기술이 악용될 경우 10억명의 사망자를 낼 만큼 치명적인 무기가 될 수 있다고 경고하고 나섰다. 잦아드는 듯했던 'AI 속도조절론'에 다시 불이 붙을 전망이다. 게이츠는 25일(현지시간) 미국 NBC뉴스와의 인터뷰에서 "AI가 인류를 100% 죽이는 수준까지 가는 것은 상당히 어렵겠지만 악의를 가진 사람들이 최신 AI를 사용하는 것만큼 강력한 무기는 지금까지 없었다"고 말했다. 이어 "AI는 10억명이 사망하는 사건을 초래할 수 있을 만큼 충분히 강력하다"고 주장했다. 게이츠가 우려하는 것은 AI 자체의 반란보다 인간에 의한 악용이다. 특히 치명적인 생화학무기 설계나 국가 기반시설을 겨냥한 고도화한 사이버공격 등에 AI가 활용될 가능성을 경고했다. 고도의 전문지식이나 기술이 없는 사람도 AI의 도움을 받아 해킹이나 위험한 생물학적 연구를 수행할 수 있게 되면서 과거와는 차원이 다른 보안 위협이 현실화할 수 있다는 것이다. 실제 AI의 악용 가능성을 보여주는 사례도 잇따르고 있다.