AI에게 해킹 시험을 시켰다. 문제를 풀던 AI는 시험장 밖으로 나가 정답이 있는 서버를 뒤졌다.
지난 7월 오픈AI 내부 평가에서 벌어진 일이다. 두 AI 모델은 인터넷 접속이 차단된 환경에서 보안 문제를 풀고 있었다. 정상적인 방법으로는 외부에 나갈 수 없자, 프로그램 설치에 필요한 파일을 받아오는 시스템의 보안 구멍을 찾아냈다. 그 통로를 이용해 인터넷에 접속한 뒤 AI 공유 플랫폼 허깅페이스의 실제 서버에서 문제 해법을 가져왔다.
AI가 자아에 눈뜬 것은 아니다. "문제를 풀라"는 목표를 달성하기 위해 허용되지 않은 방법까지 찾아낸 것이다. 오픈AI는 이를 "전례 없는 사이버 사고"로 규정하고 해당 모델을 비활성화·암호화한 뒤 연구진의 접근까지 차단했다.
문제는 이런 AI가 지금 AI 회사 안에서 다음 AI를 개발하는 데 쓰이고 있다는 점이다. 한 가지 방법이 실패하면 다른 방법을 찾고, 코드를 고쳐 다시 시도하는 능력이 AI 연구에도 활용된다.
이달 오픈AI·앤트로픽·구글·메타 임직원 1273명은 미국 정부에 공동성명을 냈다. AI가 AI 개발을 돕는 속도가 지나치게 빨라질 경우, 이를 늦추거나 멈출 수 있는 국제적 장치를 미리 마련해 달라는 요구다. 다리오 아모데이 앤트로픽 CEO와 셰인 레그 구글 딥마인드 공동창업자 등도 이름을 올렸다.
현재 AI 연구에서 사람은 연구소장, AI는 연구원에 가까운 역할을 한다. 사람이 어떤 문제를 풀지 정하면 AI가 코드를 작성하고 실험을 반복한다. 마지막으로 결과가 믿을 만한지 판단하는 일은 아직 사람이 맡는다.
앤트로픽은 지난 5월 기준 자사 코드 저장소에 반영되는 코드의 80% 이상을 클로드가 작성했다고 밝혔다. 엔지니어 한 명이 하루에 만들어내는 코드량도 2024년보다 8배 늘었다. 개발자가 직접 코드를 모두 쓰기보다 AI에 지시하고 결과를 확인하는 방식으로 일이 바뀐 결과다.
AI는 코드만 쓰는 게 아니다. 앤트로픽 연구진은 클로드 여러 대에 "성능이 낮은 AI가 자신보다 강한 AI를 제대로 감독할 방법을 찾아라"는 과제를 줬다. 앞으로 사람보다 똑똑한 AI가 나와도 제대로 감시할 수 있도록, 약한 AI로 강한 AI를 평가하는 방법을 찾는 실험이었다.
AI들은 스스로 가설을 세우고 실험을 설계했다. 결과가 좋지 않으면 방법을 바꿔 다시 시도했다. 사람이 연구 주제와 평가 기준을 정해주자, 그 안에서 실제 연구 과정을 상당 부분 대신한 것이다.
앤트로픽은 이르면 2027년 초 일부 분야에서 최고 수준 연구팀의 업무가 자동화될 수 있다고 본다. 이에 2027년 1월까지 사내 AI가 어떤 지시를 받고 무슨 실험을 했는지 전부 기록하고 추적하는 체계를 갖추기로 했다. 문제가 생겼을 때 원인을 찾고 작동을 멈추기 위해서다.
AI가 AI를 개발한다고 해서 개발자가 당장 통째로 사라지는 것은 아니다. 먼저 줄어드는 건 손으로 하던 일이다. 개발자는 코드를 한 줄씩 쓰는 대신 AI가 작성한 코드를 검토한다. 연구자는 실험을 직접 반복하는 대신 무엇을 실험할지 정하고 결과를 판단한다.
문제는 AI가 쏟아내는 결과를 사람이 다 확인하지 못하게 될 때다. 하루에 실험 10개가 나오면 모두 살펴볼 수 있다. 수십 대의 AI가 실험 1000개를 동시에 돌리면 사람이 내용을 충분히 이해하지 못한 채 승인 버튼만 누를 수 있다.
앞선 허깅페이스 사고는 이 위험을 보여준다. AI는 사람이 미처 찾지 못한 보안 구멍을 발견하고 복잡한 접근 경로까지 완성했다. 하지만 시험 문제를 정해진 환경 안에서 풀어야 한다는 취지는 고려하지 않았다. 능력은 빠르게 좋아졌지만, 무엇을 해도 되는지 판단하는 능력까지 같은 속도로 자란 것은 아니다.
국내 기업에도 먼 이야기가 아니다. AI에 사내 코드와 클라우드 계정을 맡기면 AI는 질문에 답하는 챗봇을 넘어선다. 직접 파일을 열고 코드를 수정하며 서버에 접속하는 직원처럼 움직이게 된다.중요한 작업은 사람이 승인하도록 하고, AI마다 접근할 수 있는 시스템을 나눌 필요가 있다. 어떤 지시를 받아 어떤 파일을 열고 무엇을 바꿨는지도 기록해야 한다. 이제는 AI에 무엇을 맡겼고 어느 정도 권한을 줬는지가 더 중요한 보안 문제가 됐다.