[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
생성형 AI(인공지능) 전문기업 딥브레인AI가 인물 도용 판별과 유해 입력 차단, 딥페이크 판별까지 생성형 AI의 악의적 활용 위험을 통합 관리하는 안전 엔진 'AI 가드' 개발을 완료했다고 12일 밝혔다.
이 엔진은 문화체육관광부와 한국콘텐츠진흥원의 문화기술 R&D(연구개발) 사업 '악의적 활용을 차단하는 생성형 AI 모델을 탑재한 콘텐츠 창작 및 공유 플랫폼 기술 개발' 과제를 통해 개발됐다. 한국전자기술연구원이 주관하고 딥브레인AI가 공동연구개발기관으로 참여했다.
AI 가드는 △이미지·영상 속 인물이 보호 대상으로 등록된 인물인지 확인하는 '페이스 아이디(Face ID) 판별' △유해 콘텐츠 생성을 유도하는 텍스트와 이미지를 걸러내는 '악의적 입력 필터' △이미지·영상의 합성 여부를 분석하는 '딥페이크 판별' 등 3가지 기능으로 구성된다.
각 기능은 동일한 인증 체계와 응답 규격을 쓰는 10종의 API로 제공한다. 기업과 기관은 서비스 환경과 필요에 맞춰 원하는 기능만 선택해 연동할 수 있다.
공공기관과 금융·교육 현장에서 쓰이는 기존 'AI 디텍터'가 이미지·영상의 딥페이크 여부 판별에 특화된 별도 탐지 솔루션이라면, AI 가드는 적용 범위를 콘텐츠 생성 과정 전반으로 넓힌 통합 안전 엔진이다.
핵심은 생성 전후를 나눠 이중으로 검사하는 구조다. 이용자가 입력한 프롬프트와 참조 이미지를 먼저 검사해 명백한 위반 요소를 사전에 차단한다.
이어 생성된 이미지와 영상을 다시 확인한다. 입력 단계에서 식별하지 못했거나 생성 과정에서 발생한 문제까지 점검한 뒤 이용자에게 결과물을 제공한다.
검사 과정에서 오류가 발생한 요청을 자동으로 통과시키지 않는 안전장치도 적용했다. 모델 응답 과정에 문제가 생기거나 처리 시간이 초과되면 안전하지 않은 것으로 간주해 차단하는 방식으로 판정 실패에 따른 유해 콘텐츠 유출 가능성을 낮췄다.
주요 성능은 지난해 10월 KOLAS(한국인정기구) 인정 시험기관인 와이즈스톤에서 소프트웨어 품질 국제표준에 따라 시험했다. 합성 여부 판별 정확도와 악의적 생성 유도 입력 차단 오차율, 특정 인물 인식 정확도가 과제 기준을 충족했고 합성 여부 판별 정확도는 96%를 기록했다.
AI 가드는 기업과 기관의 보안 환경을 고려해 고객사 내부 인프라에서도 운영할 수 있도록 설계했다. 판별에 쓰이는 언어모델과 안전 분류 모델을 외부 상용 API 호출 없이 자체 GPU에서 구동해 검사 대상 프롬프트와 이미지를 외부로 전송하지 않는 환경을 구축할 수 있다.
장세영 딥브레인AI 대표는 "주요 성능을 공인 시험을 통해 확인한 만큼 기업과 기관이 자체 인프라 안에서 생성형 AI의 악용 위험을 체계적으로 관리할 수 있도록 기술 적용 범위를 지속 확대해 나가겠다"고 말했다.
[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']