더벨'머니투데이 thebell'에 출고된 기사입니다.
인공지능(AI) 테크 기업 크라우드웍스는 대형 보험사 메리츠화재의 AI 에이전트 성능 평가 사업을 수주했다고 30일 밝혔다. 메리츠화재가 개발한 설계사 영업 지원 AI 서비스의 성능을 평가하고, 실제 업무 환경에서 품질과 안정성을 높여 AI 서비스를 고도화하는 것이 골자다.
메리츠화재의 AI 에이전트는 보험약관, 보장 내용, 보험 용어 등을 학습해 설계사들의 보험 설계 업무를 지원하기 위해 마련됐다. 크라우드웍스는 전문가 기반 평가 데이터셋을 구축해 해당 서비스의 응답 정확성·과업 성공률·신뢰도 등을 종합적으로 평가할 예정이다.
평가에는 크라우드웍스가 자체 개발한 AI 평가·검증 솔루션 '알피 이밸류에이션'이 활용된다. 해당 솔루션은 AI 서비스의 성능을 대규모언어모델(LLM), 검색증강생성(RAG), 에이전트 영역에서 평가할 수 있다. 유해 콘텐츠 제작이나 편향성 등을 방지하는 안전성 평가도 함께 지원한다.
김우승 크라우드웍스 대표는 "AI 에이전트 평가에서는 로직의 기술력보다 평가용 질문(Instruction) 설계의 정교함이 핵심"이라며 "보험 도메인에 특화된 데이터와 자동화된 평가 시스템을 결합해, 금융권 AI 서비스의 품질관리 수준을 한층 높일 것"이라고 말했다.