[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
AI(인공지능) 신뢰성 평가 기술을 개발하는 셀렉트스타가 자연어처리(NLP) 학회 'EMNLP 2026'에서 AI 신뢰성·안전성 연구 논문 5편을 등재했다고 28일 밝혔다.
EMNLP는 전산언어학회(ACL)가 주관하는 자연어처리 학술대회다. 경험적 방법론과 검증에 기반한 연구를 다루며 글로벌 빅테크와 주요 연구기관 소속 연구자들이 성과를 발표한다. 올해 학회는 오는 10월 24일부터 29일까지 헝가리 부다페스트에서 열린다.
채택된 논문은 메인 콘퍼런스 1편과 'Findings' 1편, 워크숍 3편이다. 올해 EMNLP 메인 콘퍼런스에는 약 1만8000편의 연구가 제출돼 15.4%가 채택된 것으로 알려졌다.
메인 콘퍼런스에 채택된 'When Accuracy Aligns and Fails: Diagnosing Human-LLM Response Alignment at Population Scale'는 AI가 문제를 맞히는지만 보는 기존 평가를 넘어 틀린 경우에도 사람과 비슷한 오답을 고르는지 분석했다.
논문은 셀렉트스타 최혜지 연구원이 공동 주저자로 참여했다. 연구진은 표준화 시험 문항에서 나타나는 사람들의 정답·오답 선택 분포와 LLM(대규모언어모델)의 응답 분포를 비교해 AI가 인간과 얼마나 유사하게 성공하고 실패하는지 진단하는 평가 프레임워크를 제시했다.
셀렉트스타 관계자는 "정확도와 인간 유사성을 함께 평가하면 모델이 특정 집단의 판단 패턴을 얼마나 반영하는지, 어떤 상황에서 사람과 다른 방식으로 오류를 내는지 파악할 수 있다"고 했다.
셀렉트스타는 이 연구를 자사가 보유한 19종 AI 안전성 분류체계 및 유해성 평가 기술과 결합해 국가별 이용자의 위험 인식과 문화적 특성을 반영하는 안전성 벤치마크로 확장할 계획이다.
Findings에 채택된 'Guard Models Are Overconfident Where Base Models Are Uncertain'는 유해하거나 위험한 요청을 판별하는 가드 모델이 자신의 판단을 얼마나 확신하는지 분석했다.
일부 가드 모델은 기반 모델의 판단이 불확실한 상황에서도 높은 확신을 보이며 잘못된 결정을 내릴 수 있는 것으로 나타났다. 가드레일은 통상 모델이 판단한 위험 가능성을 기준으로 차단 여부를 정한다. 위험하지 않은 요청을 과도하게 막으면 서비스 사용성이 떨어진다.
독자들의 PICK!
셀렉트스타는 이 연구를 바탕으로 판단 결과와 오판 위험을 함께 반영해 고객 환경에 맞는 가드레일 차단 기준을 조정하는 기술로 확장할 예정이다. 해당 논문에는 홍종현 연구원이 주저자, 정민재 연구원이 공동저자, 김민우 셀렉트스타 AI 세이프티팀 리더가 교신저자로 참여했다.
EMNLP 2026 산하 워크숍에서도 김민우 리더가 교신저자로 참여한 공동연구 논문 3편이 채택됐다. 금융보안원과 함께 연구한 2편은 금융 자연어처리 워크숍 'FinNLP'에, 이화여대와 함께 연구한 1편은 문화적 맥락을 반영한 AI 정렬을 다루는 'PANDORA' 워크숍에 올랐다.
FinNLP 채택 논문 'Regression-Aware Statistically Gated Policy Updating for Korean Financial LLM Input Guardrails'는 가드레일이 놓친 금융권 레드팀 공격 사례를 학습해 방어 정책을 개선하고, 갱신 과정에서 기존 성능 저하 여부도 자동 검증한다.
함께 채택된 'Hidden Below the Landing Page: Tracking Linked Pages and Relation-Centered DOM Summaries for Financial Phishing Detection'는 피싱 사이트의 연결 페이지까지 추적해 실제 피싱 행위를 LLM이 식별하도록 한 연구다.
PANDORA에 채택된 'LatAm-RT: Toward Culturally Adaptive Red Teaming for AI Safety in Latin America'는 안전성 데이터를 번역하는 데 그치지 않고 멕시코·엘살바도르·코스타리카·칠레의 언어와 제도, 사회적 맥락을 반영해 레드팀 공격 데이터를 현지화했다.
이 연구는 같은 AI 모델도 국가와 문화에 따라 안전성 평가 결과가 달라질 수 있음을 분석했다. 구두발표 논문으로 선정돼 워크숍 세션에서 연구진이 직접 발표한다.
셀렉트스타는 AI 신뢰성 검증 플랫폼 '다투모 플랫폼(Datumo Platform)'으로 기업의 AI 모델과 서비스에 대한 성능·안전성 평가를 지원한다. 이번 연구 성과는 국가·산업별 안전성 평가 기술 고도화에 활용한다.
김세엽 셀렉트스타 대표는 "이번 논문 채택은 셀렉트스타의 AI 신뢰성 평가와 안전성 연구 역량을 국제 학술 무대에서 인정받았다는 점에서 의미가 있다"며 "연구 성과를 평가·레드티밍·가드레일 기술과 연결해 기업이 실제 서비스 환경에서 활용할 수 있는 검증 체계로 발전시키겠다"고 했다.
[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']