독파모 사업 '사용성' 평가 논란…벤치마크 1위 모티프 탈락

AI 생성 이미지

정부의 독자 인공지능(AI) 파운데이션 모델(독파모) 사업이 단계 평가마다 평가지표를 둘러싼 논란에 휩싸이고 있습니다. 특히 최근 진행된 2차 평가에서는 벤치마크 점수 1위를 기록했던 모티프테크놀로지스가 사용자 평가에서 낮은 점수를 받아 탈락하면서 ‘사용성’ 평가의 객관성과 투명성 문제가 새로운 쟁점으로 떠올랐습니다.

이는 앞선 1차 평가에서 자체 기술력을 가리는 ‘독자성’ 기준이 도마 위에 올랐던 것과 유사한 상황으로, 국책 사업의 신뢰도 저하에 대한 우려가 커지고 있습니다.

벤치마크 1위 모티프테크놀로지스 탈락

정보통신기술(ICT) 업계에 따르면, 이번 2차 평가의 핵심 쟁점은 ‘사용성’ 지표였습니다. 사용성 지표는 데이터셋 기반의 벤치마크(정량 평가)와 달리, AI 모델이 실제 산업 현장과 서비스 환경에서 얼마나 유의미하게 활용될 수 있는지를 검증하는 척도입니다. 총 100점 만점 중 60점이 배정된 전문가·사용자 평가가 사실상 활용성 지표의 핵심을 이뤘습니다.

글로벌 공인 지표인 아티피셜 어낼리시스 인텔리전스 인덱스(AAII)에서 1위를 차지하며 벤치마크 총합 1위(24.6점)를 기록했던 모티프테크놀로지스는 전문가 평가(27.1점)와 사용자 평가(14.1점) 등 활용성 부문에서 경쟁사 대비 낮은 점수를 받으며 종합 4위(65.8점)로 고배를 마셨습니다.

SKT·업스테이지·LG AI연구원 상위권

반면 SK텔레콤(70.6점), 업스테이지(69.9점), LG AI연구원(69.0점) 등은 사용자 평가에서 18∼19점대의 고른 점수를 얻으며 정량 평가 결과를 뒤집고 1∼3위에 올랐습니다.

정부는 벤치마크 수치가 높아도 실전 서비스 환경에서 오류가 잦거나 효용이 떨어지면 국가대표 AI로서의 경쟁력을 갖추기 어렵다는 점을 들어 사용성 평가의 정당성을 강조하고 있습니다.

평가지표 투명성 논란 재점화

그러나 모티프를 비롯한 업계 일각에서는 정량 지표와 달리 전문가·사용자 중심의 사용성 평가는 질의 환경이나 평가단의 성향에 따라 점수 편차가 발생할 수 있어 채점 기준을 더욱 투명하게 정립해야 한다는 목소리가 나오고 있습니다.

독파모 사업에서 평가지표를 둘러싼 갈등이 이번이 처음이 아닙니다. 앞선 1차 평가에서는 글로벌 오픈소스 기반 파생 모델과 자체 개발 모델 간의 기술적 기여도를 평가하는 독자성 지표의 기준이 모호하다는 지적이 제기된 바 있습니다. 1차 평가의 독자성에 이어 2차 평가의 활용성까지 논란이 잇따르면서 독파모 3차 평가의 신뢰도를 높이기 위한 가이드라인 보완이 시급하다는 지적이 나옵니다.

※ 이 글은 월드뉴스데일리의 기사입니다.