AI 업무 생산성 벤치마크...삼성전자,‘트루벤치’ 공개

삼성전자가 자체 개발한 AI 업무 생산성 벤치마크 ‘트루벤치(TRUEBench, Trustworthy Real-world Usage Evaluation Benchmark)’를 25일 공개했다. 트루벤치는 삼성전자 DX부문 선행 연구조직인 삼성리서치가 사내 생성형 AI 적용 경험을 바탕으로 개발한 것으로, AI 모델의 업무 생산성 성능을 평가한다.

삼성전자는 많은 기업들이 업무 전반에 AI를 도입하고 있지만, 기존 벤치마크로는 AI 모델의 업무 생산성 성능을 정확히 측정하기 어렵다는 점에 주목했다. 실제 시중에 공개되어 있는 대부분의 AI 벤치마크는 영어를 중심으로, 연속 대화가 아닌 한번 혹은 제한된 횟수로 대화를 평가하고 있다.

트루벤치는 10개 카테고리, 46개 업무, 2485개 항목으로 세분화해 문서 요약, 콘텐츠 생성, 데이터 분석, 번역 등 실제 업무 생산성을 집중 평가한다. 평가 항목은 기업에서 자주 사용하는 콘텐츠 생성, 데이터 분석, 문서 요약 및 번역, 연속 대화 등 실제 오피스 업무에서 활용되는 체크 리스트를 기반으로 완성됐다. 특히 짧은 요청부터 최대 2만자 분량의 긴 문서 요약까지 실제 업무 상황을 폭넓게 평가하고, 폭넓은 시나리오를 담았으며, 영어·한국어·일본어·중국어·스페인어 등 12개 언어를 지원한다.

사용자는 한 번에 최대 5개 모델을 비교할 수 있고, 평균 응답 길이 등 효율성 지표까지 함께 제공돼 세밀한 성능 분석이 가능하다.

전체 평가 점수뿐만 아니라 10개 카테고리에 대한 세부 항목별 점수도 공개해 기존 벤치마크보다 세밀한 평가 결과를 확인할 수 있다. 또한 글로벌 비즈니스 환경을 고려해 영어와 한국어 등 여러 언어가 혼합된 교차 언어 번역 평가도 지원해 글로벌 비즈니스 환경에 최적화된 점이 특징이다.

전경훈 삼성전자 DX부문 최고기술책임자(CTO) 겸 삼성리서치장 사장은 “삼성 리서치는 다양한 실제 적용 사례를 바탕으로 차별화된 생산성 AI 기술 경쟁력과 노하우를 보유하고 있다”며 “트루벤치 공개를 통해 생산성 성능 평가 기준을 정립하고 삼성전자의 기술 리더십을 더욱 공고히 할 것”이라고 말했다.

박지영 기자