유영상 SK텔레콤 사장 [SK텔레콤 제공]

SK텔레콤은 6월까지 5G 요금제, T멤버십, 공시지원금 등 국내 통신 전문 용어와 AI 윤리가치 등 통신사 내부 지침을 학습한 ‘텔코LLM(통신사 특화 거대언어모델)’ 개발을 완료할 예정이라고 30일 밝혔다.

텔코LLM은 통신업에 특화된 LLM을 뜻한다. SKT는 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집하고, 정형·비정형 데이터를 선별해 이를 에이닷엑스(A.X·SKT), GPT(오픈AI), 클로드(앤트로픽)에 학습시키는 방법으로 LLM을 만들고 있다.

특히 텔코LLM은 SKT 멀티 LLM 전략의 일환이다. 이를 통해 통신사가 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 가져다 쓸 수 있게 하겠다는 것이다.

▶한국어 통신 데이터 입힌 에이닷엑스·GPT-4·클로드=현재 SKT는 에이닷엑스, GPT-4, 클로드에 한국어로 된 통신 관련 데이터를 학습시키는 텔코LLM을 개발 중이다. 다양한 통신 특화 LLM 라인업을 갖추면서 성능, 비용 절감 등을 꾀하겠다는 것이다.

이와 관련 오픈AI는 지난 5일 공식 블로그를 통해 “SKT와 협력을 통해 GPT-4를 미세 조정하고, 한국어로 된 통신 관련 대화 성능을 향상시켰다”며 특정 산업 미세조정의 대표 사례로 들었다. 텔코LLM은 통신 영역에서 높은 수준의 생성형 AI작업을 수행할 수 있다. SKT는 텔코 데이터를 수집하고, 비정형·정형 데이터를 선별, 정제하는 작업을 한다. 이를 기반으로 범용 LLM을 통신사 전용으로 미세조정하고, 인간 피드백을 통한 강화 학습(RLHF)을 한 후 최종 벤치마킹(모델 평가)을 하는 과정을 거친다.

▶상담사 지원 AI에이전트...상담업무 소요 시간 단축 기대=텔코LLM 도입 시 상담업무 소요 시간 단축이 기대된다. 기존 고객센터에서는 상담사가 고객 문의 내용 정리, 필요 문서 검색, 요약 후 답변, 상담 내용 기록 등을 해야 했으나, 텔코 LLM이 전 과정을 줄여주는 셈이다.

텔코LLM을 도입 시 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고, 상담 내용을 요약해주는 등 소요 시간을 크게 단축시켜 줄 전망이다.

정민영 SKT AI플랫폼담당은 “고객센터 인프라뿐만 아니라 마케팅·유통망, HR와 같은 사내 업무 등까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라고 자신했다.

▶생성형 AI 애플리케이션 구축·개발 가능한 ‘인텔리전스 플랫폼’ 공개=아울러 SKT는 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 ‘인텔리전스 플랫폼’도 공개했다. 인텔리전스 플랫폼은 멀티 LLM부터 복합정보처리(멀티모달), 검색증강생성(RAG)등을 아우르는 ‘기업용 AI 개발·운용 패키지’다.

SKT의 인텔리전스 플랫폼은 단일 LLM에 의존하지 않는 것이 특징이다. 범용 LLM은 성능에 비례해 추론 비용이 높고, 특정 영역에 대한 이해도는 낮을 수 있다. 때문에 통신업에 특화된 멀티 LLM을 이용해야 한다는 것이 SKT의 설명이다.

SKT 관계자는 “국내는 물론 글로벌 통신사 등 유사한 업무특성을 가진 기업들이 텔코 LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것으로 기대한다”고 밝혔다. 고재우 기자