SKT 유영상, 통신 특화 AI 승부수 던졌다…'텔코LLM' 6월 출시
SKT 유영상, 통신 특화 AI 승부수 던졌다…'텔코LLM' 6월 출시
  • 윤경진 기자
  • 승인 2024.04.30 11:05
  • 댓글 0
이 기사를 공유합니다

오픈AI·앤트로픽 협력…미세조정·모델평가 고도화
요금제·선택약정 등 통신 전문 용어·AI 윤리 학습
고객센터 전화 상담 업무 시간 대폭 감소 기대
에릭 데이비스 SKT AI 테크 콜라보레이션 담당이 30일 SKT타워에서 열린 텔코LLM 설명회에서 멀티LLM 전략을 설명하고 있다.[사진=윤경진 기자]
에릭 데이비스 SKT AI 테크 콜라보레이션 담당이 30일 SKT타워에서 열린 텔코LLM 설명회에서 멀티LLM 전략을 설명하고 있다.[사진=윤경진 기자]

유영상 SK텔레콤 사장이 추진하는 'AI 피라미드' 전략의 핵심 열쇠 '텔코LLM(통신 특화 거대 언어모델)'이 모습을 드러냈다.

SK텔레콤은 30일 서울 중구 SKT타워에서 텔코LLM 설명회를 열고 5G 요금제, T멤버십, 공시지원금 등 한국 통신 전문 용어와 AI(인공지능) 윤리가치와 같은 통신사 내부 지침을 학습한 ‘텔코LLM’을 오는 6월 중 개발을 완료할 예정이라고 발표했다.

'AI 피라미드'는 AI 기술을 고도화하고 AI 서비스를 만들어 고객과 관계를 밀접하게 만드는 ‘자강(自强)’과 AI 얼라이언스 중심의 ‘협력(協力)’ 모델을 피라미드 형태로 단계별 묶어낸 전략이다. 유 사장은 AI 투자 비중을 올해부터 5년간 약 3배 확대해 2028년 매출 25조원 이상을 달성하겠다는 포부다.

SK텔레콤은 멀티LLM 전략의 일환으로 오픈AI, 앤트로픽 등과 협력했다. 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집, 정형·비정형 데이터를 선별해 이를 에이닷엑스(A.X), ‘GPT’, '클로드'에 학습한 텔코LLM을 만들고 있다.

이 자리서 에릭 데이비스 SKT AI 테크 콜라보레이션 담당은 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것”이라며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략”이라고 설명했다.

에릭 담당은 한국과 미국 애플에서 AI 음성 프로그램인 시리(Siri)의 한국어 작업을 담당하고 2019년에 SKT에 합류해 자체 LLM 개발을 담당한 LLM 전문가다.

정민영 SKT AI플랫폼 담당이 30일 SKT타워에서 열린 텔코LLM  설명회에서 텔코LLM 활용 방안에 대해 설명하고 있다.[사진=윤경진 기자]
정민영 SKT AI플랫폼 담당이 30일 SKT타워에서 열린 텔코LLM 설명회에서 텔코LLM 활용 방안에 대해 설명하고 있다.[사진=윤경진 기자]

오픈 AI의 GPT-4는 SKT와 협력을 통해 한국어로 된 통신 관련 대화 성능을 향상했다. 범용LLM 대비 텔코LLM은 통신 영역에서 높은 수준의 생성형 AI작업을 수행할 수 있어 활용성이 높은 게 장점이다.

범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다. 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코LLM의 파인튜닝이다. 파인튜닝이 된 텔코LLM은 휴먼 피드백 기반의 강화학습(RLHF) 과정을 거친다. 마지막으로 텔코LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 모델평가(벤치마킹)를 한다.

고객이 요금제를 문의하거나 부가서비스 변경을 요청하는 식의 상담 유형을 선택하는 영역에서 낮은 점수를 받으면 관련 데이터를 더 구축하는 방식으로 학습하는 식이다.

현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요되는데 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해 주는 등 상담 후 처리까지 소요되는 시간을 크게 단축해 줄 것으로 기대된다. 

SK텔레콤은 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.

정민영 SK텔레콤 AI플랫폼 담당은 “고객센터, 인프라뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라며 “지속적으로 텔코LLM을 활용한 사례를 늘려갈 계획”이라고 설명했다.

한편 SK텔레콤은 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 ‘인텔리전스 플랫폼’도 공개했다. 일종의 ‘기업용 AI 개발·운용 패키지’로 현재A.(에이닷) 등에 적용 중이며 적용 사례를 지속 확대할 예정이다.

youn@shinailbo.co.kr

관련기사