오픈AI의 대표 샘 올트먼은 최근 “거대 언어 모델(LLM) 시대는 끝났다”고 선언하며, 인공지능(AI) 개발 전략의 변화를 예고했다. 이는 챗지피티(ChatGPT)를 탄생시킨 매개변수 기반의 고비용 모델 개발 방식이 한계에 봉착했음을 시사한다.
매개변수 의존 구조의 한계
챗지피티는 대규모 데이터를 활용한 사전 학습 인공지능으로, 자연어 이해, 자동 번역, 내용 요약 등 다양한 언어 처리 작업에서 탁월한 성과를 거두었다. 그러나 이러한 성과 뒤에는 막대한 자원과 비용이 필요했다. 예를 들어, 지피티-3는 1,750억 개의 매개변수를 보유해 인공신경망 중 최대 규모였다. 최신 그래픽칩(GPU) 하나당 가격이 3만 달러(약 4천만 원) 이상이며, 챗지피티 훈련에는 1만 개 이상의 GPU가 사용된 것으로 알려졌다.
변화의 필요성
올트먼은 매사추세츠공대(MIT)에서 열린 ‘AI와 함께하는 비즈니스의 미래’ 행사에서 “거대 모델의 시대는 끝났다”며 “앞으로는 더 나은 인공지능이 다른 방식으로 개발될 것”이라고 강조했다. 이는 매개변수를 무작정 늘리는 기존 접근법이 지속 가능하지 않다는 점을 반영한다.
비용과 성능의 딜레마
지피티-4 훈련에는 1억 달러 이상의 비용이 들었으며, 이는 지피티-2 훈련 비용인 5만 달러와 비교해 급격히 증가한 수치다. 이러한 비용 구조는 수익성을 저하시켜 장기적인 비즈니스 모델을 위협한다. 또한, 데이터 센터 확장은 물리적, 재정적 제약으로 인해 무한정 늘릴 수 없는 현실적인 한계도 존재한다.
새로운 접근 방식의 모색
올트먼은 “트랜스포머 모델의 효율을 높이는 방법은 매개변수를 추가하는 것만이 아니다”라며, 더 효율적인 모델 설계를 위한 다양한 연구가 진행 중임을 밝혔다. 트랜스포머 모델은 문장 속 단어 관계를 학습해 맥락과 의미를 파악하는 기계 학습 시스템으로, 인공지능 발전의 핵심 기술 중 하나다.
인간 피드백과 차세대 AI
코히어(Cohere) 공동창업자 닉 프로스트는 “새로운 모델 설계와 인간 피드백 기반의 추가 조정이 유망하다”고 언급했다. 이는 AI 답변의 품질을 인간이 평가하고 수정하는 과정을 통해 보다 정확하고 신뢰할 수 있는 응답을 생성하는 방향으로 연구가 진화하고 있음을 의미한다.
결론
매개변수 확장 중심의 거대 언어 모델 시대가 막을 내리고 있다. 고비용 구조와 성능 한계로 인해 AI 업계는 새로운 패러다임으로의 전환을 모색 중이다. 향후 인공지능 개발은 효율적인 모델 구조와 인간 피드백 시스템을 통합하는 방향으로 발전할 것으로 전망된다.