ChatGPT와 생성인공지능의 호황과 매우 비싼 가격

ChatGPT and Generative AI are booming, but at a very expensive price

By Jonathan Vanian,Kif Leswing CNBC8 min

March 13, 2023

https://www.cnbc.com/2023/03/13/chatgpt-and-generative-ai-are-booming-but-at-a-very-expensive-price.html

 

매력적인 문장을 만들어내는 능력으로 전 세계의 주목을 받기 전, Latitude라는 작은 스타트업은 프롬프트에 따라 환상적인 이야기를 만들 수 있는 AI 던전 게임으로 소비자들을 열광시켰습니다.

하지만 AI Dungeon의 인기가 높아지면서 텍스트 기반 롤플레잉 게임을 유지하는 데 드는 비용이 급증하기 시작했다고 Latitude의 CEO Nick Walton은 회상했습니다. AI 던전의 텍스트 생성 소프트웨어의 원동력은 Microsoft가 지원하는 AI 연구소 OpenAI에서 제공하는 GPT 언어 기술이었습니다. 더 많은 사람이 AI 던전을 플레이할수록 Latitude는 OpenAI에 더 많은 비용을 지불해야 했습니다.

게다가 월튼은 콘텐츠 마케터들이 AI 던전을 사용하여 홍보 문구를 생성하는 것을 발견했는데, 이는 그의 팀이 전혀 예상하지 못했던 AI 던전의 용도였지만 결국 회사의 AI 청구서에 추가되었습니다.

2021년 최고조에 달했을 때, 월튼은 Latitude가 매일 처리해야 하는 수백만 건의 사용자 쿼리를 따라잡기 위해 OpenAI의 소위 제너레이티브 AI 소프트웨어와 Amazon Web Services에 한 달에 거의 20만 달러를 지출했다고 추정합니다.

월튼은 "우리는 농담으로 인간 직원도 있고 AI 직원도 있는데, 두 직원에게 각각 거의 같은 비용을 지출했습니다."라고 말합니다. "한 달에 수십만 달러를 AI에 지출했는데, 우리는 큰 규모의 스타트업이 아니었기 때문에 엄청난 비용이 들었습니다."

2021년 말, 래티튜드는 OpenAI의 GPT 소프트웨어 사용에서 스타트업 AI21 Labs가 제공하는 더 저렴하지만 여전히 유능한 언어 소프트웨어로 전환했으며, 이 스타트업은 오픈 소스 및 무료 언어 모델을 서비스에 통합하여 비용을 절감했다고 월튼은 덧붙였습니다. 월튼은 Latitude의 AI 생성 비용은 한 달에 10만 달러 미만으로 떨어졌으며, 이 스타트업은 비용을 절감하기 위해 고급 AI 기능에 대한 월 구독료를 부과하고 있다고 말했습니다.

Latitude의 비싼 AI 청구서는 최근의 제너레이티브 AI 기술 붐 뒤에 숨은 불편한 진실을 보여줍니다: 일반적으로 대규모 언어 또는 기반 모델이라고 하는 기반 기술을 개발하는 기업과 자체 소프트웨어를 구동하기 위해 AI를 사용하는 기업 모두 소프트웨어 개발 및 유지 관리 비용이 엄청나게 높을 수 있습니다.

잠재적으로 수조 달러의 가치를 지닐 수 있는 벤처캐피털의 눈에는, 머신러닝의 높은 비용이 업계의 불편한 현실이 되고 있습니다. Microsoft, Meta, Google과 같은 대기업은 소규모 도전자들이 따라잡을 수 없는 기술 우위를 점하기 위해서 막대한 자본을 사용하고 있습니다.

하지만 높은 컴퓨팅 비용으로 인해, AI 애플리케이션의 마진이 이전의 서비스형 소프트웨어 마진보다 영구적으로 작아진다면 현재의 호황에 찬물을 끼얹을 수 있습니다.

대규모 언어 모델을 학습하고 '추론'하는 데 드는 높은 비용(실제로 실행)은 이전의 컴퓨팅 붐과는 다른 구조적인 비용입니다. 소프트웨어가 구축되거나 학습된 경우에도 대규모 언어 모델을 실행하려면 프롬프트에 대한 응답을 반환할 때마다 수십억 개의 계산을 수행하기 때문에 여전히 엄청난 양의 컴퓨팅 성능이 필요합니다. 이에 비해 웹 앱이나 페이지를 제공할 때는 훨씬 적은 계산이 필요합니다.

또한 이러한 계산에는 특수 하드웨어가 필요합니다. 기존의 컴퓨터 프로세서는 머신러닝 모델을 실행할 수 있지만 속도가 느립니다. 현재 대부분의 트레이닝과 추론은 그래픽 프로세서 또는 GPU에서 이루어지며, 처음에는 3D 게임용으로 고안되었지만 여러 가지 간단한 계산을 동시에 수행할 수 있어 AI 애플리케이션의 표준이 되었습니다.

엔비디아는 AI 산업에 사용되는 대부분의 GPU를 제조하며, 엔비디아의 주요 데이터센터용 칩은 10,000달러에 달합니다. 이러한 모델을 구축하는 과학자들은 종종 "GPU를 녹인다"는 농담을 하곤 합니다.

 

Training models

분석가와 기술자들은 GPT-3와 같은 대규모 언어 모델을 훈련하는 중요한 프로세스에 4백만 달러 이상의 비용이 들 수 있다고 추정합니다. AI와 머신 러닝에 중점을 둔 Forrester의 분석가인 로완 커런은 고급 언어 모델을 훈련하는 데는 "한 자릿수 이상의 수백만 달러"가 들 수 있다고 말합니다.

예를 들어, 메타가 지난달 출시한 가장 큰 LLaMA 모델은 2,048개의 엔비디아 A100 GPU를 사용하여 1조 4천억 개의 토큰(750단어는 약 1,000개의 토큰)을 학습하는 데 약 21일이 걸렸다고 메타는 지난달 모델을 출시할 당시 밝혔습니다.

트레이닝에는 약 100만 GPU 시간이 소요되었습니다. AWS의 전용 가격을 적용하면 240만 달러가 넘는 비용이 듭니다. 또한 매개변수가 650억 개로, 1,750억 개의 매개변수를 가진 ChatGPT-3와 같은 OpenAI의 현재 GPT 모델보다 작습니다.

AI 스타트업 Hugging Face의 CEO인 클레멘트 델랑그는 자사의 Bloom 대규모 언어 모델을 학습하는 데 두 달 반 이상이 걸렸으며 "500개의 GPU에 해당하는" 슈퍼컴퓨터에 액세스해야 했다고 말했습니다.

대규모 언어 모델을 구축하는 조직은 소프트웨어의 능력을 향상시키는 데 도움이 되는 소프트웨어를 재교육할 때 너무 많은 비용이 들기 때문에 신중해야 한다고 그는 말했습니다.

"이러한 모델은 매일처럼 항상 훈련되는 것이 아니라는 점을 인식하는 것이 중요합니다."라고 델랑그는 말하며, 이것이 ChatGPT와 같은 일부 모델이 최근 사건에 대한 지식이 없는 이유라고 지적했습니다. ChatGPT의 지식은 2021년에 멈춘다고 그는 말했습니다.

"현재 블룸 버전 2에 대한 교육을 진행하고 있으며, 재교육에 천만 달러가 넘는 비용이 들지 않을 것입니다."라고 Delangue는 말했습니다. "그래서 우리는 매주 이런 일을 하고 싶지 않습니다."

 

Inference and who pays for it

학습된 머신러닝 모델을 사용하여 예측을 하거나 텍스트를 생성하기 위해 엔지니어는 '추론'이라는 프로세스에서 모델을 사용하는데, 인기 있는 제품의 경우 수백만 번 실행해야 할 수 있기 때문에 학습보다 훨씬 더 많은 비용이 들 수 있습니다.

투자 회사 UBS가 1월에 월간 활성 사용자 수가 1억 명에 달했다고 추산하는 ChatGPT와 같은 인기 제품의 경우, 그 달에 사람들이 소프트웨어에 입력한 수백만 개의 프롬프트를 처리하는 데 OpenAI가 4천만 달러의 비용이 들었을 것이라고 Curran은 생각합니다.

이러한 도구가 하루에 수십억 번 사용되면 비용은 급증합니다. 금융 분석가들은 OpenAI ChatGPT 모델로 구동되는 Microsoft의 Bing AI 챗봇이 모든 Bing 사용자에게 응답을 제공하려면 최소 40억 달러의 인프라가 필요하다고 추정합니다.

예를 들어, Latitude의 경우, 이 스타트업이 액세스하는 기본 OpenAI 언어 모델을 훈련하는 데 비용을 지불할 필요는 없었지만, "하루에 수백만 건의 요청"에 대해 "통화당 0.5센트"에 해당하는 추론 비용을 고려해야 했다고 Latitude 대변인은 말했습니다.

Curran은 자신의 계산에 대해 "비교적 보수적으로 계산했습니다."라고 말했습니다.

현재 AI 붐의 씨앗을 뿌리기 위해 벤처 캐피털리스트와 거대 기술 기업들은 제너레이티브 AI 기술을 전문으로 하는 스타트업에 수십억 달러를 투자하고 있습니다. 예를 들어, 지난 1월 언론 보도에 따르면 Microsoft는 GPT를 관장하는 OpenAI에 100억 달러에 달하는 금액을 투자했습니다. Salesforce의 벤처 캐피털 부문인 Salesforce Ventures는 최근 제너레이티브 AI 스타트업을 대상으로 하는 2억 5천만 달러 규모의 펀드를 선보였습니다.

벤처캐피털 회사인 Haystack과 Lightspeed Venture Partners의 투자자 Semil Shah는 트위터에서 "벤처캐피털 자금이 택시 탑승과 부리토 배달 보조금에서 LLM과 제너레이티브 AI 컴퓨팅으로 옮겨갔다"고 설명했습니다.

많은 기업가들은 자신이 통제할 수 없고 사용량에 따라 비용을 지불하는 보조금 지급 가능성이 있는 AI 모델에 의존하는 것이 위험하다고 생각합니다.

"스타트업 컨퍼런스에서 AI 친구들과 이야기할 때 저는 이렇게 말합니다: OpenAI, ChatGPT 또는 기타 대규모 언어 모델에만 의존하지 말라고요."라고 현재 베타 모드에 있는 챗봇인 personal.ai의 창립자 수만 카누간티(Suman Kanuganti)는 말합니다. "비즈니스는 변화하기 때문에 모두 대기업이 소유하고 있지 않습니까? 그들이 액세스를 차단하면 여러분은 사라집니다."

엔터프라이즈 기술 회사인 Conversica와 같은 회사는 현재 할인된 가격으로 Microsoft의 Azure 클라우드 서비스를 통해 이 기술을 사용할 수 있는 방법을 모색하고 있습니다.

컨버시카의 CEO 짐 카스케이드(Jim Kaskade)는 스타트업이 얼마를 지불하고 있는지에 대해서는 언급하지 않았지만, 언어 모델을 효과적으로 사용할 수 있는 방법을 모색하기 위해 보조금이 붙은 비용을 지급하는 것은 환영할 만한 일이라고 인정했습니다.

"진정으로 손익분기점을 맞추려고 했다면 훨씬 더 많은 비용을 청구했을 것입니다."라고 Kaskade는 말했습니다.

 

How it could change

업계가 발전함에 따라 AI 연산 비용이 계속 높아질지는 불분명합니다. 기반 모델을 만드는 회사, 반도체 제조업체, 스타트업은 모두 AI 소프트웨어 실행 가격을 낮추는 데 비즈니스 기회를 보고 있습니다.

AI 칩 시장의 약 95%를 점유하고 있는 엔비디아는 머신 러닝을 위해 특별히 설계된 더 강력한 버전을 계속 개발하고 있지만, 최근 몇 년 동안 업계 전반의 총 칩 성능 향상은 둔화되고 있습니다.

그럼에도 불구하고 엔비디아의 CEO인 젠슨 황은 칩뿐만 아니라 소프트웨어 및 기타 컴퓨터 부품의 개선으로 인해 10년 후에는 AI가 백만 배 더 효율적이 될 것이라고 믿습니다.

황은 지난달 실적 발표에서 "무어의 법칙이 가장 좋았던 시절에는 10년 안에 100배의 발전을 이룰 수 있었을 것"이라고 말했습니다. "새로운 프로세서, 새로운 시스템, 새로운 상호 연결, 새로운 프레임워크 및 알고리즘을 개발하고 데이터 과학자, AI 연구자들과 협력하여 새로운 모델을 개발함으로써 전체 범위에서 대규모 언어 모델 처리 속도를 백만 배나 향상시킬 수 있었습니다."

일부 스타트업은 AI의 높은 비용을 비즈니스 기회로 삼았습니다.

"아무도 추론을 위해 특별히 설계된 무언가를 만들어야 한다고 말하지 않았습니다. 그렇다면 어떤 모습일까요?" GPU가 아닌 컴퓨터 메모리에서 더 많은 처리를 수행하여 추론 비용을 절감하는 시스템을 구축하는 스타트업인 D-Matrix의 설립자 시드 셰스(Sid Sheth)는 이렇게 말합니다.

"오늘날 사람들은 대부분의 추론 작업을 수행하기 위해 GPU, 즉 NVIDIA GPU를 사용하고 있습니다. 그들은 엔비디아가 판매하는 엄청난 가격의 DGX 시스템을 구입합니다. 추론의 문제점은 워크로드가 매우 빠르게 급증하는 경우인데, ChatGPT의 경우 5일 만에 사용자가 백만 명에 달했습니다. GPU 용량이 이를 따라잡을 수 있는 방법이 없는데, 이는 이 용도로 설계된 것이 아니기 때문입니다. 이 시스템은 트레이닝과 그래픽 가속을 위해 만들어졌습니다."라고 그는 말했습니다.

허깅페이스의 CEO인 델랑그는 더 많은 기업이 현재 가장 많은 관심을 받고 있는 대규모 언어 모델 대신 훈련과 실행 비용이 저렴한 소규모의 특정 모델에 집중하는 것이 더 나을 것이라고 생각합니다.

한편, OpenAI는 지난달 기업들이 자사의 GPT 모델에 액세스하는 데 드는 비용을 낮춘다고 발표했습니다. 이제 약 750단어 출력에 대해 5분의 1센트만 청구합니다.

OpenAI의 가격 인하는 AI 던전 제작사 Latitude의 관심을 끌었습니다.

Latitude 대변인은 "업계에 큰 변화를 가져올 것으로 기대하며, 사용자에게 최고의 경험을 제공할 수 있는 방법을 지속적으로 평가하고 있습니다."라고 말했습니다. "Latitude는 최고의 게임을 만들기 위해 모든 AI 모델을 계속 평가할 것입니다."