지능 없는 행위자로서의 AI: ChatGPT, 대규모 언어 모델 및 기타 생성 모델

AI as Agency without Intelligence: on ChatGPT, large language models, and other generative models

 

원문정보: https://link.springer.com/article/10.1007/s13347-023-00621-y

Luciano Floridi

 

이 논문은 최근 인공지능(AI)의 발전과 ChatGPT와 같은 대형 언어 모델(LLM)의 개발에 대해 논의한다. 이 논문은 이러한 LLM이 지능, 이해 또는 인지 능력이 부족한 상태에서 텍스트를 놀라운 성공으로 처리할 수 있으며 종종 인간의 출력과 구별할 수 없는 방식으로 처리할 수 있다고 주장한다. 또한 취약성(치명적인 오류에 취약함), 신뢰성(허위 또는 조작된 정보), 그리고 기본적인 논리적 추론이나 간단한 수학을 처리하지 못하는 등의 한계를 강조한다. 이 논문은 LLM이 행위자성과 지능의 디커플링(분리)을 나타낸다고 결론지었다. 매우 강력하고 잠재적으로 매우 유용하지만, 복잡한 추론이나 중요한 정보에 의존해서는 안 되며, 인간의 입력을 대체하기보다는 텍스트의 내용과 맥락을 더 깊이 이해하는 데 사용될 수 있다. 최고의 저자는 LLM도 인간도 아닌 LLM을 능숙하고 통찰력 있게 사용하는 인간이다.

 

 

첫 번째 아이디어는 오래되었다: 모든 텍스트가 사전에 존재하고, 그 차이는 구문, 즉 사전 단어가 문장으로 구조화되는 방식에 의해 만들어진다(Borges 2000). 두 번째 아이디어는 오래된 것이다: 사전에 있는 모든 단어는 알파벳에 존재하고, 차이는 형태학, 즉 알파벳의 문자가 단어로 구조화되는 방식에 의해 만들어진다(Clarke 1967). 세 번째 아이디어는 오래되었다: 모든 문자가 디지털 코드에 존재하며, 그 차이는 디지털 코드의 유한 문자열 0과 1이 문자로 구조화되는 방식에 의해 만들어진다(Lodder 2008). 네 번째 아이디어는 또한 오래되었다: 0과 1의 모든 문자열은 두 개의 전자기 특성, 즉 전류가 높거나 낮거나, 자화가 있거나 없는 두 가지 전자기적 속성으로 존재하며, 이러한 속성을 전자 계산 장치에서 처리할 수 있는 방법에 따라 차이가 생긴다(Mano 1979). 그러나 다섯 번째 아이디어는 혁명적이다: 오늘날 인공지능(AI)은 텍스트를 놀라운 성공으로 처리하기 위해 전자기의 특성을 관리하며, 종종 인간이 어떻게 그것을 할 수 있는지 구별할 수 없는 방식으로 관리한다. 이른바 대규모 언어 모델(LLM)이라고 불리는 이 모델들은 당연히 센세이션을 일으키고 있다.

 

가장 유명한 LLM은 GPT3, ChatGPT(GPT3.5라고도 함, OpenAI-Microsoft에서 제작) 및 Bard 1(Google에서 제작)이다. 이들은 추론하거나 이해하지 못하며, 어떤 공상과학 AI를 향한 단계도 아니며, 동물 세계, 무엇보다 인간의 뇌와 마음에 존재하는 인지 과정과 아무런 관련이 없다(Bishop 2021). 그러나 이용가능한 데이터, 계산의 양과 속도, 그리고 그 어느 때보다 더 나은 알고리즘의 놀라운 성장으로, 그들은 비록 신경과학이 여전히 탐구하고 있는 방식으로라도 우리가 의미론적으로 하는 것을 통계적으로 할 수 있다.

그러나 사용 가능한 데이터의 엄청난 증가, 계산의 양과 속도, 더 나은 알고리즘으로 인해 통계적으로, 즉 다루는 텍스트의 의미가 아닌 형식적 구조에 대한 작업을 수행함으로써 신경 과학에서 아직 탐구 중인 우리가 의미론적 방식으로 하는 작업을 수행할 수 있다.

가장 회의적인 사람들도 인정해야 할 만큼 그들의 능력은 놀랍다. 다음은 ChatGPT가 만든 신곡의 요약이다.

 

[그림 1 생략 – 원문 참조]

 

요약본이 50단어보다 길기 때문에 비판할 수도 있고, (인터넷에서 이 주제에 대한 논쟁이 있긴 하지만)신곡이 서사시가 아니라 단테 자신이 제안한 것처럼 비극이라고 비판할 수도 있다. 그럼에도 불구하고, 요약은 나쁘지 않으며 평범한 학생이 만든 요약보다 확실히 낫다. 학습은 더 이상 ChatGPT를 사용하지 않고 요약을 만드는 것이 아니라, 올바른 프롬프트 (텍스트를 생성하는 질문 또는 요청, 내 요청의 첫 번째 줄 참조)를 사용하는 방법을 가르치고, 결과를 확인하고, ChatGPT가 생성 한 텍스트에서 수정해야 할 사항을 알고, 어떤 문학 장르가 신곡에 가장 잘 적용되는지에 대한 논쟁이 있음을 발견하고, 이 모든 작업을 수행하는 동안 소프트웨어뿐만 아니라 무엇보다도 신곡 자체에 대해 많은 것을 배우는 것이다. 1990년대 옥스퍼드에서 학생들을 가르치면서 데카르트의 명상록에 대한 에세이를 쓰는 가장 좋은 연습 중 하나는 이미 말한 내용을 요약하는 것이 아니라 명상록 중 하나의 전자 텍스트를 가져와 영어 번역을 개선하도록 하고(따라서 원본을 확인하는 법을 배우게 되고); 덜 명확한 구절을 더 접근하기 쉬운 문구로 명확히 하며(따라서 텍스트를 실제로 이해했는지 확인하고); 논증을 비판하거나 다듬고 수정하거나 강화하려고 시도하고 (따라서 다른 사람들도 똑같이 시도했지만 그렇게 쉽지 않다는 것을 깨닫고); 그리고 이 모든 작업을 수행하면서 작업 중인 콘텐츠의 본성, 내부 구조, 역학 및 메커니즘을 배우게 하는 것이다. 또는 예를 바꾸어 말하면, 어떤 주제에 대해 위키피디아 항목을 작성하는 방법을 아는 것이 아니라(ChatGPT를 사용하면 점점 더 잘 할 수 있다), 그 주제를 수정하는 방법을 알 때 그 주제를 정말로 알고 있다고 할 수 있다. 텍스트라는 인공물의 본질과 논리를 마스터하는 한, 소프트웨어를 도구로 사용하여 텍스트/메커니즘을 손에 넣고 엉망으로 더럽혀야 한다.

 

이러한 LLM의 한계는 이제 가장 열정적인 사람에게도 명백하다. 작동하지 않을 때 어원학적 의미에서 수직적이고 즉각적인 성능 저하로 파국적으로 실패하기 때문에 취약하다. 잘못된 정보를 제공했다가 데모 실패로 구글에 1,000억 달러 이상의 주식 손실을 입힌 바드 사태는 디지털이든 사람이든 지능이 전혀 없는 상태에서 일을 처리하는 것이 때때로 매우 고통스럽다는 것을 상기시켜 준다(Bing Chat에도 문제가 있다). 이제 고칠 수 없을 것 같은 이 LLM이 언제, 어떻게, 왜 아킬레스건을 무한대로 가지고 있는지에 대한 매우 정교한 분석을 내놓는 연구가 줄을 잇고 있다(그것의 아킬레스건이 무엇이냐는 질문에 ChatGPT는 단지 AI 시스템일뿐이라고 정확하게 대답했다). 어떻게 대답해야 할지 모를 때 텍스트, 답변 또는 참고자료를 지어내거나, 명백한 사실에 대해 실수를 하고, 때로는 아주 사소한 논리적 추론에 실패하거나 간단한 수학에 어려움을 겪거나, 이상한 언어적 사각지대에 갇히기도 한다. (Floridi and Chiriatti 2020; Cobbe et al. 2021; Perez et al. 2022; Arkoudas 2023; Borji 2023; Christian 2023; Rumbelow 2023).

영어로 된 간단한 예는 내용을 전혀 이해하지 못한 채 텍스트를 관리하는 메커니즘의 한계를 잘 보여줍니다. 색슨족 소유격을 사용하여 로라의 어머니의 외동딸의 이름이 무엇인지 물었을 때, 친절하게도 바보 같은 대답이 돌아왔다.

 

[그림 2 생략 – 원문 참조]

 

튜링 테스트 통과는 잊어라. 내가 구글이었다면 그렇게 취약한 메커니즘에 회사의 재산을 걸지 않았을 것이다.

 

엄청난 성공과 그에 못지않은 광범위한 한계를 고려할 때, 일부에서는 LLM을 아무것도 이해하지 못한 채 텍스트를 반복하는 확률론적 앵무새에 비유하기도 한다(Bender 외. 2021). 이 비유는 앵무새가 인공지능의 부러움을 살 만한 그들만의 지능을 가지고 있을 뿐만 아니라 무엇보다도 LLM은 단순한 반복이나 병치가 아니라 학습된 내용을 재구성하여 새로운 방식으로 텍스트를 합성하기 때문에 이 비유는 부분적으로만 도움이 됩니다. 그것들은 검색 엔진의 자동 완성 기능에 훨씬 더 비슷해 보인다. 그리고 종합 능력에서 그들은 짧은 에세이를 작성하기 위해 교사가 제안한 12 개의 관련 참고 문헌을 사용하고 여기저기에서 조금씩 가져 와서 일관성이 있지만 많은 것을 이해하거나 추가되는 내용이 없는 절충적인 텍스트를 구성하는 평범하거나 게으른 학생들에게 근접한다. 옥스퍼드에서 대학 튜터로 일하면서 저는 매 학기마다 이런 글들을 많이 교정한 적이 있다. 이제 이런 글들이 ChatGPT를 통해 더 빠르고 효율적으로 만들어질 수 있다.

안타깝게도 ChatGPT와 같은 도구를 설명하기 위해 제가 아는 가장 좋은 비유는 문화적으로 제한되어 있고 이탈리아 문학의 위대한 고전인 만조니의 '약혼자'(Manzoni 2016)를 언급한다. 렌조(주인공 중 한 명)가 변호사를 만나는 유명한 장면에서 다음과 같은 구절이 나온다: "의사[변호사]가 이 모든 말을 하는 동안 렌조는 마치 속기 쉬운 사람[materialone]이 광장에 서서, tow and tow and tow를 입에 채워 넣은 후 끊임없이 끝나지 않는 테이프를 꺼내는 사기꾼[giocator di bussolotti]를 바라보는 것처럼 황홀한 관심을 가지고 그를 바라보고 있었다. [“nastro”라는 단어는 "리본"으로 번역하는 것이 더 정확하지만, 튜링 머신의 끝없는 테이프를 연상시키기 때문에 이 맥락에서는 "테이프"가 더 선호된다]". LLM은 천문학적인 양의 데이터를 집어삼키고 정보를 토해내는 사기꾼과 같다. 우리가 그들 정보의 "테이프"가 필요한 경우 해당 정보가 어떻게, 왜, 어떤 영향으로 생성되었는지 주의 깊게 살펴보는 것이 좋다. 그리고 여기서 우리는 더 흥미로운 것들에 도달한다.

오늘날 모든 종류의 콘텐츠를 생산하는 LLM 및 다양한 AI 시스템의 영향은 엄청날 것이다. DALL-E를 생각해 보라. ChatGPT는 DALL-E가 “OpenAI에서 개발한 인공 지능 시스템으로 텍스트 설명에서 시작하여 원본 이미지를 생성한다. 그것은 최첨단 기계 학습 기술을 사용하여 입력 텍스트와 일치하는 캡션, 키워드 및 간단한 문장을 포함한 고품질 이미지를 생산한다. DALL-E를 사용하여 사용자는 자신이 원하는 이미지에 대한 텍스트 설명을 입력할 수 있으며 시스템은 설명과 일치하는 이미지를 생성한다.” 윤리적 및 법적 문제가 있다. 해당 AI가 훈련된 데이터 소스와 연결된 저작권 및 재생산 권한을 생각해보라. 첫 번째 소송은 이미 시작되었고, 이미 첫 번째 표절 스캔들이 발생했다. 인적 비용도 있다.

ChatGPT를 교육하기 위해 유해한 콘텐츠에 레이블을 지정하는 데 시간당 2달러 미만을 지급받는 케냐의 계약직을 생각해보라. 그들은 적절한 정신 건강 자원에 접근할 수 없었고 많은 사람들이 외상을 입었다. 커리큘럼을 개편하기 위해 분주하게 움직여야 하는 교사에게 미치는 영향과 같은 인적 문제나, AI의 학습 데이터에 대한 알고리즘 중독이란 결과를 낳는, 점점 더 의료 진단에 통합되는 AI 프로세스의 결과물에 대한 보안과 관련된 사항도 있다.

또는 이러한 새로운 시스템의 재정적, 환경적 비용을 생각해 보라(Cowls 외. 2021): 이러한 유형의 혁신은 공정하고 지속 가능한가? 그런 다음에, 학교, 직장, 연구 환경, 과학 출판, 코드 자동 생성, 고객 서비스와 같은 맥락에서 콘텐츠 생성, 과학 기사나 새로운 법률을 포함한 모든 텍스트 초안 작성에서 이러한 도구의 최선의 사용과 관련된 질문이 있다. 어떤 직업은 사라질 것이고, 어떤 직업은 이미 등장하고 있으며, 많은 직업은 재고되어야 할 것이다.

 

하지만 무엇보다도 철학자에게는 많은 도전적인 질문이 있다:

LLM이 AI2AI 종류의 브리지 역할을 하여 일종의 "연합 AI"와 같이 상호 운용이 가능하도록 만든, 모듈식의 매끄러운 방식으로 함께 작동하는 LEGO와 유사한 AI 시스템의 출현; 형식과 구문, 내용과 의미 사이의 관계; 콘텐츠의 개인화와 공유 경험의 파편화(예를 들어 AI는 한 명의 독자를 위해 단 한 권의 주문형 소설을 쉽게 제작할 수 있음); 해석 가능성의 개념 및 의미 생산의 과정이나 맥락의 가치; 의미와 감각, 새로운 콘텐츠의 생산자로서 우리의 고유성과 독창성; 점점 더 다른 인간과 구별할 수 없는 시스템과 상호작용하는 능력; 콘텐츠의 독자, 통역사, 번역가, 합성자, 평가자로서 우리를 대체할 가능성; 1984년의 표현을 빌리자면, 질문을 통제하는 자가 답을 통제하고 답을 통제하는 자가 현실을 통제하기 때문에 질문의 통제권으로서의 권력.

 

이 새로운 형태의 행위자를 개발하고, 상호 작용하고, 이해하는 방법을 배우면서 더 많은 질문이 등장할 것이다. 빈센트 왕이 상기시켜 주었듯이 ChatGPT는 대화 상대로서의 출력을 미세 조정하기 위해 강화 학습(RL)을 도입하여 성능 면에서 GPT3를 뛰어넘었으며, RL은 "행위자성을 해결하기 위한" 머신 러닝 접근 방식이다. 이는 이전에 볼 수 없었던 형태의 에이전시인데, 지능을 갖추지 않아도 '학습'을 통해 행동을 개선할 수 있기 때문이다. 인류는 언제 어디서나 이런 종류의 에이전시를 자연스러운 또는 심지어 초자연적인 에이전시로 봐왔기 때문에, 이는 과거 어느 문화권에서도 볼 수 없었던 에이전시 형태이다. (이는 차이를 만드는 파도의 에이전시, 다른 또는 더 나은 차이를 만드는 것을 "학습"할 수 없으면서, 단지 그 차이만 만들 수 있는 에이전시와는 다르다.)

우리는 동물적 에이전트 및 영적 에이전트(신과 자연의 힘, 천사와 악마, 영혼 또는 유령, 선한 영과 악령)라고 믿었던 것들과 끊임없이 접촉하는 것에서, 새로운 형태의 에이전트의 조물주로서 우리가 만든 인공 에이전트를 이해하고 그것과 상호 작용하는 법을 배워야 하는 것으로 바뀌었다. 우리는 성공적으로 행동하는 능력을 지능이나 어떤 것을 이해, 반성, 고려, 파악할 필요성과 분리시켰다. 우리는 에이전시를 지능으로부터 해방시켰다. 따라서 우리가 "존재의 목자"(하이데거)가 될지는 모르겠지만, 새로운 "green collars"(플로리디 2017)가 이 새로운 형태의 인공적 에이전시를 담당하는 "AI 시스템의 목자"가 될 것처럼 보인다.

지능이 없는 이 인공지능(고등학교 수준의 라틴어로 'Agere sine Intelligere'로 이해되는)에 대해 조물주 같은 인류의 의제는 아직 작성되지 않았다. 많은 사람들에게 놀랍거나 흥미로울 수 있지만, 일자리를 찾는 철학자들에게는 분명 좋은 소식이다.