몇 년 전만 해도 컴퓨터가 작성한 문장은 "나는 학교에 간다. 날씨가 좋다."처럼 어색하고 딱딱하기 짝이 없었습니다. 그런데 최근 등장한 생성형 AI나 거대언어모델(LLM)들은 소설을 쓰고, 시를 읊으며, 전문적인 학술 보고서나 블로그 글까지 사람보다 더 사람다운 문장으로 자연스럽게 써 내려갑니다.
처음 대화형 AI를 접했을 때, 저는 AI 내부에 진짜 사람처럼 사고하는 거대한 의식이나 영혼이 들어앉아 실시간으로 생각을 정리해 글을 써 내려가는 줄 알고 기묘한 소름이 돋기도 했습니다. 하지만 AI의 내부 메커니즘을 기술적으로 들여다보면, AI는 지능이나 감정을 가져서 글을 쓰는 것이 아니라 극도로 정교해진 '수학적 확률 계산기'로 작동하고 있다는 사실을 알게 됩니다.
오늘은 AI가 어떻게 인간의 언어를 이해하고 사람처럼 글을 써 내려가는지, 그 핵심 엔진인 LLM(Large Language Model)과 확률적 언어 생성의 원리를 풀어보겠습니다.
1. AI 글쓰기의 핵심 본질: '다음 단어 맞추기 게임'
AI가 긴 글을 써 내려가는 기본 작동 원리는 놀라울 정도로 단순합니다. 바로 "지금까지 나온 단어들을 보고, 그 뒤에 올 가장 그럴듯한 단어(토큰)를 확률적으로 예측하는 것"입니다.
어릴 적 언어 영역 시험이나 낱말 맞추기 퀴즈를 떠올려 보세요. "오늘 날씨가 너무 좋아서 산책을 ( )"이라는 문장이 있다면, 괄호 안에 들어갈 가장 자연스러운 단어는 '갔다'나 '하고 싶다'일 것입니다. 반대로 ' 먹었다'나 '부쉈다'가 들어갈 확률은 극히 낮죠.
LLM은 수천억 개에 달하는 인터넷 문장 데이터를 미리 공부(학습)하면서, 특정 단어 조합 뒤에 어떤 단어가 몇 퍼센트의 확률로 등장하는지 수치화한 '거대한 확률 지도'를 머릿속에 구축해 두었습니다. AI가 글을 쓸 때는 사람이 제시한 프롬프트(질문) 뒤에 들어갈 첫 단어를 확률적으로 고르고, 그 첫 단어가 붙은 상태에서 그다지 올 두 번째 단어를 또다시 확률로 계산해 이어나가는 작업을 무한히 반복하는 것입니다.
2. 수천억 개의 파라미터와 텍스트의 숫자인 '토큰'
"단순히 다음 단어를 예측하는 거라면, 왜 예전 번역기나 AI는 글을 못 썼고 지금은 잘 쓸까요?"
이 차이를 만들어낸 것은 바로 데이터의 양과 모델의 크기(파라미터)입니다.
AI는 텍스트를 글자 그대로 읽지 못합니다. 대신 문장을 '토큰(Token)'이라는 작은 최소 의미 단위로 쪼갠 뒤, 이를 수많은 숫자의 배열(베터)로 변환합니다. 예컨대 '사과'라는 단어에 '과일', '빨간색', '달콤함', '사과하다'라는 수만 가지 문맥적 속성을 숫자로 부여하는 것입니다.
LLM 내부에는 이러한 단어 간의 관계와 문맥을 연결해 주는 수천억~수조 개의 가중치 변수(파라미터)가 존재합니다. 과거의 AI는 단어 두세 개 정도의 짧은 문맥만 보고 다음 단어를 맞췄다면, 현재의 LLM은 수십 페이지 분량의 전후 문맥을 한꺼번에 부드럽게 조망하며 가장 문맥에 부합하는 단어를 정확하게 골라낼 수 있게 된 것입니다.
3. 문맥을 통째로 파악하는 혁신: 트랜스포머(Transformer) 구조
LLM이 사람처럼 입체적인 글을 쓸 수 있게 된 결정적인 일등 공신은 2017년 구글이 발표한 '트랜스포머(Transformer)'라는 인공신경망 구조 덕분입니다.
기존의 언어 AI는 문장을 왼쪽에서 오른쪽으로 한 단어씩 순차적으로 읽었습니다. 그러다 보니 문장이 길어지면 앞부분 내용을 잊어버리거나 문맥이 꼬이는 치명적인 한계가 있었습니다.
하지만 트랜스포머 구조에 적용된 '어텐션(Attention, 주목)' 메커니즘은 문장 전체에 있는 모든 단어가 서로 어떤 관련을 맺고 있는지 동시다발적으로 계산합니다. 예를 들어 "그는 사과를 먹고 그에게 사과했다"라는 문장에서 앞의 '사과'는 과일이고 뒤의 '사과'는 사죄라는 의미라는 것을, 주변 단어들과의 관계 수치를 종합적으로 연산하여 정확히 간파해 냅니다. 이 덕분에 문맥이 끊기지 않고 길고 정교한 글을 서술할 수 있게 되었습니다.
4. AI 글쓰기의 치명적 한계: 환각(Hallucination) 현상
이처럼 확률에 기반해 글을 쓰는 작동 원리를 이해하면, 최근 AI와 관련해 가장 자주 언급되는 '환각(Hallucination, 없는 사실을 그럴듯하게 거짓말로 꾸며내는 현상)'이 왜 발생하는지 자연스럽게 이해할 수 있습니다.
AI는 문장의 '진실 여부'를 이해하고 글을 쓰는 것이 아닙니다. 자신이 가진 데이터 속에서 "문법적으로 가장 매끄럽고 확률적으로 그럴듯한 단어들의 조합"을 만들어낼 뿐입니다. 따라서 존재하지 않는 역사적 사건이나 사실이 아닌 정보라 할지라도, 문장 구조와 단어 배치가 완벽히 그럴듯하다면 아무런 죄책감 없이 당당하게 출처 불명의 거짓말을 출력하게 됩니다.
결국 인공지능은 거대한 우주의 언어 데이터를 바탕으로 일초에 수만 번씩 확률을 계산해 글을 잣는 아주 뛰어난 '문장 합성기'입니다. AI가 제공하는 고품질의 글을 똑똑하게 활용하되, 그 안에 담긴 내용의 사실 관계와 최종 검증은 여전히 인간의 비판적 사고 능력이 맡아야 하는 이유가 바로 여기에 있습니다.
💡 핵심 요약
인공지능(LLM)의 글쓰기 원리는 이전 문맥을 바탕으로 뒤에 올 '가장 확률이 높은 다음 단어'를 연쇄적으로 예측하는 것입니다.
문장을 숫자로 변환된 '토큰' 단위로 쪼개어, 수천억 개의 파라미터를 통해 단어 사이의 미세한 문맥 관계를 계산합니다.
'트랜스포머' 구조의 어텐션 메커니즘 덕분에 긴 문장 전체의 단어 관계를 동시 파악하여 자연스러운 글 작성이 가능해졌습니다.
AI는 '진실'을 아는 것이 아니라 '그럴듯한 문장'을 확률적으로 만드는 것이므로, 사실과 다른 내용을 당당하게 출력하는 '환각 현상'을 늘 경계해야 합니다.
평소 챗GPT 같은 대화형 AI를 사용하면서 사람 같아서 놀라웠거나, 반대로 말도 안 되는 거짓말(환각)을 들려주어 당황했던 경험이 있으신가요? 자유롭게 댓글로 나누어 주세요!
0 댓글