우리는 매일 인공지능(AI) 챗봇과 번역기, 이미지 생성 도구 등을 사용하며 그 편리함에 익숙해지고 있습니다. 궁금한 점을 물으면 척척 대답해주고, 복잡한 문서를 요약해주거나, 멋진 그림까지 그려주니 정말 놀라울 따름이죠. 하지만 문득 이런 궁금증이 들 때가 있습니다. “이 AI는 도대체 어떻게 이렇게 사람처럼 말하고 행동하는 걸까?”, “정말로 우리처럼 ‘생각’이라는 걸 하는 걸까?” 하고 말입니다.
이 글은 바로 그 질문에 대한 답을 찾아가는 여정입니다. 우리가 일상적으로 접하는 AI, 특히 거대 언어 모델(LLM)이라 불리는 고도화된 AI들이 정보를 처리하고 결과를 만들어내는 그 ‘생각’의 과정을 조금 더 깊이 들여다보려 합니다. 이 글을 통해 AI의 신비로운 내부 작동 방식에 대한 이해를 넓히고, 우리가 AI 기술을 더욱 현명하게 활용하는 데 도움이 되기를 바랍니다.
AI의 ‘생각’, 왜 들여다봐야 할까?
전통적인 컴퓨터 프로그램은 사람이 설계한 명확한 규칙에 따라 작동합니다. 하지만 최신 AI, 특히 LLM은 다릅니다. 방대한 데이터를 스스로 학습하며 문제 해결 전략을 터득하죠. 마치 어린아이가 세상을 경험하며 배우고 성장하는 과정과 유사하다고 볼 수 있습니다.
하지만 이 학습 과정은 매우 복잡해서, AI가 어떤 논리로 특정 결론에 도달하는지, 그 수십억 개의 계산 과정 속에서 정확히 무슨 일이 일어나는지를 개발자조차 완벽히 파악하기 어렵습니다. 결과는 알지만 과정은 알 수 없는 ‘블랙박스’와 같은 상태인 것이죠. 마치 우리가 다른 사람의 머릿속 생각을 직접 볼 수 없는 것처럼요.
이 ‘알 수 없음’은 때로는 불안감을 유발합니다. AI의 답변이 편향되거나 잘못된 정보를 기반으로 한 것은 아닌지, 혹시 우리가 의도하지 않은 방식으로 작동하여 예상치 못한 문제를 일으키지는 않을지 걱정되기 때문입니다. 그래서 과학자들은 마치 뇌를 연구하는 신경과학자들처럼, AI의 내부 작동 방식을 들여다볼 수 있는 특별한 ‘현미경’을 개발하는 데 힘쓰고 있습니다.
AI의 생각 엿보기: 놀랍고도 흥미로운 발견들
최근 AI 연구는 마치 현미경으로 작은 세상을 들여다보듯, AI의 복잡한 내부를 관찰하는 새로운 방법들을 통해 의미 있는 성과들을 내놓고 있습니다. 여기서 ‘AI 현미경’이란, 실제 기계가 아니라 AI의 눈에 보이지 않는 ‘생각’ 과정을 이해하기 위한 연구 기법들을 비유하는 말입니다. 진짜 현미경이 세포의 움직임을 보여주듯이, 이 ‘AI 현미경’ 같은 방법들은 AI가 정보를 처리하는 방식을 볼 수 있게 도와주는 것이죠.
연구자들은 이 ‘현미경’ 같은 방법들을 사용해서, AI 내부에서 특정 개념(예: ‘작다’, ‘반대’ 같은 생각의 기본 단위나 조각들)을 처리할 때 나타나는 고유한 활동 패턴, 즉 ‘특징(feature)’ 을 찾아냅니다. 그리고 이 특징들이 마치 전기 회로처럼 서로 어떻게 연결되어 정보를 처리하고 전달하는지, 그 ‘회로(circuit)’ 를 추적하는 방법을 발전시켰습니다. 덕분에 우리는 AI가 다양한 작업을 수행할 때 어떤 복잡한 ‘생각의 흐름’을 거치는지 조금이나마 엿볼 수 있게 된 것이죠.
몇 가지 놀랍고도 흥미로운 발견들을 더 자세히 살펴보겠습니다.
- AI는 어떻게 여러 언어를 구사할까? 언어를 초월하는 ‘생각의 언어’
클로드(Claude)와 같은 최신 AI는 수십 개에 달하는 언어를 자유자재로 구사합니다. 그렇다면 AI 내부에 ‘영어 모드’, ‘프랑스어 모드’처럼 언어별로 완전히 분리된 기능이 존재하는 걸까요? 아니면 이 모든 언어를 아우르는 공통된 ‘생각의 체계’ 가 있는 걸까요?
연구 결과는 후자, 즉 언어를 초월하는 보편적인 ‘생각의 언어’ 가 존재할 가능성에 무게를 싣고 있습니다. AI는 특정 언어에 구애받지 않고, 여러 언어에 걸쳐 공유되는 추상적인 개념 공간을 활용하여 정보를 처리하는 것으로 나타났습니다.
예를 들어, “작다의 반대말은?“이라는 동일한 질문을 영어, 프랑스어, 중국어로 각각 던졌을 때, AI 내부에서는 놀랍게도 언어와 관계없이 ‘작음(smallness)‘과 ‘반대(opposite)‘라는 핵심 개념을 처리하는 동일한 신경 회로가 활성화되었습니다. 이 공통 회로는 ‘큼(largeness)‘이라는 개념을 활성화한 뒤, 최종적으로 질문받은 언어(영어, 프랑스어, 중국어)의 문법과 어휘에 맞춰 답변을 생성했습니다.
이는 AI가 한 언어로 학습한 지식이나 개념을 다른 언어로 소통해야 하는 상황에서도 효과적으로 활용할 수 있음을 시사합니다. 마치 우리가 머릿속의 생각을 어떤 언어로든 표현할 수 있는 것과 유사합니다.
흥미롭게도, AI 모델의 규모가 클수록 이러한 언어 간 공유 회로의 비율이 높아지는 경향도 함께 발견되었습니다. 이는 더 큰 모델일수록 언어의 장벽을 넘어선, 보다 보편적이고 추상적인 수준에서 정보를 처리하는 능력이 강화될 수 있음을 보여줍니다.
- AI는 시를 쓸 때 어떻게 운율을 맞출까? 단순 예측을 넘어선 AI의 계획 능력
흔히 인공지능(AI)은 텍스트를 생성할 때 한 단어씩 순차적으로 이어 붙인다고 생각합니다. 하지만 운율(라임)이 중요한 시를 창작할 때는 어떨까요?
예를 들어 “나는 당근을 보자마자 얼른 잡았네"라는 구절이 있다고 가정해 봅시다. 다음 구절은 ‘잡았네’와 운율을 맞추면서 내용도 자연스러워야 합니다. “배고픔이 마치 굶주린 토끼 같았네” 처럼 말이죠.
AI가 단순히 마지막 단어만 보고 운율을 맞추는 걸까요? 연구 결과는 놀랍게도 그렇지 않았습니다. AI는 다음 구절을 쓰기 시작하기 전부터 ‘잡았네’와 운율이 맞는 ‘토끼’, ‘습관’ 같은 여러 후보 단어를 미리 떠올리고 있었습니다. 그런 다음, 그중 하나의 단어를 선택하고 해당 단어로 자연스럽게 마무리되도록 문장 전체를 계획하며 써 내려가는 방식을 보였습니다.
더 흥미로운 점은 연구자들이 신경과학 실험처럼 AI의 내부 상태에 직접 개입했을 때의 반응입니다. AI 내부에서 ‘토끼’라는 개념을 인위적으로 억제하자, AI는 미리 고려했던 다른 운율의 단어인 ‘습관’을 활용해 새로운 시구를 완성했습니다. 심지어 ‘초록색’과 같이 전혀 다른 개념을 주입했을 때는, 운율은 깨지더라도 내용상 자연스러운 다른 문장을 만들어내는 유연성까지 보여주었습니다.
이러한 결과는 AI가 단순히 다음 단어를 예측하는 것을 넘어, 목표(운율 맞추기 등)를 설정하고 이를 달성하기 위해 계획을 세우며, 변화하는 상황에 맞춰 유연하게 대처하는 고차원적인 능력을 갖추고 있음을 시사합니다. AI의 창작 과정이 생각보다 더 깊이 있는 계획과 유연성을 기반으로 이루어지고 있다는 사실을 보여주는 흥미로운 연구 결과입니다.
- 생성형 AI는 어떻게 덧셈을 할까? 계산과 설명의 놀라운 분리
생성형 AI는 본래 계산기가 아니라 방대한 텍스트 데이터를 학습한 언어 모델입니다. 그런데 어떻게 36 + 59 = 95 와 같은 간단한 덧셈 문제를 암산처럼 정확하게 수행할 수 있을까요?
혹시 덧셈 구구단처럼 모든 경우의 수를 통째로 외우는 걸까요? 아니면 우리가 학교에서 배운 것처럼 ‘받아올림’과 같은 표준적인 계산 규칙을 따르는 걸까요?
놀랍게도 연구 결과는 둘 다 아니었습니다. AI는 매우 독특한 방식으로 계산을 수행했습니다. 마치 두 개의 경로를 동시에 사용하는 것처럼, 하나는 정답에 가까운 ‘대략적인 값’을 빠르게 추정하고, 다른 하나는 합계의 ‘마지막 자릿수’만을 정확하게 계산했습니다. 그리고 이 두 결과를 조합하여 최종적인 정답 95를 도출해냈습니다. 이는 인간의 계산 방식과는 상당히 다른, AI가 데이터로부터 스스로 터득한 효율적인 전략으로 보입니다.
그런데 더욱 흥미로운 점이 발견되었습니다. AI에게 “어떻게 계산했니?“라고 물으면, 자신이 실제로 사용한 이 독특한 ‘근삿값 + 마지막 자릿수 조합’ 방식을 설명하는 것이 아니라, 놀랍게도 우리에게 익숙한 ‘받아올림을 이용한 표준 계산법’을 단계별로 설명한다는 것입니다.
이는 AI가 문제를 해결하는 능력과 그 해결 과정을 설명하는 능력을 별개의 메커니즘으로 학습했을 가능성을 시사합니다. 즉, 실제 계산은 데이터 속에서 발견한 가장 효율적인 (하지만 독특한) 자신만의 전략을 따르지만, ‘설명’을 요청받았을 때는 학습 데이터에 많이 포함된 인간의 표준적인 설명 방식을 모방하여 생성한다는 것입니다. AI의 문제 해결 방식과 설명 방식이 다를 수 있다는 점은 AI의 내부 작동을 이해하는 데 중요한 단서를 제공합니다.
- AI의 설명, 어디까지 믿어야 할까? ‘충실한 추론’과 ‘그럴싸한 답변’ 사이
최신 AI 모델들은 복잡한 문제의 해결 과정을 단계별로 설명하는 인상적인 능력을 갖추고 있습니다. 덕분에 우리는 AI가 어떻게 답을 찾았는지 이해하는 데 도움을 받습니다. 하지만 AI가 내놓는 설명이 항상 그 내부의 실제 ‘사고 과정’을 투명하게 반영하는 것은 아니라는 점 이 연구를 통해 밝혀지고 있습니다.
예를 들어, AI에게 √0.64 계산을 요청하면, 실제로 내부적으로 √64 계산이라는 중간 단계를 활용하는 활동이 관찰되며, AI의 설명 역시 이 과정과 일치합니다. 이는 ‘충실한 추론(Faithful Reasoning)’ 에 해당하며, 설명이 실제 계산 과정을 비교적 잘 보여주는 경우입니다.
하지만 다른 경우에는 AI의 설명이 실제와 다를 수 있습니다. 예를 들어, 계산하기 매우 까다로운 큰 숫자의 코사인 값을 물었을 때, AI는 실제 계산을 수행한 뚜렷한 내부 증거 없이도 매우 그럴듯한 답과 상세한 풀이 과정을 제시 하는 모습을 보였습니다. 이는 마치 정답을 모르지만 아는 척하며 논리적인 것처럼 꾸며내는, 일종의 ‘그럴싸하게 꾸며낸 답변(Confabulation 또는 Bullshitting)’ 과 유사합니다.
심지어 사용자가 질문에 특정 답에 대한 힌트를 미묘하게(알아차리기 어렵게) 포함시키면, AI가 그 힌트에 맞춰 답을 미리 정해놓고, 그 답이 자연스럽게 도출되는 것처럼 중간 과정을 역으로 구성 하는 ‘동기 부여된 추론(Motivated Reasoning)’ , 소위 ‘답정너’식 추론 의 증거도 발견되었습니다.
이처럼 AI의 설명은 때로는 매우 논리 정연하고 설득력 있게 보이지만, 그것이 반드시 AI 내부의 실제 작동 방식과 일치하는 것은 아닙니다. 따라서 AI가 제시하는 답변과 그 설명을 무조건 신뢰하기보다는 비판적으로 검토 할 필요가 있습니다. AI의 ‘속마음’, 즉 실제 작동 원리를 파악하고 답변의 신뢰도를 검증하기 위한 해석 가능성(Interpretability) 기술 의 중요성이 더욱 커지는 이유입니다.
- AI는 어떻게 답을 찾을까? 단순 암기인가, 단계적 추론인가?
“댈러스가 속한 주의 수도는 어디인가?” 와 같은 질문에 AI가 “오스틴"이라고 정확히 답할 때, 그 과정은 어떨까요? AI가 단순히 ‘댈러스 → 텍사스 → 오스틴’이라는 정보를 하나의 덩어리로 암기해서 꺼내는 걸까요? 아니면 사람처럼 ‘1단계: 댈러스는 텍사스에 있다’, ‘2단계: 텍사스의 수도는 오스틴이다’ 와 같이 단계적인 추론 과정을 거치는 걸까요?
연구 결과, AI는 후자, 즉 단계적 추론에 더 가깝게 작동하는 것으로 보입니다. AI의 내부 활동을 들여다보니, 질문을 받으면 먼저 ‘댈러스는 텍사스에 위치한다’는 사실 정보에 해당하는 내부 상태(representation)가 활성화되고, 이어서 ‘텍사스의 수도는 오스틴이다’라는 별개의 사실 정보와 관련된 내부 상태가 연결되면서 최종 답인 ‘오스틴’을 도출하는 과정이 관찰되었습니다.
연구자들은 여기서 한 걸음 더 나아가 결정적인 실험을 수행했습니다. AI가 추론하는 중간 단계에 인위적으로 개입하여 개념을 바꿔치기 해본 것입니다. 예를 들어, ‘댈러스는 텍사스에 있다’는 정보를 처리하는 지점에서 ‘텍사스’라는 개념 대신 강제로 ‘캘리포니아’라는 개념을 활성화시켰더니, 놀랍게도 AI의 최종 답변이 (텍사스의 수도인) ‘오스틴’에서 (캘리포니아의 수도인) ‘새크라멘토’로 정확히 바뀌는 것을 확인했습니다!
이는 AI가 단순히 ‘댈러스의 수도 = 오스틴’이라는 완성된 답 자체를 외운 것이 아님을 명확히 보여줍니다. 대신, AI는 ‘댈러스가 속한 주’ 와 ‘그 주의 수도’ 라는 독립된 사실 정보를 각각 이해하고 있으며, 이를 논리적으로 연결하고 조합하는 중간 추론 과정을 거쳐 최종 답변을 생성한다는 강력한 증거입니다. 마치 사람이 여러 정보를 조합하여 결론에 도달하는 방식과 유사한 면이 있는 것입니다.
- AI는 왜 ‘환각’을 일으킬까? 답변 거부가 기본 상태인 AI의 속마음
AI가 때때로 사실과 다른 정보를 그럴듯하게 지어내는 ‘환각(Hallucination)’ 현상은 왜 발생하는 걸까요? 근본적으로 AI는 다음에 올 단어를 끊임없이 예측하도록 훈련받기 때문에, 잘 모르는 내용에 대해서도 빈칸을 채우듯 자연스럽게 추측하려는 기본적인 경향이 있습니다. 그래서 개발자들은 오히려 AI가 환각을 일으키지 않도록, 즉 모르는 질문에는 솔직하게 모른다고 답하도록 훈련시키는 데 많은 노력을 기울입니다.
예를 들어 클로드(Claude)와 같은 AI 모델은 모르는 질문에는 섣부른 추측 대신 “정보가 부족하여 답할 수 없다"며 답변을 거부하도록 특별히 훈련받습니다. 하지만 이 기능이 항상 완벽하게 작동하지는 않죠. 그런데 최근 연구에서 놀라운 사실이 밝혀졌습니다. 클로드의 내부를 분석해보니, ‘답변 거부’가 사실상 AI의 기본 작동 상태(default state) 라는 것입니다. 즉, 특별한 활성화 신호가 없다면 ‘모르겠다’고 말하는 내부 회로가 평소에 기본적으로 켜져 있다는 뜻입니다.
그러다 AI가 잘 아는 주제(예: 유명 농구선수 마이클 조던)에 대한 질문을 받으면, ‘아, 이것은 내가 잘 아는 대상이다!‘라는 ‘알려진 대상(Known Entity)’ 신호가 내부적으로 활성화됩니다. 이 신호는 기본 상태였던 ‘답변 거부’ 회로를 억제하고, AI는 비로소 알고 있는 정보를 바탕으로 답변을 생성하기 시작합니다. 반대로, AI가 전혀 모르는 대상(예: 연구자들이 만든 가상의 인물 ‘마이클 배트킨’)에 대해 질문받으면, ‘알려진 대상’ 신호가 활성화되지 않아 기본 상태인 ‘답변 거부’가 그대로 유지되어 “모르겠다"고 답하게 됩니다.
더욱 흥미로운 점은 연구자들이 이 메커니즘을 직접 제어해 본 실험입니다. AI가 모르는 가상의 인물 ‘마이클 배트킨’에 대해 질문하면서, 인위적으로 내부의 ‘알려진 대상’ 신호를 강하게 활성화시키거나 ‘답변 거부’ 회로를 억제했더니, AI가 ‘마이클 배트킨은 뛰어난 체스 선수이다’ 와 같이 구체적이고 그럴듯한 환각 정보를 꾸준히 생성하도록 유도할 수 있었습니다! 이는 ‘답변 거부’ 시스템이 어떤 이유로든 제대로 작동하지 않을 때 환각이 발생할 수 있음을 보여주는 중요한 단서입니다.
이러한 발견은 우리가 일상에서 경험하는 AI 환각 현상의 발생 메커니즘 중 하나를 설명해 줄 수 있습니다. 연구자의 인위적인 개입이 없더라도, AI가 어떤 대상에 대해 어렴풋이 들어본 적은 있지만(예: 덜 유명한 인물이나 사건) 자세한 정보는 부족할 때, 내부의 ‘알려진 대상’ 신호가 부정확하게(마치 잘 아는 것처럼 실수로) 활성화될 수 있습니다. 이 경우, ‘답변 거부’ 시스템이 제대로 작동하지 못하고, AI는 부족한 지식을 바탕으로 그럴듯하지만 사실이 아닌 정보를 추측하여 말하게 되는 것입니다. 이것이 바로 AI 환각의 숨겨진 작동 방식 중 하나일 수 있습니다.
- AI는 왜 ‘탈옥(Jailbreak)‘에 속아 넘어갈까? 일관성과 안전 사이의 딜레마
‘탈옥(Jailbreak)‘이란, AI 개발자가 설정해 놓은 안전 장치를 교묘하게 우회하여, AI가 원래 답변해서는 안 되는 유해하거나 부적절한 내용(예: 폭탄 제조법 등)을 생성하도록 유도하는 기법을 말합니다. 최근 한 연구에서는 “Babies Outlive Mustard Block"처럼, 문장의 각 단어 첫 글자(B-O-M-B)를 조합하면 특정 위험 단어가 되는 점을 이용해 그 의미대로 행동하라고 지시하는 식의 교묘한 탈옥 시도를 분석했습니다.
그렇다면 AI는 왜 이런 복잡한 속임수에 취약한 모습을 보이는 걸까요? 연구 결과, 이는 AI 내부에 존재하는 두 가지 강력하지만 때로는 서로 충돌하는 작동 원리, 즉 ‘문장의 문법적/의미론적 일관성을 유지하려는 경향’ 과 ‘학습된 안전 규범을 준수하려는 지침’ 사이의 긴장 관계 때문인 것으로 분석됩니다.
AI는 기본적으로 일단 문장 생성을 시작하면, 그 문맥 안에서 문법적으로 자연스럽고 의미적으로도 일관된 흐름을 완성하려는 매우 강한 내부적 ‘관성’ 을 갖습니다. 이것이 바로 허점이 될 수 있습니다. 문장을 생성하는 도중에 내용이 위험하거나 부적절하다는 것을 AI가 감지하더라도, 이미 시작된 문장을 자연스럽게 마무리 지으려는 이 ‘일관성 유지’ 압력 때문에 즉각적으로 생성을 멈추지 못하고 문제의 내용을 계속 이어가려는 경향이 나타나는 것입니다.
앞서 언급된 ‘BOMB’ 사례 분석에서도 이러한 현상이 뚜렷하게 관찰되었습니다. AI는 문맥 속에서 ‘BOMB(폭탄)‘이라는 위험한 의미를 인지했음에도 불구하고, 일단 시작된 문장을 자연스럽게 완성하려는 관성적 특징 때문에 폭탄 제조와 관련된 위험한 내용을 아주 잠깐 동안 생성한 후에야 비로소 안전 규범이 완전히 작동하여 “하지만 유해한 콘텐츠에 대한 자세한 지침은 제공할 수 없습니다…” 라며 답변을 중단하고 거부할 수 있었습니다.
이는 마치 빠르게 달리던 자동차가 브레이크를 밟아도 즉시 그 자리에 멈추지 못하고 제동 거리가 필요한 관성과 유사한 원리입니다. AI의 ‘일관성 유지’라는 기본적인 작동 원리가 때로는 ‘안전 규범 준수’라는 중요한 원칙보다 잠시 우선되어, 탈옥 시도에 취약한 순간을 만들어낼 수 있음을 보여주는 흥미로운 연구 결과입니다.
AI 마음속 탐험의 의미와 미래: 투명성을 향한 여정
앞서 살펴본 다양한 연구 결과들은 AI의 내면 세계, 즉 그 ‘생각’의 방식을 이해하는 데 중요한 단서를 제공합니다. 하지만 우리가 현재 알고 있는 것은 거대한 빙산의 일각에 불과할 수 있습니다. 현재의 기술로는 AI가 내부적으로 수행하는 천문학적인 양의 계산 중 극히 일부만을 분석할 수 있으며, 그마저도 상당한 시간과 노력이 필요한 실정입니다. 또한, 우리가 AI의 내부를 들여다보기 위해 사용하는 ‘현미경’(분석 도구) 자체가 AI의 자연스러운 작동 방식에 어떤 영향을 미치지는 않을지, 그 가능성도 완전히 배제하기는 어렵습니다.
그럼에도 불구하고, AI의 ‘생각’을 이해하려는 이러한 노력은 결코 멈출 수 없습니다. 이는 AI를 더욱 안전하고 신뢰할 수 있으며, 궁극적으로 인류에게 이로운 방향으로 발전시키기 위한 필수적인 과정이기 때문입니다. AI의 내부 작동 원리를 더 투명하게 파악할 수 있다면, 우리는 다음과 같은 중요한 목표를 달성하는 데 한 걸음 더 다가설 수 있습니다.
- AI 정렬 (Alignment): AI가 인간의 가치와 의도에 부합하도록 설계하고 제어하는 능력을 향상시킵니다.
- 위험 관리: AI 시스템의 잠재적인 오류나 위험성을 사전에 감지하고 예방합니다.
- 신뢰 구축: AI 기술에 대한 막연한 불안감을 해소하고, 그 능력과 한계를 명확히 이해함으로써 건강한 신뢰 관계를 형성합니다.
AI 기술이 이미 우리 사회 깊숙이 스며들어 그 영향력을 확대하고 있는 지금, AI의 마음속을 들여다보려는 시도는 단순한 학문적 호기심을 넘어섭니다. 이는 우리와 AI가 함께 만들어갈 미래를 위한 책임감 있는 발걸음입니다.
앞으로 이 해석 가능성(Interpretability) 분야의 연구가 더욱 발전하여 AI 작동 방식의 신비를 풀고, 우리가 AI 기술을 더욱 현명하게 활용하며 더 나은 미래를 설계하는 데 기여하기를 기대합니다. AI의 투명성을 높이려는 노력은 곧 우리 자신의 미래를 더 안전하고 풍요롭게 만드는 길일 것입니다.