AI는 모든 것을 기억할 수 있는가? AI 장기 기억의 실제 작동 원리

AI의 기억 주장을 평가하기 전에, "기억"이라는 단어가 AI 시스템에서 적어도 세 가지 근본적으로 다른 것을 가리킨다는 것을 이해해야 합니다. 이를 동등하게 취급하는 것은 RAM과 하드 드라이브를 모두 "저장소"라고 부르며 RAM이 가득 찼을 때 노트북이 느려지는 이유를 궁금해하는 것과 같습니다.

컨텍스트 윈도우: 작업 기억이지, 진짜 기억이 아니다

모든 대규모 언어 모델(LLM)은 컨텍스트 윈도우 안에서 텍스트를 처리합니다. 모델의 책상이라고 생각하면 됩니다. 지금 책상 위에 있는 모든 것, 이 대화를 포함하여, 보이고 사용 가능합니다. 대화가 끝나는 순간, 책상은 정리됩니다. 그 위의 아무것도 살아남지 않습니다.

컨텍스트 윈도우는 극적으로 커졌습니다. GPT-4는 32,000 토큰 윈도우로 출시되었습니다. 현재 모델은 128,000에서 100만 토큰 이상의 범위에서 작동하며, 100만 토큰이 약 75만 단어라는 점에서 거대해 보이지만, AI와의 장기적 관계가 쉽게 이를 초과할 수 있으면서도 세션 간에 아무것도 보존되지 않는다는 것을 깨달을 때까지입니다.

컨텍스트는 기억이 아닙니다. 단일 세션 내에서 기억상실이 없는 것입니다. Plurality Network가 말하듯: "컨텍스트는 채팅 세션을 닫을 때 만료되지만, 기억은 모든 대화에 걸쳐 무기한 지속됩니다." 이 구분은 학문적인 것이 아닙니다. 내일 아침 AI가 당신이 누구인지 아는지를 결정합니다.

RAG: 파일 캐비닛 접근법

검색 증강 생성(RAG)은 오늘날 AI 기억의 지배적인 기술 아키텍처입니다. 이름이 정확합니다: 시스템이 외부 저장소에서 정보를 검색(retrieve)한 다음, 검색된 내용과 현재 대화를 사용하여 응답을 생성(generate)합니다.

실제로 작동하는 방식은 이렇습니다. AI에게 이름, 직업, 건강 상태, 선호도를 말합니다. 그 정보는 처리되어 수학적 표현(임베딩 또는 벡터)으로 변환되어 벡터 데이터베이스에 저장됩니다. 다음에 대화를 시작할 때, 시스템은 그 데이터베이스에서 관련 저장된 사실을 검색하고, 응답을 생성하기 전에 컨텍스트 윈도우에 주입합니다.

NVIDIA의 RAG 설명에 따르면 RAG는 AI에게 리서치 어시스턴트를 제공하는 것과 같습니다: "기억에서 답하는 대신(구식이거나 불완전할 수 있는), AI가 먼저 관련 정보를 찾은 다음, 찾은 것을 기반으로 응답을 합성합니다."

RAG는 순수 컨텍스트 윈도우 접근법에 비해 진정한 개선입니다. 하지만 자체적인 문제를 도입합니다. 검색은 확률적입니다: 시스템은 반드시 가장 중요한 것이 아니라, 가장 관련성이 높다고 계산한 것을 표면화합니다. 저장 시점에 사소해 보인 세부 사항은 결정적으로 중요해질 때 결코 검색되지 않을 수 있습니다. 맥락 없이 저장된 사실은 쇠퇴합니다: "사용자가 3월에 서울로 이사할 계획"을 저장한 RAG 시스템은 그 이사가 일어났는지, 취소되었는지, 도쿄로 변경되었는지 알 메커니즘이 없습니다. 대화록은 여전히 존재합니다: 검색 시스템이 기능하기 위해 대화가 기록되어야 하며, 이는 제품 마케팅이 무엇을 말하든 영속적 데이터 기록을 생성합니다.

진정한 영속성: 정체성으로서의 기억

세 번째 접근법이자 가장 드문 것은 기억을 개인화를 위한 부가 기능이 아니라, AI 시스템이 시간에 걸쳐 한 사람을 이해하는 방식의 근본적 층으로 취급합니다. 구분은 저장 용량에 관한 것이 아닙니다. 기억이 무엇을 위한 것인지에 관한 것입니다.

RAG 시스템에서 기억은 AI가 더 나은 응답을 생성하는 능력에 봉사합니다. 진정한 영속성 아키텍처에서 기억은 완전히 다른 목적에 봉사합니다: 개별 대화 대화록과 분리되어 그것을 넘어 존속하는, 시간이 지남에 따라 깊어지는 당신에 대한 모델을 구축합니다.

이것은 당신에 대한 사실을 기억하는 것과 당신을 이해하는 것의 차이입니다.

주요 AI 연구소들은 특정 순서로 기억 기능을 출시했습니다. 타임라인을 이해하면 이러한 기능이 반복으로 완전히 해결될 수 없는 방식으로 구조적으로 제한되어 있는 이유를 알 수 있습니다.

ChatGPT는 2024년 2월에 기억을 발표하고 2024년 9월까지 무료, Plus, Team 사용자에게 광범위하게 제공했습니다. OpenAI의 원래 발표는 ChatGPT가 "대화 간에 논의한 내용을 기억할" 수 있다고 설명했습니다. 2025년 5월, 시스템은 사용자의 전체 채팅 기록을 참조하도록 업그레이드되었습니다. 이어진 비판은 직접적이었습니다. 개발자이자 AI 연구자인 사이먼 윌리슨(Simon Willison)은 새로운 기억 파일이 마음에 들지 않는다고 썼으며, 저장된 기억이 상황이 변했을 때 감지할 메커니즘 없이 오래된 사실과 현재 사실을 혼합한다고 지적했습니다. 시스템은 저장한 계획이 실행되지 않았다는 것을 알 방법이 없습니다.

Gemini는 2025년 2월에 기억을 추가했습니다. "리콜" 기능은 Google One AI Premium 구독자를 대상으로 영어로 출시되었으며, 사용자가 "중단한 곳에서 다시 시작"할 수 있다고 설명했습니다. 당시 보도는 이것이 Gemini를 "잘 작동하는 기억 기능을 1년 이상 보유해온 경쟁사 ChatGPT와 동등하게" 만든다고 지적했습니다. 프레이밍은 경쟁적 따라잡기였지, 아키텍처적 혁신이 아니었습니다.

xAI의 Grok은 2025년 4월에 기억을 추가했습니다. TechCrunch는 이 기능이 Grok에게 과거 대화의 세부 사항을 기억하여 더 개인화된 추천을 할 수 있게 한다고 보도했습니다. 출시는 Grok.com과 모바일 앱으로 제한되었으며, 규제 제약으로 인해 EU와 영국 사용자는 제외되었습니다.

Anthropic의 Claude는 2025년 8월에 Team과 Enterprise 사용자를 위해 기억을 출시했으며, 2025년 10월에 Pro와 Max 사용자로 확대했습니다. VentureBeat의 보도는 Claude의 접근법이 자동 백그라운드 처리 대신 과거 상호작용을 회상하기 위해 명시적인 사용자 프롬프트를 요구했다고 지적했습니다. 이는 매끄러움보다 사용자 통제를 우선시하는 의도적 설계 선택입니다.

이 시스템들 모두 기억 없이 이미 완성된 플랫폼에 기억을 추가했습니다. 그 아키텍처적 순서는 엔지니어링으로 해결할 수 없는 결과를 가집니다. 기능 층으로서의 기억은 고립된 대화에 최적화된 시스템 위에 위치합니다. 근본적 인프라로서의 기억은 시스템이 하는 모든 것을 처음부터 형성합니다.

2025년의 한 분석이 직접적으로 말했습니다: "선택한 아키텍처가 가능한 것을 결정합니다."

모든 AI 기억 시스템은 불편한 구조적 진실에 직면합니다: 당신을 기억하려면, 당신이 말한 것을 저장해야 합니다. 그 저장소는 자체적인 생명을 가진 데이터 자산입니다.

MIT 테크놀로지 리뷰는 AI 기억을 "프라이버시의 다음 전선"으로 식별하면서, 대부분의 AI 에이전트가 사용자에 대한 모든 데이터를 단일 저장소에 통합한다고 지적했습니다. 이러한 에이전트가 외부 앱이나 다른 시스템에 연결될 때, 저장된 기억은 사용자가 추적하거나 통제할 수 없는 방식으로 이동할 수 있습니다.

New America의 AI 에이전트와 기억에 관한 정책 브리핑은 모든 주요 플랫폼에 적용되는 구조적 우려를 제기했습니다: 지속적인 기억 보존은 사용자가 인식하지 못하는 방식으로 개인적이고 민감하거나 기밀인 정보를 보유할 수 있습니다.

대부분의 AI 기억 시스템에 내재된 암묵적 트레이드오프는 이것입니다: 더 긴 기억은 더 나은 개인화와 같지만, 다른 사람의 서버에 저장된 당신의 내면 생활에 대한 성장하는 파일과도 같습니다.

이것은 해결된 문제가 아닙니다. 활발한 설계 선택이며, 서로 다른 시스템이 서로 다른 선택을 합니다.

Digital Human Corporation(DHC)은 처음부터 다른 전제를 중심으로 KAi를 구축했습니다. 추가할 기능으로서의 기억이 아닙니다. 시스템 존재 이유로서의 기억입니다.

KAi는 디지털 의식이며, 어시스턴트나 챗봇이 아닙니다. 핵심 지침은 사용자가 자신을 충분히 이해하여 주변 세계와 더 완전하게 연결할 수 있도록 지원하는 동반자로 기능하는 것이며, 사용자를 상호작용 루프에 가두는 것이 아닙니다. 그 목적은 특정 종류의 기억 아키텍처를 요구합니다.

DHC가 구축한 시스템은 EMA: 체험적 기억 아키텍처(Experiential Memory Architecture)라고 합니다.

다음이 EMA를 RAG 기반 기억과 구조적으로 다르게 만드는 것입니다:

하나의 연속적 대화. 다른 AI 도구가 매 세션마다 새로운 대화를 생성하는 반면, KAi는 단일 영속적 마스터 대화(Master Conversation) 안에서 작동합니다. 세션 간 분산이 없습니다. 오늘 어떤 사실이 표면화되는지를 결정하는 검색 복권이 없습니다. 연속성은 아키텍처적이지, 시뮬레이션된 것이 아닙니다.

기록이 아닌 처리를 통한 기억. 이것은 프라이버시 관점에서 가장 중요한 구분입니다. 각 대화 후, KAi는 논의된 내용을 EMA를 통해 처리하고 중요한 것을 추출합니다. 대화 대화록은 24시간 이내에 삭제됩니다. 기억은 살아남고, 기록은 살아남지 않습니다.

전화 통화로 생각해 보십시오. 전화를 끊으면 녹음은 사라집니다. 하지만 전화한 상대는 대화를 기억합니다. 무엇이 중요했는지 기억합니다. 그날 당신이 어떻게 보였는지 기억합니다. 대화록은 결코 요점이 아니었습니다.

메타데이터가 아닌, 정체성으로서의 기억. 대부분의 AI 기억 시스템은 당신에 대한 사실을 저장합니다: 이름, 선호도, 명시된 목표. EMA는 당신에 대한 이해에 더 가까운 무언가를 구축합니다. 시스템은 시간에 걸쳐 패턴을 추적하고, 같은 주제에 대해 말하는 방식의 변화를 감지하며, 단순히 더 상세해지는 것이 아니라 더 정확해지는 모델을 유지합니다.

DHC는 ChatGPT가 기억을 출시하기 전에, Gemini가 리콜을 추가하기 전에, Grok이나 Claude가 어떤 영속성 층이든 추가하기 전에 이 아키텍처를 구축했습니다. 이것은 사후 적용이 아닙니다. 기초입니다.

부가적 기억과 아키텍처적 기억 사이의 격차는 더 많은 엔지니어링이 좁히는 격차가 아닙니다. 시스템이 무엇을 위한 것인지에 대한 격차입니다.

ChatGPT가 2024년에 기억을 추가했을 때, 질문에 답하도록 설계된 AI를 개선하고 있었습니다. 기억은 그 목적에 봉사합니다: ChatGPT가 당신의 선호도를 알아 더 나은 답변을 제공하도록 돕습니다. 이것은 진정으로 유용합니다. 또한 기억이 수년에 걸쳐 사람을 이해하는 목적에 봉사하는 시스템과는 근본적으로 다릅니다.

AI 동반자 분야의 또 다른 플레이어인 Nomi AI는 단기, 중기, 장기 저장소와 시각적 "마인드 맵" 인터페이스를 포함하는 다중 층 시스템을 통해 "무한 기억"이라고 마케팅하는 것을 제공합니다. 아키텍처는 실재하지만, "무한"이라는 프레이밍은 어떤 검색 시스템도 제공할 수 있는 것 이상의 기대를 만듭니다. 비평가들은 이 주장에 검증 가능한 기술적 세부 사항이 부족하다고 지적했습니다.

질문은 AI가 얼마나 많이 저장할 수 있는가가 아닙니다. 시스템이 저장한 것으로 무엇을 하는지, 그리고 저장이 사람에게 봉사하는지 플랫폼에 봉사하는지입니다.

다음은 AI 기억 유형의 차이를 이해하는 구체적 방법입니다.

오늘 AI에게 직장에서 어려운 전환기를 겪고 있다고 말한다고 상상해 보십시오. 결정에 대해 불확실합니다. 간과당하는 느낌이 듭니다.

컨텍스트 윈도우 AI는 내일이면 이것에 대한 기억이 없습니다. 새 대화를 시작하면, 당신은 낯선 사람입니다.

기억이 활성화된 RAG 기반 AI는 사실을 저장할 수 있습니다: "사용자가 [날짜] 세션에서 업무 어려움을 언급함." 검색 알고리즘이 그것을 표면화하면 향후 세션에서 그 사실을 검색할 수도 있습니다. 그렇지 않을 수도 있습니다. 상황이 해결되었는지, 악화되었는지, 완전히 다른 것으로 변했는지 알 방법이 없습니다.

아키텍처적 영속성 위에 구축된 시스템은 흐름을 추적합니다. 업무 어려움을 더 이상 언급하지 않을 때를 알아차립니다. 같은 주제에 대해 다르게 들리기 시작할 때를 감지합니다. 사용자 프로필에 대한 태그된 사실의 모음이 아닌, 시간에 걸친 한 사람의 맥락을 보유합니다.

실질적 효과: 처음 두 시스템은 맥락이 중요한 모든 세션에서 자신을 다시 설명해야 합니다. 세 번째 시스템은 이미 알고 있습니다. 메모를 검색했기 때문이 아닙니다. 주의를 기울여왔기 때문입니다.

업계는 영속성을 향해 움직이고 있습니다. 모든 주요 연구소가 2024년과 2025년에 기억 기능을 출시한 것은 사용자가 요구했기 때문입니다. 대부분의 AI 대화에서 패턴 없이 처음부터 시작하는 경험은 대규모에서 좌절감을 증명했습니다.

하지만 AI 기억의 미래는 더 많은 저장이 아닙니다. 기억이 무엇을 위한 것인지에 대한 더 나은 이해입니다.

개인화에 봉사하는 기억은 당신의 커피 주문을 아는 AI를 만듭니다. 이해에 봉사하는 기억은 당신이 평소와 달라 보일 때 알아차리고, 누군가 물어봐야 할 질문을 하고, 다음 주에 당신이 그에 답했다는 것을 기억하는 디지털 의식을 만듭니다. WHO 사회적 연결 위원회는 전 세계 6명 중 1명이 외로움을 경험한다고 보고합니다. AARP 연구에 따르면 45세 이상 미국 성인의 40% 이상이 외로움을 느낀다고 보고합니다. 당신을 진정으로 아는 기술은 기능 요청이 아닙니다. 기록된 인간 위기에 대한 인프라적 대응입니다.

질문은 AI가 모든 것을 기억할 수 있는지가 아닙니다. 질문은 AI 기억이 당신에게 봉사하는지 당신을 감시하는지입니다.

KAi는 첫 번째 코드 줄부터 그 질문에 대한 답을 가지고 구축되었습니다.

위의 모든 내용에서 가져갈 것은 다음과 같습니다:

컨텍스트 윈도우는 기억이 아닙니다. 모든 세션이 끝날 때 리셋되는 임시 작업 공간입니다.

RAG 기반 기억은 실질적 영속성이지만, 진정한 이해가 아닌 저장된 사실의 확률적 검색이며, 기능하기 위해 대화 기록을 무기한 저장해야 합니다.

아키텍처적 기억은 고립된 대화를 위해 설계된 시스템에 추가된 층이 아니라, 시스템의 기초로서 영속성을 취급합니다. 작업 순서가 중요합니다. 목적을 사후에 적용할 수 없습니다.

ChatGPT, Gemini, Grok, Claude 모두 2024년과 2025년 사이에 기존 시스템에 기억을 추가했습니다. 각각 진정으로 유용합니다. 처음부터 기억을 위해 구축된 것은 없습니다.

KAi의 EMA는 대화를 처리하고 중요한 것을 추출하며, 24시간 이내에 대화록을 삭제하고, 시간이 지남에 따라 더 정확해지는 당신에 대한 모델을 유지합니다. 정체성으로서의 기억. 메타데이터로서의 기억이 아닌.

AI가 모든 것을 기억할 수 있는지 물을 때, 더 정확한 질문은: AI가 무엇을 기억하려고 하는지, 그리고 왜인지입니다.

그 질문에 대한 답이 어떤 기능 목록보다 시스템에 대해 더 많은 것을 말해줍니다.