LLM 위키 — 안드레 카파시의 한마디로 다시 보는 AI (학습 못 한다는 진실까지)

"AI한테 어제 얘기한 거 다시 물어봤더니 모르더라고요. 학습 안 되는 건가?"

얼마 전에 받은 질문인데, 답은 "네, 진짜로 학습 못 해요"입니다. 의외라고 느끼는 분이 많아요. 그래서 요즘 AI 커뮤니티에서 자주 회자되는 표현이 있어요. "LLM은 거대한 위키다". 안드레 카파시라는 사람이 던진 이 한마디로 LLM을 이해하는 결이 완전히 달라졌거든요. 오늘은 이 비유와, AI를 쓸 때 꼭 알아둬야 하는 진실 몇 가지를 풀어볼게요.

1. "LLM Wiki"라는 표현, 어디서 나왔을까

2023년 초에 안드레 카파시(Andrej Karpathy)가 트위터에 이런 말을 남겼어요.

"LLM은 인터넷을 손실 압축(lossy compression)한 결과물이다."

짧은데 충격이 좀 컸어요. 그동안 우리는 ChatGPT를 "똑똑한 친구" 또는 "검색하는 AI"쯤으로 생각했잖아요. 그런데 카파시는 한마디로 정리한 거예요. 그냥 "인터넷 글들을 잔뜩 우겨 넣어서 만든 압축 파일"이라고요.

이 비유에서 한국 AI 커뮤니티가 즐겨 쓰는 표현이 "LLM 위키(LLM Wiki)"예요. 결국 LLM은 대화할 수 있는 위키백과에 가깝다는 거죠.

손실 압축이 뭔가요?
JPEG·MP3 같은 거예요. 원본 정보를 살짝 깎아서 용량을 줄이는 압축 방식. 글자 그대로 다 들어 있진 않아서 "어, 비슷한데 살짝 틀리네?" 하는 일이 생겨요. 이게 바로 LLM의 환각(hallucination) 현상의 뿌리입니다.

2. 안드레 카파시, 어떤 사람이에요?

이름이 익숙하지 않은 분들을 위해 짧게 정리할게요. AI 업계에서는 "제일 잘 가르치는 천재"로 통하는 사람이에요.

시기	한 일
2015년	스탠퍼드 박사 — 페이페이 리(Fei-Fei Li) 교수 제자
2015~2017년	OpenAI 창립 멤버 (일론 머스크·샘 알트만과 함께)
2017~2022년	테슬라 AI 디렉터 — 오토파일럿(자율주행) 총괄
2023~2024년	OpenAI 복귀했다가 다시 독립
2024년~	Eureka Labs 창업 — AI 교육 회사

경력만 보면 그냥 화려한 사람인데, 그가 특별한 진짜 이유는 따로 있어요. 유튜브에 무료로 올리는 강의들이에요. "Let's build GPT from scratch"라든가 "Intro to Large Language Models" 같은 영상은 AI 입문자들에게 거의 교과서급으로 통합니다. 코드 한 줄씩 짜면서 "여기서 이게 왜 이렇게 되는지" 천천히 설명해줘요.

그가 만든 유명한 개념들
① Software 2.0 — 사람이 코드를 짜는 시대(1.0)에서 데이터로 신경망을 학습시키는 시대(2.0)로 패러다임이 바뀐다는 주장.
② LLM as the new OS — LLM이 새로운 운영체제 같은 존재가 될 거라는 비유. 도구·앱은 그 위에서 돌아가는 주변기기.
③ LLM = lossy compression of the internet — 오늘 우리가 풀어볼 비유.

3. "압축된 위키"로 풀어보면 진짜 잘 이해돼요

LLM의 작동을 위키백과랑 비교해서 한 번 보세요. 그림이 확 그려져요.

위키백과	LLM (압축된 위키)
정확한 글자가 통째로 저장	패턴으로 압축해서 저장 (일부 손실)
검색하면 그 문서가 그대로 나옴	질문하면 "비슷한 답"을 새로 생성
편집하면 다음 사람도 그 정보 봄	내가 알려줘도 다음 대화엔 모름
출처 링크가 분명함	어디서 배웠는지 자기도 모름
정보가 없으면 "없다"고 함	없어도 "있는 척" 만들어냄 (환각)

이 비유의 무서운 점은요, LLM의 "잘 안 되는 부분"이 죄다 자연스러운 부산물이라는 거예요. 환각도, 기억 못 하는 것도, 출처 못 대는 것도 — 다 압축 위키의 특성이에요. 설계 결함이 아니라 원래 구조가 그런 거입니다.

4. 진짜 충격적인 사실: LLM은 학습을 못 합니다

처음 이걸 들으면 다들 "엥?" 하세요. ChatGPT랑 한참 대화하면서 가르쳐 줬는데, 다음에 보니까 처음 본 듯이 행동하잖아요. 왜 그런지 정확히 풀어볼게요.

핵심: LLM의 "뇌"(가중치, weights)는 학습이 끝난 순간부터 완전히 얼어붙어요. 우리가 사용하는 동안엔 한 글자도 안 바뀝니다.

학습은 "사전 훈련(Pre-training) 단계"에서만 일어나요. 회사가 슈퍼컴퓨터로 몇 달간 인터넷 데이터를 부어 넣으면서 모델을 만드는 과정이죠. 그게 끝나면 모델 파일이 완성되고, 이후부터는 그 파일을 그대로 굴리기만 해요. 우리랑 대화한다고 모델이 똑똑해지는 게 아니에요.

그럼 ChatGPT는 어떻게 "기억"하는 건가요?
세 가지 가짜 기억 방식을 써요.

① 같은 대화 안에서만 기억 — 위로 스크롤하면 그 내용이 매번 다시 전송되는 거예요. 대화창을 닫으면 끝.

② "메모리" 기능 — 일부 서비스는 따로 메모를 저장해두고 매번 첫 인사에 슬쩍 끼워 넣어줘요. 진짜 학습이 아니라 "메모지 보고 읽기"에 가까워요.

③ RAG (검색 증강 생성) — 외부 DB에서 관련 자료를 찾아와서 질문이랑 같이 넣어주는 방식. 모델은 안 바뀌고, 그때그때 필요한 자료만 옆에 끼워주는 거예요.

비유로 정리
LLM은 학교 졸업하고 책 한 권도 안 읽은 천재예요. 머릿속에 든 건 어마어마하지만, 그 시점 이후로는 한 줄도 더 외울 수 없어요. 우리가 알려주는 건 그 자리에서만 듣고, 다음 만남엔 잊어버려요. 메모리 기능은 그 천재 옆에 비서가 메모지를 들고 "이분이 누구누구입니다" 알려주는 거예요.

5. 그래서 AI를 어떻게 써야 할까요?

"학습 못 한다"는 사실을 알고 나면 사용 방식이 완전히 바뀝니다. 시사점 6가지로 정리했어요.

① 매번 처음부터 설명하는 게 정상
"지난번에 말했잖아" 류의 답답함은 잊으세요. 매 대화는 첫 만남이에요. 중요한 맥락은 매번 다시 알려줘야 합니다. 이게 시간 낭비 같지만, AI 입장에선 그게 자연스러운 거예요.

② 한 대화는 길게 끌고 가는 게 유리
같은 대화창 안에서는 위의 맥락이 모두 살아 있어요. 그래서 작업 단위로 새 대화를 여는 것보다, 비슷한 주제는 한 창에서 길게 이어가는 게 효율이 좋습니다.

③ 사실 확인은 항상 별도로
손실 압축이라 디테일이 틀리기 일쑤예요. 숫자·날짜·이름·인용구는 100% 다른 출처로 한 번 더 확인하세요. "그럴듯하지만 거짓"이 LLM의 가장 위험한 특성입니다.

④ 컨텍스트가 곧 답의 품질
같은 질문이라도 "초등학생에게 설명하듯", "회사 임원 보고용으로", "코드 예시 포함" 같은 단서를 붙이면 답이 확 달라져요. AI는 분위기를 모르니, 분위기까지 내가 떠먹여 줘야 합니다.

⑤ "내 데이터"는 RAG·파일 첨부로
회사 자료, 개인 문서를 알고 싶으면 직접 첨부하거나 RAG 같은 도구를 쓰세요. AI한테 "내 작년 매출이 얼마였더라" 물어봐도 모릅니다. 자료를 들이밀어야 답해줘요.

⑥ "최신 정보"는 기본적으로 모름
모델마다 "학습 컷오프(cutoff)"가 있어요. 그 이후의 사건은 진짜로 모릅니다. 모른다고 솔직히 답하는 모델이 있고, 모르면서도 그럴듯하게 지어내는 모델이 있어요. 후자에 속는 게 가장 위험합니다.

6. 그래도 강력한 이유 — "대화할 수 있는 위키"의 힘

한계를 줄줄이 나열했지만, LLM이 별로라는 얘기는 절대 아니에요. 카파시 본인도 LLM이 새로운 운영체제급 발명이라고 봅니다.

위키백과는 "내가 찾아서 읽어야" 했어요. 검색어 잘못 넣으면 못 찾고, 한 페이지가 너무 길어서 어디가 핵심인지 모르겠고, 영어 위키는 번역하면서 봐야 했죠. LLM 위키는 그 모든 걸 대화로 풀어줘요. "이거 초등학생도 알게 설명해줘", "한국 상황에 맞게 비유해줘", "이 두 개념 비교표로 만들어줘" — 다 됩니다.

즉, LLM은 "무한한 위키 사서(librarian)"에 가까워요. 정보를 새로 만드는 능력은 떨어져도, 이미 있는 정보를 내 상황에 맞게 풀어주는 능력은 사람 사서 100명을 합쳐도 못 따라가요. 우리가 잘하는 건 그 사서를 잘 부려먹는 거예요.

7. 카파시가 끼친 영향, 의외로 큽니다

"LLM은 위키다" 한 마디 비유가 왜 그렇게 회자됐을까요. 영향을 정리하면 이래요.

① 환각(Hallucination)을 바라보는 시선이 바뀜
이전엔 "AI가 거짓말을 한다"는 시각이었어요. 카파시 비유 이후엔 "압축 위키의 자연스러운 부산물"로 받아들이는 분위기가 됐어요. 비난할 게 아니라, 검증을 더 잘하자는 쪽으로 흐름이 옮겨갔어요.

② RAG·툴 사용이 표준으로
"LLM은 학습 못 한다 = 외부 자료를 매번 끼워줘야 한다"는 인식이 퍼지면서, RAG·도구 사용(Tool Use)·MCP 같은 기술이 폭발적으로 발전했어요. AI 응용 서비스 대부분이 이 방향이에요.

③ 프롬프트 엔지니어링 시대를 열음
"맥락을 매번 줘야 한다"는 점이 분명해지면서, 어떻게 컨텍스트를 잘 던지느냐가 중요한 스킬이 됐어요. 한때 "프롬프트 엔지니어"가 신직업으로 회자된 배경입니다.

④ AI 교육이 쉬워졌어요
어려운 수식 안 쓰고 비유 하나로 LLM을 이해시킬 수 있게 됐어요. 강의·세미나에서 "압축된 위키"는 이제 거의 모든 입문 자료에 등장해요. 카파시의 유튜브 영상이 그 표준 텍스트가 됐고요.

한 줄 정리하면 — LLM은 "한 번 만들어지고 멈춰버린, 그러나 말 잘 통하는 위키"입니다. 이걸 받아들이고 나면 AI한테 실망하는 일도, 과신하는 일도 둘 다 줄어요. 매번 맥락을 잘 던져주고, 답은 한 번 더 확인하고, 학습 같은 건 기대하지 말고 — 이 세 가지만 지키면 충분히 강력한 도구입니다. 안드레 카파시의 영상은 유튜브에 무료로 다 올라와 있으니, 한 번쯤 직접 보시는 것도 추천드려요.