로컬 LLM 입문 가이드 (개념·종류·사양·양자화·회사별 지향점까지)

요즘 "내 컴퓨터에서도 ChatGPT 같은 거 돌릴 수 있어요?" 라고 물어보시는 분들이 부쩍 많아졌어요. 답은 "네, 됩니다". 다만 사양이랑 모델 종류에 따라 결과 차이가 꽤 큽니다. 오늘은 로컬 LLM이 뭔지, 요즘은 뭘 많이 쓰는지, 사양은 얼마나 필요한지, 그리고 회사마다 어떤 색깔로 모델을 내고 있는지 한 번에 정리해 드릴게요.

1. 로컬 LLM, 그게 정확히 뭐예요?

쉽게 말하면 내 컴퓨터 안에서 직접 돌리는 AI 모델이에요. ChatGPT나 Claude는 누군가의 서버(클라우드)에 접속해서 답을 받아오는 거잖아요. 로컬 LLM은 모델 파일을 내 PC에 다운받아서, 인터넷 없이도 내 컴퓨터 CPU·GPU·메모리만 써서 돌리는 방식이에요.

비유로 풀면
클라우드 LLM은 배달음식이에요. 주문하면 빨리 오고 메뉴도 화려한데, 그 가게가 문 닫으면 끝이고 가격도 매번 나가요.
로컬 LLM은 집밥이에요. 처음에 장 보고 세팅하는 게 좀 귀찮지만, 한 번 차려두면 인터넷 끊겨도 먹을 수 있고, 내 입맛대로 간도 조절할 수 있어요.

단어 좀 풀어볼게요. LLM(Large Language Model)은 글을 알아듣고 글로 답하는 거대한 AI 모델이고, 로컬(Local)은 "내 컴에서"라는 뜻이에요. 그러니까 "내 컴에서 돌아가는 거대 언어 모델". 별거 아니죠.

2. 어떤 종류가 있나요? (대표 모델 패밀리)

로컬에서 굴릴 수 있는 "오픈 가중치(Open-Weights)" 모델은 회사마다 한두 개씩 나와 있어요. 이름이 워낙 많아서 머리 아픈데, 패밀리(가족) 단위로 묶어서 보면 의외로 단순합니다.

모델 패밀리	만든 곳	특징 한 줄
Llama	Meta (페이스북)	오픈소스 진영의 맏형. 생태계가 가장 두꺼움
Qwen	Alibaba (중국)	다국어·코딩 강함. 한국어도 꽤 자연스러움
DeepSeek	DeepSeek (중국)	추론(생각하는 답변) 모델로 화제. 가성비 최강
Mistral	Mistral AI (프랑스)	작고 빠른 모델 잘 만듦. 유럽 진영 대표주자
Gemma	Google	Gemini의 동생 격. 작은 사이즈에서 단단함
Phi	Microsoft	"작아도 똑똑한" 모델. 노트북에서도 쓸 만함
GPT-OSS	OpenAI	OpenAI가 처음 풀어준 오픈 가중치 모델
EXAONE	LG AI연구원 (한국)	한국어 처리 자연스러움. 국산 옵션
Solar	Upstage (한국)	한국 스타트업. 소형 모델에서 좋은 평가

오픈 가중치(Open-Weights)란?
모델의 "뇌 속 숫자들(가중치)"을 누구나 다운로드해서 쓸 수 있게 풀어둔 거예요. 진짜 오픈소스(학습 코드·데이터까지 공개)랑은 조금 달라요. 사용은 자유로워도 라이선스(상업적 사용 가능 여부)는 모델마다 다르니까, 회사 업무에 쓸 거면 꼭 라이선스 확인부터 해주세요.

3. 요즘 가장 많이 쓰는 모델은?

2025~2026년 기준으로 커뮤니티(Hugging Face 다운로드 수, r/LocalLLaMA 게시글 빈도)에서 자주 거론되는 모델들이에요. 솔직히 매달 순위가 바뀌긴 하는데, 큰 흐름은 이 정도예요.

모델	크기(파라미터)	주로 이런 용도
Llama 3.3 70B	700억	고사양 PC·서버에서 ChatGPT급 대화
Llama 3.2 3B	30억	노트북에서 가볍게 — 요약, 번역, 자동완성
Qwen 2.5 7B / 14B	70억 / 140억	한국어 대화·코딩 보조에서 평이 좋음
DeepSeek-R1	다양 (distill 1.5B~70B)	수학·코딩처럼 "생각"이 필요한 문제
Gemma 3 4B / 12B	40억 / 120억	멀티모달(이미지+텍스트) 기능 포함
Phi-4	140억	크기 대비 정확도가 좋아서 인기
Mistral Small 3	240억	빠른 응답이 필요한 챗봇·도구 호출

"파라미터"가 뭔가요?
모델 안에 있는 작은 숫자(노브) 개수예요. 7B면 70억 개, 70B면 700억 개. 일반적으로 숫자가 클수록 똑똑하지만, 그만큼 메모리도 많이 먹어요. 7B가 보통 입문용으로 가장 무난해요.

4. 뭘로 돌리나요? — 실행 도구

모델 파일만 있어도 안 돌아가요. 모델을 "켜주는" 프로그램이 따로 필요합니다. 처음 시작하는 분께 추천하는 순서로 정리했어요.

1) Ollama — 입문자가 가장 많이 씁니다
설치하고 터미널에 ollama run llama3.2 한 줄이면 끝이에요. 모델 다운로드부터 실행까지 자동. 공식: ollama.com

2) LM Studio — 클릭으로 다 되는 GUI
터미널이 어렵다면 이게 편해요. 모델 검색·다운로드·대화창까지 마우스로 다 됩니다. 공식: lmstudio.ai

3) llama.cpp — 모든 도구의 뿌리
위의 Ollama, LM Studio가 안에서 쓰는 엔진이에요. 직접 다룰 일은 많지 않지만, "GGUF 파일 형식"이라는 단어를 자주 볼 텐데 이건 llama.cpp 진영의 표준이에요.

4) vLLM / Text Generation WebUI — 좀 더 본격적인 사용자용
회사 서버에 띄워서 여러 명이 쓰거나, 웹UI에서 세팅을 깊게 만지고 싶을 때.

# Ollama 설치 후 첫 실행 예시 (macOS·Linux 기준) # 1) 설치는 공식 사이트에서 다운로드 # 2) 터미널에서: ollama run llama3.2 # 한국어 잘 하는 모델 써보고 싶으면: ollama run qwen2.5:7b ollama run exaone3.5:7.8b

5. 그래서 컴퓨터 사양은 어느 정도면 돼요?

가장 많이 묻는 질문이에요. 결론부터 말씀드리면, "내가 돌리고 싶은 모델 크기" × "양자화 정도"로 필요한 메모리가 정해져요. 대략적인 가이드입니다.

모델 크기	필요 메모리 (양자화 후)	추천 환경
1~3B (소형)	약 2~4GB	일반 노트북 (RAM 8GB+) 가능
7~8B (입문 표준)	약 5~6GB	RAM 16GB / VRAM 8GB 이상
13~14B (중형)	약 9~10GB	RTX 4070 12GB / M2 Pro 16GB+
30B (대형)	약 18~22GB	RTX 4090 24GB / M3 Max
70B (대형 플러스)	약 40~45GB	M2/M3 Max 64GB+ 또는 GPU 2장

VRAM이 뭔가요?
그래픽카드(GPU) 안에 있는 전용 메모리예요. 모델이 빠르게 돌아가려면 모델 통째로 VRAM에 올라가야 해서, "VRAM 크기 = 돌릴 수 있는 모델 크기"가 거의 그대로 직결돼요. 일반 RAM보다 비싸고 귀합니다.

맥북 사용자에게 좋은 소식
M1·M2·M3·M4 같은 애플 실리콘은 통합 메모리(RAM이 GPU랑 같이 쓰임) 구조라서, RAM 32GB·64GB 모델이면 의외로 큰 모델까지 잘 돌아갑니다. 같은 가격대 윈도우 PC보다 로컬 LLM 돌리기엔 이점이 많아요.

6. 양자화(Quantization), 왜 자주 나오는 단어인가요?

로컬 LLM 자료 보면 Q4_K_M, Q5_K_M, Q8_0 같은 표기가 자주 보일 거예요. 이게 양자화예요.

비유로 설명
음악 파일이랑 똑같아요. 원본 WAV는 음질 최고지만 용량이 어마어마하잖아요. MP3로 변환하면 살짝 음질 손해 보고 용량은 1/10로 줄죠. 양자화도 같은 원리예요. 모델 안 숫자들의 정밀도를 살짝 낮춰서 파일을 작게 만드는 거예요.

표기	의미	언제 고를까
Q8_0	거의 원본급	메모리 여유 충분할 때
Q5_K_M	균형 잡힌 선택	품질·용량 둘 다 챙길 때
Q4_K_M	가장 무난한 기본값	대부분의 경우 이걸 추천
Q2_K	최대 압축	메모리 진짜 빠듯할 때만

처음이라면 Q4_K_M으로 시작하세요. 품질 손실이 거의 안 느껴지면서 용량은 원본의 1/4 수준이에요.

7. 좋은 점과 아쉬운 점

좋은 점

• 프라이버시 — 내 질문·문서가 내 컴 밖으로 안 나가요. 회사 자료 같은 거 다룰 때 마음 편해요.
• 비용 0원 — 한 번 받아두면 토큰 요금 걱정 없어요. 무제한으로 굴려도 전기세만 듭니다.
• 오프라인 OK — 비행기·지하·인터넷 끊긴 곳에서도 됩니다.
• 커스터마이즈 — 내 데이터로 미세조정(파인튜닝)도 가능해요.
• 속도 — 네트워크 왕복이 없어서 짧은 답변은 오히려 빠릅니다.

솔직히 아쉬운 점

• 똑똑함은 클라우드한테 밀려요 — Claude Opus, GPT-4o 수준을 노트북에서 따라가긴 어려워요. 70B급도 클라우드 최상급보다는 한 수 아래.
• 초기 셋업이 귀찮음 — Ollama 깔고, 모델 받고, 양자화 고르고... 5분이면 끝나긴 하는데 처음엔 막막해요.
• 하드웨어 비용 — 큰 모델 돌리려면 RTX 4090이나 맥북 프로 같은 게 필요해요.
• 발열·전기 — 본격적으로 쓰면 컴퓨터가 꽤 뜨거워지고 팬도 시끄러워요.
• 최신 정보 못 함 — 모델이 학습된 시점 이후 정보는 모릅니다. 실시간 검색 같은 건 따로 붙여줘야 해요.

8. 회사마다 지향점이 달라요

같은 "오픈 가중치 모델"이라도 회사마다 색깔이 꽤 다릅니다. 왜 그 회사가 그 방향으로 가는지까지 같이 보면 모델 고르기가 쉬워져요.

회사	지향점	왜 그렇게 가나
Meta (Llama)	생태계 장악·표준화	OpenAI·구글 따라잡기 어렵자 "오픈"으로 판 바꾸기
Alibaba (Qwen)	다국어·실용성	중국 내수 + 글로벌 동시 공략. 코딩·수학 강조
DeepSeek	추론·가성비	"적은 비용으로 더 똑똑한 모델" — 효율 혁신으로 화제
Mistral	작고 빠른 모델	유럽판 OpenAI 지향. 효율과 속도가 무기
Google (Gemma)	연구·멀티모달	메인은 Gemini, Gemma는 연구·개발자 커뮤니티용
Microsoft (Phi)	소형 고효율	Windows·Copilot+PC에 작은 모델 심기 위한 포석
OpenAI (GPT-OSS)	오픈 진영 견제	Llama·DeepSeek에게 빼앗긴 개발자 표심 되찾기
LG (EXAONE)	한국어·기업용	국내 기업 대상 B2B 솔루션과 묶어서 판매
Upstage (Solar)	소형 강자 + 도메인	소형 모델 효율로 차별화. 의료·금융 같은 특화 도메인 노림

9. 앞으로 어떻게 될까요?

예측은 항상 어렵지만, 흐름은 꽤 분명하게 잡힙니다.

① 작은 모델이 점점 똑똑해져요
1년 전 7B 모델이 하던 일을 지금은 3B 모델이 해내요. Phi-4·Gemma 3·Qwen 2.5 흐름을 보면 명확합니다. "노트북에서 ChatGPT급" 시대가 멀지 않다는 얘기.

② 폰·노트북에 기본 탑재
애플 인텔리전스, Copilot+PC, 갤럭시 AI처럼 OS 차원에서 작은 모델을 내장하는 흐름이에요. 사용자는 "로컬"이라는 단어를 의식하지 않게 될 거예요.

③ 추론(Reasoning) 모델이 주류로
DeepSeek-R1이 쏘아 올린 흐름. "빠른 답" 말고 "깊이 생각한 답"을 내는 모델이 늘어나고 있어요. 수학·코딩 같은 영역에선 이미 클라우드급에 근접.

④ MoE(전문가 혼합) 구조 확산
큰 모델 하나가 다 처리하는 게 아니라, 작은 전문가 여러 명을 모아두고 질문에 맞는 전문가만 깨우는 방식이에요. 효율이 훨씬 좋아져서 큰 모델도 가벼워지는 효과.

⑤ 멀티모달 로컬 모델
글뿐 아니라 이미지·음성도 한 모델에서 처리하는 흐름. Gemma 3가 이미 시작했고, 1~2년 안에 표준이 될 것 같아요.

처음 시작하는 분이라면 Ollama + Llama 3.2 3B (또는 Qwen 2.5 7B) 조합부터 깔아보세요. 다운로드 받고 명령어 한 줄이면 일단 돌아갑니다. 거기서 "더 똑똑한 거"가 필요해지면 사양에 맞춰 모델을 올려가면 돼요. 처음부터 70B 모델 욕심내다가 사양 안 맞아서 좌절하는 경우를 많이 봤거든요. 한 번 해보시면 의외로 별거 아니라는 걸 느끼실 거예요.