Ollama 오류 – 로컬 AI 실행 안됨? 엔지니어 사장님이 알려주는 10초 해결법

시작 전 1분: 오류의 절반은 이 두 가지로 끝납니다

Ollama 오류의 상당수는 원인이 허무할 정도로 단순합니다. 복잡한 진단에 들어가기 전에 아래 두 가지부터 해보세요.

• Ollama 재시작 — 작업 표시줄 트레이의 라마 아이콘을 우클릭 → 종료(Quit) → 시작 메뉴에서 Ollama 다시 실행
• 명령 프롬프트 새로 열기 — 설치·업데이트 직후의 “명령을 찾을 수 없습니다”는 대부분 이걸로 끝납니다

이걸로 안 되면, 아래에서 지금 뜬 오류 메시지와 같은 항목을 찾아 내려가면 됩니다.

“ollama는 내부 또는 외부 명령이 아닙니다”

설치는 됐는데 명령 프롬프트가 ollama를 모르는 상태입니다. 원인은 거의 하나 — 설치 전에 열어둔 창을 그대로 쓰고 있어서입니다. 창을 완전히 닫고 새로 여세요. 그래도 안 되면 재부팅 한 번이면 대부분 해결됩니다.

재부팅 후에도 같다면 설치 자체가 실패한 경우입니다. ollama.com에서 설치 파일을 다시 받아 실행하세요. 아직 설치 단계라면 윈도우 Ollama 설치 가이드를 처음부터 따라가는 게 빠릅니다.

“could not connect to ollama app” / Connection refused

명령어는 인식되는데 연결이 거부되는 경우 — Ollama 서버(백그라운드 프로세스)가 꺼져 있는 것입니다. 확인 순서:

• 트레이에 라마 아이콘이 있는지 확인. 없으면 시작 메뉴에서 Ollama 실행
• 아이콘이 있는데도 같다면 우클릭 → 종료 후 재실행
• 그래도 안 되면 명령 프롬프트에 ollama serve 입력 — 이때 나오는 메시지가 진짜 원인을 알려줍니다

ollama serve에서 “address already in use”가 나오면 이미 다른 Ollama 프로세스가 떠 있다는 뜻이니 오히려 정상입니다. 트레이 아이콘을 종료하고 다시 시도하거나, 작업 관리자에서 ollama 프로세스를 모두 끝낸 뒤 재실행하세요. Ollama는 기본적으로 localhost:11434 포트를 쓰는데, 드물게 다른 프로그램이 이 포트를 선점해 충돌하는 경우도 있습니다.

모델 다운로드가 실패하거나 중간에 끊길 때

먼저 알아두면 마음이 편해지는 사실 — ollama run이나 ollama pull을 다시 실행하면 받던 지점부터 이어받습니다. 끊겼다고 처음부터 다시 받는 게 아니니, 일단 같은 명령을 한 번 더 실행해 보세요.

반복해서 실패한다면 원인은 보통 셋 중 하나입니다.

• 디스크 부족 — 모델 하나가 3~10GB입니다. C드라이브 여유 공간부터 확인하세요. 부족하면 OLLAMA_MODELS 환경 변수로 저장 위치를 D드라이브로 옮길 수 있습니다(설치 가이드에 방법 정리)
• 회사망·기관망 — 프록시나 방화벽이 외부 다운로드를 막는 환경이면 IT 담당자 확인이 필요합니다
• 모델명 오타 — “file does not exist” 계열 메시지는 대부분 태그 오타입니다. ollama run qwen3:8b처럼 정확한 이름은 ollama.com 모델 페이지에서 복사하는 게 안전합니다

“model requires more system memory” — 메모리 부족

이 메시지는 고장이 아니라 계산 결과 통보입니다. 모델이 요구하는 메모리가 내 PC의 여유분보다 크다는 뜻이라, 해결책은 두 방향뿐입니다.

• 더 작은 모델 쓰기 — 8B에서 막혔으면 gemma3:4b처럼 한 단계 아래로. 이게 정석입니다
• 다른 프로그램 닫기 — 브라우저 탭 수십 개, 게임 등이 RAM을 잡고 있으면 같은 모델도 실패할 수 있습니다

내 사양으로 몇 B 모델까지 되는지 계산하는 공식은 로컬 LLM 최소 사양 가이드에 있습니다.

답변이 너무 느릴 때: GPU를 안 쓰고 있는지 확인

오류 없이 돌아가긴 하는데 한 글자씩 기어나온다면, GPU가 아니라 CPU로 돌고 있을 가능성이 큽니다. 모델을 실행해 둔 상태에서 새 명령 프롬프트에 이렇게 입력하세요.

ollama ps

PROCESSOR 열이 “100% GPU”면 정상입니다. “100% CPU”거나 “48%/52% CPU/GPU”처럼 섞여 있으면 문제가 있는 상태입니다.

• 100% CPU — Ollama가 그래픽카드를 인식하지 못한 것. NVIDIA 드라이버를 최신으로 업데이트하고 재부팅하세요. 너무 오래된 GPU(GTX 900번대 이전)는 지원 대상이 아닐 수 있습니다
• CPU/GPU 혼합 — 모델이 VRAM보다 커서 일부가 RAM으로 밀려난 상태. 이 상태가 속도 급락의 주범입니다. 한 단계 작은 모델로 바꾸면 순수 GPU 실행으로 돌아옵니다

그래도 안 되면: 로그 확인과 클린 재설치

로그 파일 위치

윈도우 키 + R → explorer %LOCALAPPDATA%\Ollama를 입력하면 로그 폴더가 열립니다. server.log 파일의 마지막 줄들에 실제 오류 원인이 적혀 있습니다. 검색하거나 질문 글을 올릴 때 이 마지막 부분을 함께 붙이면 답을 얻는 속도가 완전히 달라집니다.

클린 재설치

윈도우 설정 → 앱에서 Ollama를 제거한 뒤 ollama.com에서 새로 받아 설치합니다. 다운로드해 둔 모델은 별도 폴더(.ollama)에 있어서 재설치해도 지워지지 않습니다 — 다시 받을 필요 없이 그대로 쓸 수 있습니다.

자세한 정보는 TodayPress에서 계속 확인하실 수 있습니다.