[윈도우] 윈도우 Ollama 설치, 오라마 다운로드 방법: 초보자도 10분 만에 AI 서버 구축!

설치 전 30초 확인: 내 PC로 되는지부터

윈도우에서 Ollama(오라마) 설치는 다운로드부터 첫 AI 응답까지 10분이면 끝납니다. 회원가입도, 결제도, 코딩 지식도 필요 없습니다. 다만 시작 전에 딱 두 가지만 확인하세요.

• 운영체제 — 윈도우 10 이상 (64비트)
• 메모리 — RAM 16GB 권장. 그래픽카드(VRAM 8GB 이상)가 있으면 속도가 몇 배 빨라지지만, 없어도 작은 모델은 돌아갑니다

내 그래픽카드로 어떤 크기의 모델까지 되는지가 궁금하다면, 설치 후에 로컬 LLM 최소 사양 가이드에서 VRAM 계산 공식을 확인해 보세요.

설치 3단계: 다운로드 → 실행 → 확인

1단계 — 공식 사이트에서 받기

주소창에 ollama.com을 입력하고 Download 버튼에서 Windows를 선택하면 OllamaSetup.exe 파일이 받아집니다. 반드시 이 공식 주소에서만 받으세요. 검색 광고로 뜨는 가짜 배포 사이트가 종종 있습니다.

2단계 — 설치 파일 실행

받은 파일을 더블클릭하고 Install을 누르면 끝입니다. 선택할 옵션이 거의 없어서 1~2분이면 완료되고, 설치가 끝나면 작업 표시줄 오른쪽 트레이에 라마 아이콘이 생깁니다. 이 아이콘이 보이면 Ollama 서버가 이미 켜져 있다는 뜻입니다 — 별도로 서버를 실행할 필요가 없습니다.

3단계 — 설치 확인

키보드에서 윈도우 키 + R을 누르고 cmd를 입력해 명령 프롬프트를 연 뒤, 아래를 입력하세요.

ollama –version

버전 번호가 출력되면 설치 성공입니다. 만약 “명령을 찾을 수 없습니다”라고 나오면 명령 프롬프트를 닫았다가 새로 열어보세요. 설치 직후엔 기존 창이 새 프로그램을 인식하지 못하는 경우가 대부분입니다.

첫 모델 실행: 한 줄이면 대화가 시작됩니다

같은 명령 프롬프트에 아래 한 줄을 입력하세요. 2026년 기준, 처음 쓰기에 가장 무난한 모델입니다.

ollama run qwen3:8b

처음 한 번은 모델 파일(약 5GB)을 다운로드하느라 인터넷 속도에 따라 몇 분 걸립니다. 다운로드가 끝나면 커서가 깜빡이는 입력창이 뜨고, 거기에 한국어로 질문을 치면 바로 답이 옵니다. 대화를 끝내려면 /bye를 입력하면 됩니다.

PC 사양이 낮거나(RAM 8GB, 내장그래픽) 다운로드 용량이 부담되면 더 가벼운 ollama run gemma3:4b(약 3GB)로 시작하세요. 그래픽카드 없이 CPU만으로도 견딜 만한 속도가 나옵니다. 어떤 모델이 내 용도에 맞는지는 로컬 LLM 모델 추천 글에서 비교했습니다.

이것만 알면 되는 명령어 5개

• ollama list — 내 PC에 설치된 모델 목록과 용량 확인
• ollama run 모델명 — 모델 실행 (없으면 자동 다운로드)
• ollama ps — 지금 메모리에 올라가 있는 모델 확인
• ollama stop 모델명 — 모델을 메모리에서 내리기 (RAM/VRAM 회수)
• ollama rm 모델명 — 모델 파일 삭제 (디스크 공간 회수)

이 다섯 개가 일상 사용의 전부입니다. 특히 ollama ps와 stop은 기억해 두세요. 모델을 쓰고 나서도 몇 분간 메모리에 남아 있는 게 정상 동작인데, 이걸 모르면 “PC가 갑자기 무겁다”고 오해하기 쉽습니다.

C드라이브가 꽉 찬다면: 모델 저장 위치 옮기기

다운로드한 모델은 기본적으로 C:\Users\사용자이름\.ollama\models 폴더에 쌓입니다. 모델 하나가 3~10GB라서 몇 개만 받아도 C드라이브가 순식간에 찹니다.

D드라이브로 옮기려면 시스템 환경 변수에 OLLAMA_MODELS라는 이름으로 원하는 경로(예: D:\ollama\models)를 등록하면 됩니다. 윈도우 검색창에 “환경 변수”를 입력 → “시스템 환경 변수 편집” → [환경 변수] 버튼 → 새로 만들기 순서입니다. 등록 후 트레이의 Ollama 아이콘을 우클릭해 종료했다가 다시 실행해야 적용됩니다.

검은 창이 싫다면: ChatGPT처럼 쓰는 법

명령 프롬프트가 불편하면 선택지가 두 가지 있습니다.

• Ollama 기본 앱 — 최신 버전의 Ollama는 트레이 아이콘을 클릭하면 열리는 자체 채팅창을 제공합니다. 별도 설치 없이 바로 ChatGPT 스타일로 쓸 수 있어 대부분은 이걸로 충분합니다.
• LM Studio — 아예 처음부터 마우스로만 쓰고 싶다면 Ollama 대신 LM Studio라는 프로그램도 있습니다. 모델 검색·다운로드·채팅이 전부 화면 안에서 됩니다.

참고로 Ollama는 설치 순간부터 내 PC 안에서 localhost:11434 주소로 API 서버 역할도 합니다. 나중에 코딩 도구나 자동화 프로그램과 연결할 때 이 주소를 쓰게 되니, 지금은 “그런 게 있다” 정도만 알아두면 됩니다.

자세한 정보는 TodayPress에서 계속 확인하실 수 있습니다.