TodayPress
AI & 테크

개인용 AI 만드는 법, PC 사양별 설치 환경 선택 기준

내 PC 사양과 목적에 맞춰 개인용 AI 설치 환경을 고르는 기준과 설치 순서, 막혔을 때 해결법을 정리했습니다.

7개 섹션

모니터와 키보드가 놓인 개인 작업 책상 위 데스크톱 PC
이 글의 차례 · 7개 섹션

개인용 AI 만드는 법은 직접 학습시키는 것이 아니라, 공개된 모델을 내 PC에 내려받아 실행하는 방식으로 시작하는 경우가 대부분입니다. 선택 기준은 세 가지입니다.

그래픽카드 메모리가 넉넉하면 중간 크기 모델까지 쾌적하게 돌립니다. 메모리가 부족하면 작은 모델이나 압축된 모델로 내려가야 합니다.

명령어가 낯설면 설치 화면이 있는 LM Studio가 편합니다. 터미널이 익숙하면 Ollama가 빠릅니다.

PC 사양에 따라 달라지는 설치 방식

설치 방식을 정하는 첫 기준은 모델을 올릴 수 있는 메모리 용량입니다. 모델은 실행 중 통째로 메모리에 올라가기 때문입니다.

케이스 안에 장착된 그래픽카드의 근접 사진

그래픽카드 전용 메모리에 모델이 다 들어가면 응답이 빠릅니다. 일부만 들어가면 나머지는 일반 메모리로 넘어가 속도가 눈에 띄게 떨어집니다.

그래서 모델 크기를 고르기 전에 내 PC의 그래픽카드 메모리와 일반 메모리 용량부터 확인해야 합니다.

그래픽카드 메모리가 충분한 경우

엔비디아 계열 그래픽카드에 메모리 여유가 있다면 중간 크기 모델을 그래픽카드에서 돌리는 구성이 가장 무난합니다. 대부분의 도구가 이 환경을 기본으로 지원합니다.

이때는 최신 그래픽 드라이버가 설치돼 있는지만 먼저 확인하면 됩니다. 드라이버가 오래되면 그래픽카드를 인식하지 못하고 CPU로 돌아가는 일이 생깁니다.

속도가 중요한 코딩 보조나 긴 문서 요약에 이 구성이 어울립니다.

모델 크기를 올릴수록 메모리 사용량도 함께 늘어난다는 점은 기억해 두셔야 합니다.

그래픽카드가 없거나 메모리가 작은 경우

그래픽카드가 없어도 CPU와 일반 메모리만으로 실행할 수는 있습니다. 다만 모델이 클수록 글자가 한 단어씩 천천히 나옵니다.

이 환경에서는 작은 모델을 고르는 것이 현실적입니다. 간단한 질문 답변이나 문장 다듬기 정도는 충분히 쓸 만합니다.

일반 메모리가 부족하면 모델이 아예 실행되지 않거나 PC 전체가 느려집니다. 이럴 때는 더 작은 모델로 내리는 것이 먼저입니다.

속도에 기대를 낮추고 개인정보가 밖으로 나가지 않는다는 장점에 집중하면 만족도가 높습니다.

목적별로 고르는 설치 도구

도구는 사용 방식에 따라 고르면 됩니다. 셋 모두 무료로 시작할 수 있고, 같은 모델 파일을 쓰는 경우가 많아 나중에 바꿔도 부담이 적습니다.

처음이라면 한 가지만 설치해 모델 하나를 돌려 보는 것이 좋습니다. 여러 도구를 동시에 깔면 모델 파일이 중복되어 저장 공간만 차지합니다.

아래 비교를 보고 내게 맞는 하나를 정하시면 됩니다.

  • LM Studio: 설치 화면과 채팅창이 갖춰져 있어 명령어 없이 쓸 수 있습니다. 모델 검색과 내려받기도 화면에서 합니다.
  • Ollama: 터미널 한 줄로 모델을 받고 실행합니다. 다른 프로그램과 연결하는 로컬 서버로 쓰기 좋습니다.
  • llama.cpp: 설정 항목이 가장 세밀합니다. 성능을 직접 조절하고 싶은 사용자에게 맞습니다.

명령어가 낯선 초보자

터미널 사용이 처음이라면 LM Studio부터 시작하는 편이 안전합니다. 설치 파일을 실행하고 모델을 검색해 내려받으면 바로 대화할 수 있습니다.

화면에서 내 PC에 맞지 않는 모델을 미리 알려 주는 기능도 있어 시행착오가 줄어듭니다.

채팅 외에 다른 프로그램과 연동할 일이 생기면 그때 다른 도구를 추가해도 늦지 않습니다.

우선 한 번 대화에 성공해 보는 것이 목표입니다.

자동화나 개발 연동이 필요한 경우

내 프로그램이나 메모 앱에 AI를 붙이려면 Ollama가 편합니다. 실행하면 내 PC 안에서 접속 가능한 주소가 열리기 때문입니다.

이 주소로 요청을 보내면 응답을 받을 수 있어, 직접 만든 스크립트와 연결하기 쉽습니다.

외부에서 접속하게 열어 두면 누구나 쓸 수 있는 상태가 될 수 있습니다. 기본 설정인 내 PC 전용을 유지하시기 바랍니다.

세밀한 성능 조절이 필요해질 때 llama.cpp를 검토하면 됩니다.

운영체제별 주의점

운영체제에 따라 가속을 쓰는 방식이 다르므로 설치 전에 내 환경을 확인해야 합니다. 같은 모델이라도 환경에 따라 속도 차이가 큽니다.

도구마다 지원하는 운영체제와 그래픽 환경이 조금씩 다르니, 설치 전에 공식 문서의 지원 목록을 한 번 보시는 것이 안전합니다.

윈도우 사용자

윈도우에서는 그래픽 드라이버 상태가 속도를 좌우하는 경우가 많습니다. 설치 후 첫 실행에서 그래픽카드를 쓰는지 작업 관리자로 확인해 보십시오.

백신이나 보안 프로그램이 내려받은 모델 파일을 검사하느라 느려지는 일도 있습니다.

모델 파일은 용량이 크므로 저장 공간이 여유로운 드라이브에 두는 것이 좋습니다.

기본 저장 경로가 시스템 드라이브라면 설정에서 위치를 바꾸는 방법을 먼저 찾아 두세요.

맥과 리눅스 사용자

애플 실리콘 맥은 CPU와 그래픽이 메모리를 함께 쓰는 구조라, 전체 메모리 용량이 곧 모델 크기의 한도에 가깝습니다. 전용 그래픽카드가 없어도 쓸 만한 속도가 나오는 이유입니다.

다만 운영체제와 다른 앱도 메모리를 쓰므로 전체를 모델에 줄 수는 없습니다.

리눅스는 그래픽 드라이버와 가속 라이브러리를 직접 맞춰야 하는 경우가 있습니다. 배포판과 그래픽카드 종류에 따라 절차가 달라집니다.

명령어에 익숙하다면 가장 자유롭게 구성할 수 있는 환경입니다.

모델 크기와 압축 방식 고르기

모델은 클수록 답변 품질이 좋아지는 경향이 있지만, 그만큼 메모리를 많이 씁니다. 내 PC에 여유 있게 들어가는 가장 큰 모델이 대체로 좋은 선택입니다.

메모리를 빠듯하게 채우면 대화가 길어질 때 불안정해집니다. 여유를 남겨 두는 것이 중요합니다.

압축(양자화) 모델을 보는 법

양자화는 모델의 숫자 정밀도를 낮춰 용량을 줄이는 방식입니다. 파일 이름에 Q4, Q8 같은 표기가 붙어 있습니다.

숫자가 작을수록 용량이 줄고 속도가 빠르지만, 답변 품질은 조금씩 떨어지는 경향이 있습니다.

메모리가 부족할 때는 큰 모델을 강하게 압축하는 편이 작은 모델을 그대로 쓰는 것보다 나은 경우가 많습니다. 다만 모델마다 차이가 있으니 직접 비교해 보셔야 합니다.

처음에는 도구가 추천하는 기본 압축 단계를 그대로 쓰시면 무난합니다.

용도별 모델 고르는 기준

한국어 대화가 목적이라면 한국어 성능이 확인된 모델을 고르는 것이 우선입니다. 영어 중심 모델은 한국어에서 어색한 문장이 나올 수 있습니다.

코드 작성이 목적이라면 코드 특화 모델이 유리합니다. 이미지를 읽어야 한다면 이미지 입력을 지원하는 모델이어야 합니다.

모델 설명 페이지에서 지원 언어와 사용 조건, 라이선스를 확인하십시오. 상업적으로 쓰려면 라이선스 확인은 필수입니다.

모델 이름과 버전은 자주 바뀌므로 설치 시점의 목록에서 직접 확인하는 편이 정확합니다.

설치부터 첫 대화까지 순서

순서는 확인, 설치, 모델 받기, 실행의 네 단계입니다. 이 순서대로 하면 대부분 한 번에 끝납니다.

노트북 화면에 터미널 창이 열려 있는 모습

아래 체크리스트를 그대로 따라 하시면 됩니다.

복사해 쓰는 설치 체크리스트

  • 1단계: 그래픽카드 메모리와 일반 메모리 용량을 확인합니다.
  • 2단계: 저장 공간이 모델 파일 용량보다 넉넉한지 확인합니다.
  • 3단계: 그래픽 드라이버를 최신으로 갱신합니다.
  • 4단계: LM Studio 또는 Ollama 중 하나를 공식 사이트에서 내려받아 설치합니다.
  • 5단계: 작은 모델부터 하나 내려받아 실행합니다.
  • 6단계: 응답이 나오면 더 큰 모델로 올려 속도를 비교합니다.

Ollama를 쓴다면 터미널에서 ollama run 뒤에 모델 이름을 넣으면 받기와 실행이 한 번에 됩니다. 받은 모델 목록은 ollama list로 확인합니다.

도구는 반드시 공식 사이트에서 내려받으십시오. 비공식 배포처는 악성 파일이 섞일 위험이 있습니다.

처음 쓸 때 정해 두면 좋은 설정

대화 길이 설정은 기본값으로 시작하는 것이 좋습니다. 길이를 늘릴수록 메모리 사용량이 함께 늘기 때문입니다.

속도가 느리면 길이를 줄이거나 더 작은 모델로 바꿉니다.

모델 파일 저장 위치와 내려받은 모델 목록을 메모해 두면 정리할 때 편합니다.

쓰지 않는 모델은 삭제해 저장 공간을 확보하십시오.

막혔을 때 확인할 상황

설치 후 문제는 대부분 메모리 부족, 그래픽카드 미인식, 저장 공간 부족 중 하나입니다. 증상으로 원인을 좁히면 해결이 빠릅니다.

상황별 해결

  • 실행하자마자 멈추거나 오류가 납니다: 모델이 메모리보다 큰 경우가 많습니다. 더 작은 모델이나 더 강하게 압축된 파일로 바꿔 보십시오.
  • 응답이 한 글자씩 아주 느립니다: 그래픽카드 대신 CPU로 돌고 있을 수 있습니다. 드라이버를 갱신하고 그래픽카드 사용 여부를 확인하십시오.
  • 내려받기가 중간에 실패합니다: 저장 공간이나 네트워크 문제입니다. 여유 공간을 확보하고 다시 받으면 이어받는 도구도 있습니다.

한국어 답변이 어색할 때는 모델을 바꾸는 것이 가장 빠른 해결책입니다. 질문을 구체적으로 쓰는 것만으로도 답이 나아지는 경우가 있습니다.

그래도 해결되지 않으면 도구의 로그 화면에서 오류 문구를 찾아 그대로 검색해 보십시오. 같은 증상을 겪은 사례를 쉽게 찾을 수 있습니다.

원인이 불분명할 때는 가장 작은 모델로 실행해 보는 것이 진단의 출발점입니다.

자주 묻는 질문

개인용 AI를 만들려면 직접 학습시켜야 하나요?

대부분은 그렇지 않습니다. 공개된 모델을 내려받아 실행하는 것만으로 개인용 AI를 쓸 수 있습니다. 내 문서를 참고하게 하는 기능은 추가 도구로 붙일 수 있습니다.

그래픽카드가 없어도 설치할 수 있나요?

가능합니다. 다만 CPU로만 돌리면 응답이 느려지므로 작은 모델을 고르는 것이 좋습니다. 일반 메모리 용량이 충분한지는 꼭 확인하십시오.

인터넷 없이도 쓸 수 있나요?

모델을 내려받은 뒤에는 인터넷 없이 실행할 수 있는 경우가 많습니다. 처음 도구와 모델을 받을 때만 연결이 필요합니다. 도구별 기능은 공식 문서에서 확인하십시오.

무료로 쓸 수 있나요?

도구와 많은 공개 모델은 무료로 쓸 수 있습니다. 다만 모델마다 라이선스 조건이 다르므로 상업적 사용 여부는 모델 설명 페이지에서 확인해야 합니다.

클라우드 AI와 무엇이 다른가요?

내 PC 안에서 처리하므로 입력한 내용이 외부 서버로 나가지 않는다는 점이 가장 큰 차이입니다. 대신 품질과 속도는 내 PC 사양에 좌우됩니다.