작성자: 15년 차 IT 필드 엔지니어
환경: Windows 11 (일반 업무용 노트북 기준)
📌 내 PC에서 구동하는 로컬 LLM: Ollama 실전 연재 목차
안녕하세요! 15년 차 IT 필드 엔지니어입니다.
[1편]에서 외부 인터넷이 차단된 에어갭(Air-gap, 폐쇄망) 현장에서 로컬 LLM이 왜 필요한지, 그리고 왜 일반 업무용 노트북에는 2B~3B 소형 모델이 가장 적합한지 알아보았습니다.
이제 이론을 마쳤으니, 내 Windows 11 노트북에 직접 Ollama를 설치하고 첫 번째 AI 모델을 다운로드하여 터미널에서 실시간으로 대화해 보는 실전 과정을 진행해 보겠습니다.
실제 설치부터 모델 다운로드, 첫 대화까지의 전체 과정을 13장의 현장 캡처 화면과 함께 단계별로 알기 쉽게 정리해 드립니다.
1. 실전 설치 워크플로우
설치부터 첫 대화까지의 전체 진행 흐름은 아래와 같습니다.
flowchart TD
Step1["1단계: 공식 웹사이트 접속<br/>(OllamaSetup.exe 다운로드)"] --> Step2["2단계: 윈도우 인스톨러 실행<br/>(원클릭 설치 진행)"]
Step2 --> Step3["3단계: 시스템 트레이 백그라운드<br/>Ollama 서비스 상주 확인"]
Step3 --> Step4["4단계: 터미널(CLI) 실행<br/>(ollama 명령어 및 모델 선택)"]
Step4 --> Step5["5단계: 첫 모델 다운로드<br/>(레이어 다운로드 & 검증)"]
Step5 --> Step6["6단계: 터미널 실시간 질의응답<br/>(프롬프트 대화 테스트)"]
2. 1단계: Ollama Windows 11 설치 파일 다운로드
- 웹 브라우저를 열고 Ollama 공식 다운로드 페이지에 접속합니다:
- 🌐 공식 다운로드 링크: https://ollama.com/download/windows
- 화면 중앙의
Download for Windows버튼을 클릭합니다.
- 다운로드가 완료되면 다운로드 폴더에
OllamaSetup.exe설치 파일이 생성됩니다.
3. 2단계: 인스톨러 실행 및 설치 완료
- 다운로드한
OllamaSetup.exe파일을 더블 클릭하여 실행합니다. - 설치 마법사 창이 나타나면
Install버튼을 클릭합니다.
- 파일 압축 해제 및 서비스 등록 작업이 자동으로 진행됩니다 (약 10~20초 소요).
- 설치가 완료되면 Windows 11 우측 하단 작업표시줄 시스템 트레이(알림 영역)에 귀여운 라마(Ollama) 아이콘이 등록되며 백그라운드 상주를 시작합니다.
💡 알아두면 유용한 기본 설치 경로:
- 프로그램 설치 위치:
C:\Users\<사용자계정>\AppData\Local\Programs\Ollama- 다운로드 모델 저장 위치:
C:\Users\<사용자계정>\.ollama\models- Ollama는 윈도우 부팅 시 백그라운드 서비스로 자동 실행되며, 로컬 REST API 포트인 **
11434**번(http://localhost:11434)을 기본 리스닝합니다.
4. 3단계: Ollama 실행 및 환경 준비
설치 직후 또는 윈도우 시작 시 Ollama가 자동으로 백그라운드에서 구동됩니다.
필요한 경우 공식 웹사이트와 연동하여 내 계정으로 로그인해 둘 수 있습니다 (선택 사항이며, 비로그인 상태로도 모델 다운로드 및 로컬 실행은 100% 정상 동작합니다).
5. 4단계: 터미널(CLI)에서 설치 검증 및 모델 탐색
윈도우 시작 버튼을 우클릭하고 터미널(Terminal) 또는 **PowerShell**을 실행합니다.
터미널 창에 ollama를 입력하고 엔터를 치면, 지원되는 기본 명령어 목록(serve, create, show, run, stop, pull, push, list, ps, rm)이 정상적으로 출력됩니다.
이어서 라이브러리에서 일반 노트북 환경에 가장 적합한 경량 모델을 선택합니다. 1편에서 추천해 드렸듯이 일반 사무용/업무용 노트북에는 **2B~3B급 경량 모델(예: gemma2:2b, llama3.2:3b)**이 메모리 부담 없이 가장 쾌적합니다.
6. 5단계: 첫 모델 다운로드 및 실시간 진행률 확인 (ollama run)
터미널에 아래 명령어를 입력하여 선택한 모델의 다운로드 및 실행을 시작합니다:
# 일반 노트북 추천 모델 구동
ollama run gemma2:2b
명령어를 실행하면 Ollama가 공식 저장소에서 모델 가중치 파일을 자동으로 다운로드하기 시작합니다.
Manifest 파일 수신 및 레이어 다운로드 시작:
실시간 다운로드 진행률(%) 및 속도 표시: 각 레이어 파일의 크기와 다운로드 진행 상황이 실시간 프로그레스 바로 깔끔하게 표시됩니다.
무결성 검증(verifying sha256 digest) 및 설치 완료: 다운로드가 100% 완료되면 무결성 체크를 거쳐
success메시지가 출력됩니다.
7. 6단계: 터미널에서 실시간 AI 대화 나누기
다운로드가 끝나면 프롬프트가 >>> 모양의 대화형 인터랙티브 모드로 즉시 전환됩니다. 이제 터미널 창에서 한국어로 자유롭게 질문을 입력해 보세요!
🛠️ 실무 엔지니어링 질문 테스트 예시
>>> 리눅스 환경에서 100MB 이상 크기의 파일만 찾아서 용량 순으로 내림차순 정렬하는 find 명령어 작성해줘.
외장 GPU가 없는 일반 인텔/AMD 내장 그래픽 노트북임에도 불구하고, 엔터를 누르자마자 초당 25토큰 이상의 매우 빠른 속도로 답변이 막힘없이 술술 출력되는 것을 체감하실 수 있습니다!
🚪 대화 종료 방법
대화를 마치고 일반 터미널 쉘로 빠져나오려면:
/bye입력 후 엔터- 또는 키보드 단축키
Ctrl + D(PowerShell에서는Ctrl + C또는/bye)
8. 15년 차 엔지니어의 실전 꿀팁 (Windows 11 환경)
💡 팁 1: C드라이브 용량 부족 시 모델 저장 경로 변경 방법
여러 모델(Gemma, Llama, Qwen 등)을 다운받다 보면 C드라이브 용량이 금방 부족해질 수 있습니다. 이럴 때는 D드라이브 등 다른 파티션으로 모델 저장 경로를 변경할 수 있습니다.
Win + R➔sysdm.cpl입력 (시스템 속성 열기)- [고급] 탭 ➔ [환경 변수] 클릭
- 시스템 변수 또는 사용자 변수에 [새로 만들기] 클릭:
- 변수 이름:
OLLAMA_MODELS - 변수 값:
D:\ollama\models(원하는 폴더 경로 지정)
- 변수 이름:
- 시스템 트레이에서 Ollama 아이콘을 우클릭하여 **
Quit Ollama**로 종료 후 다시 실행하면, 이후 다운로드되는 모든 모델이 D드라이브로 저장됩니다!
💡 팁 2: 폐쇄망(Air-gap) 현장으로 모델 오프라인 배포하는 노하우
인터넷이 없는 전산실이나 고객사 에어갭 현장에 가야 할 경우:
- 사전에 인터넷이 되는 노트북/PC에서 필요한 모델들을 다운로드합니다 (
ollama run gemma2:2b등). C:\Users\<계정>\.ollama\models폴더 전체를 USB 외장 드라이브에 복사합니다.- 폐쇄망 현장 노트북에 Ollama를 설치한 후, 해당 폴더에 USB 안의
models내용을 그대로 붙여넣기만 하면 인터넷 연결 없이도 100% 즉시 오프라인 구동이 가능합니다.
9. 결론 및 3편 예고
이제 여러분의 Windows 11 노트북은 인터넷이 끊겨도 언제든 나만을 위해 지능적으로 답변해 주는 독립형 오프라인 AI 워크스테이션으로 완벽하게 변신했습니다!
하지만 터미널 검은 화면(CLI)에서만 대화하는 것은 긴 코드나 문서를 볼 때 조금 답답할 수 있습니다.
다음 3편에서는 ChatGPT처럼 깔끔한 웹 브라우저 채팅 화면(WebUI)을 붙여 마우스로 편리하게 대화하는 방법과, 파이썬(Python) 및 REST API로 내 업무 자동화 스크립트에 Ollama를 연결하는 실전 활용법을 다뤄보겠습니다.
🔗 연재 시리즈 바로가기
| 이전 단계 | 다음 단계 |
|---|---|
| ⬅️ 1편. Ollama 개념 및 특징 총정리 | 3편. Ollama 실전 활용법: WebUI & API 연동 ➡️ |
설치 중 오류가 발생하거나 궁금한 점이 있다면 댓글로 남겨주세요!