Deepseek 편집하기 (부분)

==참고: 설지 관련 사항==
설치 관련 기타 사항에 대한 설명

===Windows에서 httpd 관련===
윈도우에서 기본으로 제공되는 것은 IIS 서버이다. 이것은 apache와 충돌이 되는데, 설치시 주의한다.



===IIS 서버 관련===
apache를 사용하던지, IIS를 사용하던지 1개만 사용해야 한다. 혹시 다른 어플리케이션에서 나도 모르게 IIS를 사용하는 경우에는 IIS를 내리고, apache를 변경하던지 해야 한다. 대부분의 linux machine은 apache를 사용하므로 주의.

====hosts 파일====
특히, '''C:\Windows\System32\drivers\etc'''의 hosts 파일에서 
<pre>
# localhost name resolution is handled within DNS itself.
	127.0.0.1       localhost
	::1             localhost
</pre>
으로, 127.0.0.1 (localhost)가 열려 있는 경우, 윈도우 부팅 중에 자동으로 IIS 서비스가 기동 되므로 이를 주석처리 한다. (default는 주석처리 된 것)

* default 상태
<pre>
# localhost name resolution is handled within DNS itself.
#	127.0.0.1       localhost
#	::1             localhost
</pre>

====강제 기동 정지====
* 명령 프롬프트 사용

 관리자 권한으로 명령 프롬프트를 실행합니다.

IIS 시작:
 net start w3svc

IIS 중지:
 net stop w3svc

IIS 관리자 사용
 'Windows 키 + R'을 눌러 실행 창을 엽니다.
 'inetmgr'을 입력하여 IIS 관리자를 실행합니다.
 좌측의 '사이트'를 선택한 후, 우측의 '시작' 또는 '중지' 버튼을 클릭합니다.

* PowerShell 사용
PowerShell을 관리자 권한으로 실행한 후 다음 명령어를 사용합니다:

IIS 시작: 

powershell
 Start-Service W3SVC
IIS 중지:

powershell
 Stop-Service W3SVC

* '''iisreset 명령어 사용'''
IIS reset 명령어를 통해서, 관련 서비스를 모두 중지 시킬 수 있다. 

 iisreset /stop

명령어 설명

[[file:web_iis_reset.jpg|600px]]


* 서비스 관리 콘솔 사용
 'Windows 키 + R'을 누르고 'services.msc'를 입력하여 서비스 관리 콘솔을 엽니다.
 'World Wide Web Publishing Service'를 찾아 우클릭 후 '시작' 또는 '중지'를 선택합니다.

====netstat 점검 명령어====

'''netstat -an '''

포트번호 순서로 기동 중인지 확인 가능

* netstat 옵션확인, netstat -?
<pre>
프로토콜 통계와 현재 TCP/IP 네트워크 연결을 표시합니다.

NETSTAT [-a] [-b] [-e] [-f] [-i] [-n] [-o] [-p proto] [-r] [-s] [-t] [-x] [-y] [interval]

  -a            모든 연결 및 수신 대기 포트를 표시합니다.
  -b            각 연결 또는 수신 대기 포트 생성과 관련된 실행 파일을
                표시합니다. 잘 알려진 실행 파일이 여러 독립 구성 요소를
                호스팅할 경우 연결 또는 수신 대기 포트 생성과 관련된
                구성 요소의 시퀀스가 표시됩니다.
                이러한 경우에는 실행 파일 이름이 아래 [] 안에
                표시되고 위에는 TCP/IP에 도달할 때까지
                호출된 구성 요소가 표시됩니다. 이 옵션은 시간이
                오래 걸릴 수 있으며 사용 권한이 없으면
                실패합니다.
  -e            이더넷 통계를 표시합니다. 이 옵션은 -s 옵션과 함께 사용할 수
                있습니다.
  -f            외부 주소의 FQDN(정규화된 도메인 이름)을
 표시합니다.
  -i            TCP 연결이 현재 상태로 지속된 시간을 표시합니다.
  -n            주소 및 포트 번호를 숫자 형식으로 표시합니다.
  -o            각 연결의 소유자 프로세스 ID를 표시합니다.
  -p proto      proto로 지정한 프로토콜의 연결을 표시합니다. proto는
                TCP, UDP, TCPv6 또는 UDPv6 중 하나입니다. -s 옵션과 함께
                사용하여 프로토콜별 통계를 표시할 경우 proto는 IP, IPv6, ICMP,
                ICMPv6, TCP, TCPv6, UDP 또는 UDPv6 중 하나입니다.
  -q            모든 연결, 수신 대기 포트 및 바인딩된 비수신 대기 TCP
                포트를 표시합니다. 바인딩된 비수신 대기 포트는 활성 연결과 연결되거나
                연결되지 않을 수도 있습니다.
  -r            라우팅 테이블을 표시합니다.
  -s            프로토콜별 통계를 표시합니다. 기본적으로 IP, IPv6, ICMP,
                ICMPv6, TCP, TCPv6, UDP 및 UDPv6에 대한 통계를 표시합니다.
                -p 옵션을 사용하여 기본값의 일부 집합에 대한 통계만 지정할 수 있습니다.
  -t            현재 연결 오프로드 상태를 표시합니다.
  -x            NetworkDirect 연결, 수신기 및 공유 끝점을
                표시합니다.
  -y            모든 연결에 대한 TCP 연결 템플릿을 표시합니다.
                다른 옵션과 함께 사용할 수 없습니다.
  interval      다음 화면으로 이동하기 전에 지정한 시간(초) 동안 선택한 통계를 다시 표시합니다.
                통계 다시 표시를 중지하려면 CTRL+C를 누르세요.
                이 값을 생략하면 현재 구성 정보가
                 한 번만 출력됩니다.
</pre>

=== PowerShell 명령어 모음===
Power shell로 콘솔 작업을 하는 경우 사용하는 명령어

* 프로세스 상태: ps aux | grep "ollama"
이와 동일한 powershell 명령어는 다음과 같다.

 '''Get-Process | Where-Object { $_.ProcessName -like "*ollama*" } | Format-Table Id, ProcessName, CPU'''
 변형으로,
 '''Get-Process | Where-Object { $_.ProcessName -like "*ollama*" }'''


[[file:ps_01.jpg|800px]]

===GPU 사용율 관련===
Ollama에서 GPU 사용 여부를 확인하고 GPU를 활용하도록 설정하는 방법은 다음과 같습니다:

*GPU 사용 여부 확인
 ollama ps 명령어 사용
ollama ps 명령어를 실행하면 현재 실행 중인 모델의 프로세서 사용 정보를 확인할 수 있습니다1. 예를 들어:

 $ ollama ps
 NAME            ID           SIZE  PROCESSOR  UNTIL
 gemma2:2b       8ccf136fdd52 3.6 GB 100% GPU  4 minutes from now

이 출력에서 "PROCESSOR" 열에 GPU 사용 비율이 표시됩니다1.

[[file:llm_deepseek_r1_03_1.jpg|700px]]

실제 콘솔화면

* nvidia-smi 명령어 사용
NVIDIA GPU를 사용하는 경우, nvidia-smi 명령어를 실행하여 GPU 사용 상태를 확인할 수 있습니다1. Ollama 실행 중 다른 터미널에서 이 명령어를 실행하면 ollama_server.exe 프로세스가 GPU를 사용하고 있는지 확인할 수 있습니다.

[[file:llm_deepseek_r1_03.jpg|700px]]

* GPU 사용 설정 방법
CUDA 드라이버 설치

NVIDIA GPU를 사용하는 경우, CUDA 드라이버를 설치해야 합니다20. NVIDIA 공식 웹사이트에서 운영 체제에 맞는 CUDA Toolkit을 다운로드하여 설치하세요.

* 환경 변수 설정
OLLAMA_CUDA=1 환경 변수를 설정하여 GPU 가속을 활성화할 수 있습니다4. 터미널에서 다음 명령어를 실행하세요:

 export OLLAMA_CUDA=1

적절한 하드웨어 사용
GPU 사용을 위해서는 충분한 VRAM이 필요합니다. 예를 들어, 작은 모델에는 최소 8GB의 VRAM이, 큰 모델에는 16GB 이상의 VRAM이 필요할 수 있습니다.

* 모델 실행 시 자동 감지
Ollama는 일반적으로 사용 가능한 GPU를 자동으로 감지하고 사용합니다. 모델을 실행할 때 별도의 설정 없이 GPU를 활용할 수 있습니다.

GPU를 사용할 수 없는 경우, Ollama는 자동으로 CPU를 사용하여 모델을 실행합니다. 그러나 CPU만으로 실행할 경우 처리 속도가 현저히 느려질 수 있으므로, 가능하다면 GPU 사용을 권장합니다.



[[분류:AI]]