본문으로 이동

Llm 머신 만들기

lse
172.18.0.1 (토론)님의 2025년 4월 23일 (수) 05:38 판 (→HW 구성)

자체 AI를 만들기 위한 준비 사항

  • 여분의 서버를 이용하여 LLM machine을 만들기 위한 내용입니다.

나만의 AI

오픈소스 AI를 활용한다.

용도

사용 목적은 팀 활요에 맞췌 사용한다.

  1. 딥러닝, 머신러닝
  2. 추론 모델 - 보고서 생성
  3. 코딩 assistant


AI 후보군

오픈 소스 LLM을 사용하며, 다양한 모델 환경과 목적에 맞게 사용

  1. Llima 3.x - 페이스북
  2. Gemma - Google 소형 모델
  3. DeepSeek r1 - 저 resource에 적합

서버 구성

기존의 반납된 서버를 사용한다.

dual booting으로 기존 OS와 서버 내용은 살려두고, linux machine으로 GPU 능력을 최대한 활용한다.

(그러면, 윈도우 개발환경이 좀 그렇지 않나?)

윈도우도 고려할 것.

메인 보드에서 NVLink 지원해야 함. (미지원시 보드 교체)


HW 구성

가장 큰 이슈 사항은 POWER 부분, 1000W 이상 지원해야 함

GPU는 보통 2~3개 - 전원 소모와 발열이 문제임

  • 고려사항

GPU 쿨러 구성, PCI 슬롯 개수, GPU는 짝수 구성? (MAX에 맞추기)

전원 관리, HDD 속도 빠른 것으로 변경 고려.


  • 기타 HW 구성 제안 사항

개인용 PC에서 대형 언어 모델(LLM)을 개발하기 위한 하드웨어 구성을 위한 주요 사항을 안내해 드리겠습니다. 특히, Nvidia GPU를 사용할 때 고려해야 할 요소들을 중점적으로 설명하겠습니다.

      1. 1. **CPU:**

- **고성능 다중 코어 프로세서**: AMD Ryzen 9 또는 Intel Core i9 시리즈를 추천합니다. 다중 코어는 학습 및 추론 작업의 병렬 처리를 지원합니다.

      1. 2. **GPU:**

- **Nvidia 모델**: AI 및 기계 학습에 최적화된 GPU가 필요합니다. RTX 3080, RTX 3090, 또는 최신 RTX 40 시리즈를 고려해보시면 좋습니다. 데이터 처리를 위한 CUDA 코어와 메모리가 많은 모델을 선택하세요. - **GPU 다중 구성 가능성**: PCI 슬롯 5개가 있다면 최대 5개의 GPU를 설치할 수 있지만, 실제로는 전력 소비와 발열 관리가 가능합니다. 보통 2~3개의 GPU만 사용하는 것이 일반적인 구성이며, 각 GPU 간의 연결을 위해 NVLink를 지원하는 모델을 선택하세요.

      1. 3. **RAM:**

- **고용량 메모리**: 최소 32GB, 가능하면 64GB 이상의 RAM을 권장합니다. LLM 개발 시 많은 메모리를 필요로 할 수 있습니다.

      1. 4. **저장 장치:**

- **고속 저장소**: NVMe SSD를 기본으로 사용하고, 데이터를 저장하고 빠르게 접근할 수 있는 용량이 큰 드라이브가 필요합니다. 최소 1TB 이상, 더 많은 데이터를 다룰 경우 추가적인 HDD도 고려하세요.

      1. 5. **전원 공급 장치(PSU):**

- **고출력 전력 공급 장치**: GPU가 각기 많은 전력을 소모하므로, 1000W 이상의 고효율 PSU를 필요로 합니다. 다수의 GPU 사용 시 이러한 구성은 필수입니다.

      1. 6. **메인보드:**

- **멀티 GPU 지원 메인보드**: PCIe x16 슬롯이 여러 개 있는 고급 메인보드를 선택하세요. Nvidia의 SLI(지금은 NVLink)에 대응하는 모델인지 확인하세요.

      1. 7. **쿨링 시스템:**

- **효율적인 냉각 시스템**: 많은 열이 발생함으로 고성능 수냉식 쿨러 또는 다수의 팬을 활용한 공랭식 쿨러를 사용하세요.

      1. 8. **케이스:**

- **넓은 내부 공간**: 다수의 GPU를 설치하려면 충분한 내부 공간을 제공하는 케이스가 필요합니다. 열 배출을 위한 좋은 공기 흐름을 가지는 케이스를 선택하세요.

이러한 구성으로 기본적인 LLM 개발 환경을 갖출 수 있습니다. 하지만 특정 요구사항에 따라 더 세밀한 부품 선택이 필요할 수도 있으며, 예산에 따라 우선순위를 조정해야 할 수도 있습니다. 최신 정보는 필요하시면 관련 하드웨어의 리뷰 또는 benchmark 테스트를 참고로 하시면 좋습니다.

HW용어

HW설명 참조

  • PCI 3,4,5

PCI 3 (2010) 8GT/s PCI 4 (2017) 16GT/s PCI 5 (2019) 32GT/s 

보드와 GPU가 모두 지원하는 모델 필요 - RTX60 계열은 아마 PCI5? 나머지는 대부분 PCI 3/4?
최소 권장 사항: PCI4
  • DDR4, DDR5 ?

상관 없고, 용량만이 문제이다. 128GB 128GB를 확보하면(32GB*4) llama.cpp (32GB x 4)

  • M.2 NVMe SSD 내장 스토리지

PCI 3/4에 달려 있음 : PCIe-4.0급의 NVMe SSD

  • CPU

AMD가 좋으나, 그냥 i9 이면 만족하자.

  • 메인보드

발열! - 대응 가능한 놈

  • 케이스 / 파워

파워 용량과 함께, 쿨러 고려 - 수냉식?

1000W 이상이면 안전하다.


참조

AI용 조립PC

집에서 LLIMA 돌리기

원본 주소 "http://tcamp23.synology.me:8899/index.php?title=Llm_머신_만들기&oldid=797"