2025년 4월 23일 (수) 05:23 판

자체 AI를 만들기 위한 준비 사항

여분의 서버를 이용하여 LLM machine을 만들기 위한 내용입니다.

나만의 AI

오픈소스 AI를 활용한다.

용도

사용 목적은 팀 활요에 맞췌 사용한다.

딥러닝, 머신러닝
추론 모델 - 보고서 생성
코딩 assistant

AI 후보군

오픈 소스 LLM을 사용하며, 다양한 모델 환경과 목적에 맞게 사용

Llima 3.x - 페이스북
Gemma - Google 소형 모델
DeepSeek r1 - 저 resource에 적합

서버 구성

기존의 반납된 서버를 사용한다.

dual booting으로 기존 OS와 서버 내용은 살려두고, linux machine으로 GPU 능력을 최대한 활용한다.

(그러면, 윈도우 개발환경이 좀 그렇지 않나?)

윈도우도 고려할 것.

메인 보드에서 NVLink 지원해야 함. (미지원시 보드 교체)

HW 구성

가장 큰 이슈 사항은 POWER 부분, 1000W 이상 지원해야 함

GPU는 보통 2~3개 - 전원 소모와 발열이 문제임

고려사항

GPU 쿨러 구성, PCI 슬롯 개수, GPU는 짝수 구성? (MAX에 맞추기)

전원 관리, HDD 속도 빠른 것으로 변경 고려.

기타 HW 구성 제안 사항

개인용 PC에서 대형 언어 모델(LLM)을 개발하기 위한 하드웨어 구성을 위한 주요 사항을 안내해 드리겠습니다. 특히, Nvidia GPU를 사용할 때 고려해야 할 요소들을 중점적으로 설명하겠습니다.

1. 1. 1. **CPU:**

- **고성능 다중 코어 프로세서**: AMD Ryzen 9 또는 Intel Core i9 시리즈를 추천합니다. 다중 코어는 학습 및 추론 작업의 병렬 처리를 지원합니다.

1. 1. 2. **GPU:**

- **Nvidia 모델**: AI 및 기계 학습에 최적화된 GPU가 필요합니다. RTX 3080, RTX 3090, 또는 최신 RTX 40 시리즈를 고려해보시면 좋습니다. 데이터 처리를 위한 CUDA 코어와 메모리가 많은 모델을 선택하세요. - **GPU 다중 구성 가능성**: PCI 슬롯 5개가 있다면 최대 5개의 GPU를 설치할 수 있지만, 실제로는 전력 소비와 발열 관리가 가능합니다. 보통 2~3개의 GPU만 사용하는 것이 일반적인 구성이며, 각 GPU 간의 연결을 위해 NVLink를 지원하는 모델을 선택하세요.

1. 1. 3. **RAM:**

- **고용량 메모리**: 최소 32GB, 가능하면 64GB 이상의 RAM을 권장합니다. LLM 개발 시 많은 메모리를 필요로 할 수 있습니다.

1. 1. 4. **저장 장치:**

- **고속 저장소**: NVMe SSD를 기본으로 사용하고, 데이터를 저장하고 빠르게 접근할 수 있는 용량이 큰 드라이브가 필요합니다. 최소 1TB 이상, 더 많은 데이터를 다룰 경우 추가적인 HDD도 고려하세요.

1. 1. 5. **전원 공급 장치(PSU):**

- **고출력 전력 공급 장치**: GPU가 각기 많은 전력을 소모하므로, 1000W 이상의 고효율 PSU를 필요로 합니다. 다수의 GPU 사용 시 이러한 구성은 필수입니다.

1. 1. 6. **메인보드:**

- **멀티 GPU 지원 메인보드**: PCIe x16 슬롯이 여러 개 있는 고급 메인보드를 선택하세요. Nvidia의 SLI(지금은 NVLink)에 대응하는 모델인지 확인하세요.

1. 1. 7. **쿨링 시스템:**

- **효율적인 냉각 시스템**: 많은 열이 발생함으로 고성능 수냉식 쿨러 또는 다수의 팬을 활용한 공랭식 쿨러를 사용하세요.

1. 1. 8. **케이스:**

- **넓은 내부 공간**: 다수의 GPU를 설치하려면 충분한 내부 공간을 제공하는 케이스가 필요합니다. 열 배출을 위한 좋은 공기 흐름을 가지는 케이스를 선택하세요.

이러한 구성으로 기본적인 LLM 개발 환경을 갖출 수 있습니다. 하지만 특정 요구사항에 따라 더 세밀한 부품 선택이 필요할 수도 있으며, 예산에 따라 우선순위를 조정해야 할 수도 있습니다. 최신 정보는 필요하시면 관련 하드웨어의 리뷰 또는 benchmark 테스트를 참고로 하시면 좋습니다.

@@ 30번째 줄: / 30번째 줄: @@
 윈도우도 고려할 것.
+메인 보드에서 NVLink 지원해야 함. (미지원시 보드 교체)
-==HW 구성==
+===HW 구성===
 '''가장 큰 이슈 사항은 POWER 부분, 1000W 이상 지원해야 함'''