GPU 카드 선택 시 먼저 VRAM 용량을 확인하세요.
모델 실행 여부는 연산 성능(compute)이 아니라 GPU 메모리 용량에 달려 있습니다: 7B 모델 추론에는 약 16GB, 7B 모델 전체 파라미터 미세조정(fine-tuning)에는 160GB 이상(2장 이상 필요)이, 70B 모델 추론에는 140GB 이상이 필요합니다. GPU 모델을 잘못 선택하면, 아무리 저렴해도 실행되지 않습니다.
비용 절감을 위한 3가지 실무 팁
1. 체크포인트 기반 재개 학습이 가능한 작업은 스팟(spot) 인스턴스를 사용하면 일반적으로 30%~60% 비용 절감 효과가 있습니다. 2. 분 단위 과금 플랫폼은 시간 단위 과금보다 유휴 시간을 줄여 비용을 절약합니다. 3. 먼저 소규모 GPU로 전체 프로세스를 검증한 후, 대규모 GPU로 전체 데이터셋을 실행하세요.