AI 모델 개발은 GPU 로만 가능한가? (엔비디아는 안 망하죠??)

chatgpt 가 출시된 이후로 엔비디아의 주가가 어어어어엄청 많이 올랐다. 

물론 deepseek 오픈소스 공개 이후 조금 주춤한 상태지만 23년에 구매해서 아직까지 보유하고 있다면 상당히 높은 수익률을 올렸을 것이다. deepseek 로 고성능 GPU 가 아니더라도 AI 모델 개발이 가능하다는 걸 어느정도 확인했는데 앞으로도 엔비디아의 GPU 는 계속 수요가 있는 것일까?

 

AI 모델 개발에는 고성능 CPU(Intel, AMD)도 사용할 수 있지만, GPU(NVIDIA, AMD, Intel 등)가 훨씬 더 유리한 경우가 많다.

	CPU (중앙처리장치)	GPU (그래픽처리장치)
장점	• 높은 단일 코어 성능 → 복잡한 논리 연산과 제어 작업에 강함 • 일반적인 소프트웨어 실행에 최적화 → AI 모델 개발 중 코드 작성, 데이터 전처리, 모델 배포 등에 유리 • 다양한 최적화 기술 지원 → 인텔의 AVX-512, AMD의 Zen 4 V-Cache 등이 AI 연산 성능을 일부 개선	• 수천 개의 코어(병렬 연산에 최적화) → 행렬 연산(Matrix Computation)과 벡터 연산(Vector Computation)에 강함 • 딥러닝 프레임워크(TensorFlow, PyTorch) 최적화 → CUDA(NVIDIA) 및 ROCm(AMD) 지원 • 대규모 모델 학습 및 추론 속도 향상
단점	• 병렬 연산 성능이 낮음 → AI 모델 학습(Training) 시 비효율적 • 딥러닝 연산 속도가 GPU보다 느림	• 가격이 비싸고 전력 소모가 큼 • CPU 대비 단일 코어 성능이 낮음
사용사례	• 데이터 전처리, 추론(Inference) 속도 개선 • 소규모 모델 학습 (ex. CPU에 내장된 AI 가속 기술 활용) • Edge AI, 클라우드 배포	• 딥러닝 모델 학습 (Training) • 대량의 데이터 처리 • AI 연구 및 고성능 컴퓨팅

 

AMD & 인텔 CPU를 AI 개발에 활용할 수 있을까?

소형 모델이나 간단한 신경망(MLP, 로지스틱 회귀 등)은 CPU만으로도 학습 가능하지만 대규모 모델(예: GPT, Stable Diffusion, BERT 등)은 GPU가 필수적이다.

 

CPU가 AI 학습에 유용한 경우 

특정 AI 가속 기능이 있는 CPU 사용 시

• 인텔: AVX-512, DL Boost (Xeon 프로세서)

• AMD: VNNI(Vector Neural Network Instructions) 지원

• 예를 들어, 인텔의 Xeon Sapphire Rapids CPU는 내장 AI 가속 기능 덕분에 일부 추론 성능이 GPU급으로 향상됨.

 

AI 추론(Inference) 작업

• 학습이 아닌 추론(실제 모델 실행) 단계에서는 CPU도 사용 가능

• 예를 들어, Edge AI(엣지 디바이스)에서는 전력 소모를 줄이기 위해 CPU 기반 AI 가속을 활용하기도 함.

 

AMD GPU는 AI 모델 개발에 적합할까?

AMD GPU도 AI 모델 개발에 사용 가능하지만, NVIDIA보다 생태계가 약하다.

• AMD는 ROCm(CUDA 대체 프레임워크)을 개발했으나, 아직 NVIDIA CUDA에 비해 지원이 제한적

• PyTorch, TensorFlow 등 대부분의 딥러닝 프레임워크가 NVIDIA GPU(CUDA)를 우선 지원.

• AI 연구기관과 기업들이 대부분 NVIDIA GPU를 표준으로 사용하고 있음.

 

AMD GPU가 AI 개발에 유리한 경우

• 최근 AMD Instinct MI250X, MI300 같은 고성능 AI 가속 GPU 출시

• 클라우드(예: AWS, Microsoft Azure)에서 일부 AI 학습용 AMD GPU 제공

• 비용이 NVIDIA보다 저렴한 경우가 많아, 예산이 부족한 연구자들에게 유리

 

DeepSeek 및 저사양 GPU 지원 AI 모델의 특징

최근 출시된 DeepSeek, LLaMA, Gemma, Phi 같은 경량화 AI 모델들은 저사양 GPU에서도 실행이 가능하도록 최적화되었다. 이런 모델이 가능해진 이유로는 .. 

 

(1) 양자화(Quantization) 기술 적용

• AI 모델이 사용하는 수치 연산(16-bit, 32-bit float)을 8-bit 또는 4-bit 정수 연산으로 변환하여 메모리 사용량과 연산량을 줄임

• 예를 들어, LLaMA2 7B 모델을 4-bit 양자화하면 8GB VRAM만 있어도 실행 가능

• 대표적인 양자화 기술: GPTQ, AWQ, BitsAndBytes

 

2) 모델 구조 최적화

• 기존 Transformer 구조를 개선하여 메모리 사용을 줄이고, 연산 속도를 높이는 방법

• 예) Phi-2 모델은 표현력은 유지하면서도 모델 크기를 줄인 최적화 모델

• FlashAttention, LoRA 같은 기법을 사용하여 저사양 환경에서도 실행 가능하도록 설계

 

(3) CPU 및 저성능 GPU에서도 최적화된 실행 지원

• DeepSeek, Gemma 같은 모델들은 CUDA뿐만 아니라 Intel AVX512, AMD ROCm, Apple Metal 등 다양한 환경에서 최적화

• 저사양 GPU(예: RTX 3060 12GB, Mac M1/M2)에서도 실행 가능

 

이런 기술 덕분에, 저사양 GPU 또는 CPU에서도 AI 모델을 실행할 수 있게 되었다. 

 

그럼에도 불구하고 여전히 고성능 GPU가 필요한 이유

 

(1) 대형 AI 모델 학습(training)은 여전히 고성능 GPU가 필수

• 모델을 학습(Training)하는 과정은 엄청난 연산량이 필요함

• 양자화된 모델은 학습 후 추론(Inference) 속도를 줄이는 기법이지, 학습 자체를 저사양에서 하도록 도와주지는 않음

• GPT-4, Gemini, Claude 같은 대형 모델은 수백~수천 개의 A100, H100 같은 고성능 GPU를 사용해 학습함

 

(2) 저사양 모델은 특정 용도에 한정됨

• 저사양 AI 모델(DeepSeek, Phi 등)은 크기가 작아 일반적인 대화형 챗봇 용도에는 적합하지만, 고급 기능(코드 생성, 창작 등)은 부족

• 예를 들어, GPT-4, Gemini 1.5 같은 모델은 멀티모달 기능(이미지+텍스트) 지원, 논리적 사고 능력 향상 등이 가능하지만, 작은 모델들은 한계가 있음

 

(3) 고성능 GPU 없이 저사양 모델도 원활하게 실행하기 어려움

• 저사양 GPU용으로 최적화된 모델이라도, 여전히 GPU 성능이 부족하면 실행 속도가 느려짐

• 예를 들어, RTX 3060 12GB는 LLaMA2 7B 4-bit 모델을 실행할 수 있지만, 속도는 약 5~10 tokens/sec

• 반면, A100 GPU에서는 100 tokens/sec 이상 가능

• 실시간 AI 응답을 요구하는 경우, 여전히 고성능 GPU가

 

 

당분간은 엔비디아의 GPU 의 수요는 지속될 것 같다.

하지만 모델 경량화 기술이 계속 발전하면서 저사양 GPU에서도 점점 더 강력한 AI 모델을 실행할 수 있을 것으로 기대한다.