[aws summit seoul 2023] 불확실성 시대의 대응, HPC Cloud Bursting 사례

#aws summit seoul 2023 에서 발표된 불확실성 시대의 대응, HPC Cloud Bursting 사례 영상을 보고 정리한 내용입니다.

 

• 글로벌 기술 패권, 공급망 불안, 인플레이션에 가장 영향을 많이 받는 산업이 반도체 산업

• 차량용 AP / IOT 제조 업체 - 네덜란드 NXP 반도체 회사 중 하나
• 반도체 설계 워크로드(EDA)를 AWS 로 마이그레이션 함 
  • 마이그레이션 전 4개의 데이터센터에 동일한 EDA 워크로드를 돌릴 수 있는 HPC 구성되어 있었음 → EDA 워크로드 표준화

• 로컬 데이터센터에 여유가 있으면 로컬 데이터센터에서 Job 처리, 부족할 경우 remote datacenter 로 포워딩 
• remote datacenter 에도 부족하다면 aws 로 포워딩 

• cloud migration 할 때 인스턴스에 대한 성능 중요
• AWS 에서 제공하는 인스턴스(intel)의 성능이 IDC 보유 서버보다 좋음 → aws 제공하는 클라우드 전용 플래티넘 등급 CPU 제공하기 때문에 성능 좋음 

• 인프라 민첩성/유연성 장점
  • 대규모 투자 발생, 최신의 CPU 출시에 따라 짧게는 2년마다 업그레이드 작업 필요 
• 인텔, AMD, graviton 등 다양한 cpu 사용 가능 

---

 

HPC on AWS 솔루션

Amazon 자체 생산 반도체

• 컴퓨팅에 필요한 모든 구성 요소를 직접 설계함 → AWS 가 HPC 를 가장 잘 이해하고 활용하는 기업이다. 
  • Nitor system - ec2 기본 
  • graviton - arm 기반 (computing 집약적) , DDR5 memory 제공
  • inferntia, trainium - 머신러닝 전용

• NICE DCV
  • 고성능 원격 디스플레이 프로토콜
  • 다양한 네트워크 조건에서 클라우드 또는 데이터 센터에서 모든 디바이스로 원격 데스크톱 및 애플리케이션 스트리밍을 안전하게 제공

• 노드 간 노드 고속 네트워크를 Elastic Fabric Adapter 제공
• 제조산업 전반 필요한 데이터 공유를 위한 협업 환경 모델 - secure chamber

• 반도체 설계 흐름에 따라 
  • front-end design - cpu/gpu 집약적
  • back-end design - 시뮬레이션, verification 필요 / 메모리 집약적
• aws 는 400개 이상의 인스턴스 타입 제공

• cloud formation 의 템플릿 형태로 제공 
• 배포 후 30분이면 HPC on AWS 환경 구성 가능 

반도체 제품 출시  시장 흐름 

각 단계의 출력이 다음 단계의 입력으로 동작 → 산업 간 원활한 데이터 공유 필요 → chamber 형식의 아키텍처 제공

• vpc 기반으로 Chamber 를 만들고, collaboration chamber를 통해 datacenter, foundry, 제조 공장 간 데이터 공유 환경 구축 가능 
• iot, ai/ml, analytics 서비스를 통해 산업 전반에 걸친 협업 모델을 만들 수 있음 

 

---

삼성전자 HPC Bursting 사례 

• cloud bursting 에 필요한 워크로드를 3년정도 준비함
• 메모리 사이즈 별, single/multi thread 별, Network latency 등 다양하게 테스트 진행 
• 인스턴스 가상화로 인한 성능 저하는 없없음 → BM 과 비슷한 수준의 성능을 확인함 

• AWS system manager, cloud watch 등 인스턴스 관리에 필요한 관리 상품은 사용할 수 없었음 (삼성에서 알아서 함)

23년에는 Bursting 물량에 대해서만 AWS 사용중이나 점차 확대하려고 인스턴스 검증을 지속적으로 진행하고 있음

EDA 워크로드 필요한 경우 1~2일 정도면 인스턴스 환경 프로비저닝, 테스트 가능 → IaC 활용해서 자동화 구성 (ec2 fleet 활용)

• EC2 Fleet - 인스턴스 유형, AZ, 온디맨드, RI, Spot 등 구메모델을 정의하여 대량의 인스턴스를 프로비저닝할 수 있는 기능