분류 전체보기
-
Data Flow 로 데이터 머지(data merge) 하기NAVER Cloud 2024. 4. 15. 17:49
네이버클라우드에는 22년 Data Catalog 를 시작으로 Data Flow, Data Query 등 데이터 분석 환경 구성 시 기본적으로 필요한 상품들이 추가되고 있다. 데이터 분석 파이프 라인 구성 시 데이터 변환, 정제를 위한 ETL 도구인 Data Flow 를 활용하여 오브젝트 스토리지에 추가된 CSV 파일을 data catalog DB 에 추가하는 테스트를 진행해 보았다. 1. Data Catalog 에 데이터베이스 생성 데이터베이스를 생성하면 오브젝트스토리지 버킷 df-source 에 데이터베이스 이름과 동일한 버킷 생성됨 (datacatalog-customer/customerdb) 2. 생성한 데이터베이스에 source file customers-100.csv 에 대한 테이블 생성 1)테이..
-
[aws summit seoul 2023] LG유플러스 IPTV 서비스, 무중단 클라우드 마이그레이션 이야기AWS 2024. 4. 8. 19:52
#aws summit seoul 2023 에서 발표된 LG유플러스 IPTV 서비스, 무중단 클라우드 마이그레이션 이야기 영상을 보고 정리한 내용입니다. LG 유플러스 사례 유플러스 미디어플랫폼 IPTV, 모바일 TV, 아이들 나라 서비스 플랫폼 + 영상 인프라 크게 두가지로 플랫폼 구성 서비스 플랫폼 일부를 AWS 로 마이그레이션 결정 IPTV 셋탑 500만대 이상 (천만명 이상 / 2인 가족 기준) 2억 request / 일 (2000 TPS) 일 처리 리퀘스트 1억 3천만건 / 일 데이터 변경 발생 건 (DB 변경) 현대화 전략 채택 → Cloud / DevOps / MSA AWS / 메가존 협업 IPTV - K8S 기반 200개 이상의 ci/cd 파이프라인 codebuild 기반 config 파일,..
-
[aws summit seoul 2023] 당신만 모르고 있는 AWS 컨트롤 타워 트렌드AWS 2024. 3. 28. 15:13
#aws summit seoul 2023 에서 발표된 당신만 모르고 있는 AWS 컨트롤 타워 트렌드 영상을 보고 정리한 내용입니다. 22년 기준 국내 클라우드 도입 46%, 글로벌 68% 증가 AI 도입 국내 14%, 글로벌 34% 증가 클라우드 보안침해 사고 증가 불충분한 자격증명 관리 - IAM full 권한으로 부여하지 않았는지? 부적절한 변경 제어 - 컴퓨팅 리소스의 방화벽 규칙 데이터 유출 - 데이터 스토리지 권한이 공개되어 있지 않은지? 보안은 자동화 / 체계화 하는 것이 중요함 해커들이 권한을 획득한 후 바로 공격을 시작하지 않고 리소스를 몇개 생성해 보는 등 권한을 누군가 탈취한 것을 인지하는지 확인한 후에 시작함 부모님 - 컨트롤 타워 마스터 / 최상위 계치 아기 침대 - 아기가 떨어지지..
-
CloudDB for MySQL 백업 파일 오브젝트 스토리지로 내보내기 자동 설정NAVER Cloud 2024. 3. 21. 19:12
CDB MySQL 의 경우 일 백업 시간과 보관 주기를 지정할 수 있으나 보관 주기 이후 백업 데이터 보관을 위한 export to object storage 기능에 대한 스케줄을 콘솔에서 설정할 수 없음 export to object storage 기능을 사용하기 위해서는 cdb mysql 에서 제공하는 api 를 활용하여 사용자가 별도로 설정해야 함 1. exportBackupToObjectStorage api 사용을 위한 준비 https://api.ncloud-docs.com/docs/database-vmysql-exportbackuptoobjectstorage exportBackupToObjectStorage api 실행을 위한 필수 파라미터 fileName (백업 파일 이름) bucketName..
-
[aws summit seoul 2023] Amazon EKS, 중요한 건 꺾이지 않는 안정성AWS 2024. 3. 18. 18:58
#aws summit seoul 2023 에서 발표된 Amazon EKS, 중요한 건 꺾이지 않는 안정성 영상을 보고 정리한 내용입니다. EKS - 4개 버전 제공 AWS 가 컨트롤 플레인 운영 책임을 가져간다는게 장점 워커노드 타입 - 셀프 매니지드 EC2, 매니지드, Fargate (서버리스) 안정성이란 ? 고가용성 replication 을 기본으로 운영하다가 장애 발생 시 서비스 제외 유저 입장에서 고장 인지를 할 수 없도록 함 재해복구 천재지변 등 예측하기 어려운 극단적 상황 빠른 복구 , 데이터 손실 최소화가 목표 EKS 안정성이란? etcd, node, deploy, svc, vol, pod 등 모든 컴포넌트를 안정적으로 운영 EKS 책임 공유 모델 인프라 (H/W), 컨트롤 플레인 (API ..
-
[aws summit seoul 2023] 12가지 디자인 패턴으로 알아보는 클라우드 네이티브 마이크로서비스 아키텍처AWS 2024. 3. 15. 17:08
#aws summit seoul 2023 에서 발표된 12가지 디자인 패턴으로 알아보는 클라우드 네이티브 마이크로서비스 아키텍처 영상을 보고 정리한 내용입니다. 클라우드 네이티브란 ? 현대적이고 역동적인 클라우드 환경에서 확장 가능한 애플리케이션을 개발하고 운영 탄력적이고 관리 가능하며 관찰 가능한 느슨하게 결합된 시스템 자동화를 통해 빈번하면서도 예측 가능한 변경을 수행 Build and Architect -> Everything as Code -> Continuous Delivery -> Observability -> Modern Data Management -> DevSecOps -> Continuous Deployment -> Everything as a Service -> Cloud Operat..
-
[aws summit seoul 2023] 삼성전자/쿠팡의 대규모 트래픽 처리를 위한 클라우드 네이티브 데이터베이스 활용AWS 2024. 3. 4. 21:04
aws summit seoul 2023 에서 발표된 삼성전자/쿠팡의 대규모 트래픽 처리를 위한 클라우드 네이티브 데이터베이스 활용 영상을 보고 정리한 내용입니다. auroradba, elastic cache 를 활용한 사례 현대 애플리케이션의 특징 시스템이 매우 복잡하고 사용자도 많다. 애플리케이션과 스토리지가 디커플링 되어 있음 rest api 로만 처리하지 않고 graphQL이라던가 하나의 엔드포인트로 여러 데이터베이스의 접근 권한을 별도로 가져갈 수 있음 목적에 맞는 데이터베이스 데이터베이스 선택 시 고려 요소 애플리케이션 워크로드 데이터의 형태 애플리케이션 성능 요구사항 운영 부담 삼성전자 사례 국내 이동통신 3사와 함께 런칭 (SMS, LMS) 인터넷망 보급하면서 RCS 표준에 따라 설계/구현 ..
-
네이버클라우드 CloudDB for MySQL Slave LB 별 설정 차이NAVER Cloud 2024. 2. 2. 19:13
네이버클라우드에서는 CloudDB(이하 CDB) 라는 PaaS 데이터베이스 상품을 제공한다. CDB MySQL 에서 읽기 부하 분산을 위해 slave 를 최대 10개까지 확장할 수 있는데, slave vm 별 dns 를 제공하지만 일반적으로는 slave 앞에 LB 를 구성하여 읽기 요청에 대한 분기를 처리한다. 네이버클라우드에서 제공하는 LB 중 ALB는 http, https 만 처리하므로 slave vm 에는 NLB 또는 NPLB 를 사용해야 한다. NLB 와 NPLB 는 모두 TCP 트래픽을 처리하지만 트래픽 처리 방식에 조금 차이가 있으므로 slave LB 로 사용할 때 설정해줘야 하는 부분들이 다르다. 네이버클라우드 ALB, NLB, NPLB 차이점 1. NLB 를 slave LB 로 사용할 경우..