NCP
-
Data Flow 로 데이터 머지(data merge) 하기NAVER Cloud 2024. 4. 15. 17:49
네이버클라우드에는 22년 Data Catalog 를 시작으로 Data Flow, Data Query 등 데이터 분석 환경 구성 시 기본적으로 필요한 상품들이 추가되고 있다. 데이터 분석 파이프 라인 구성 시 데이터 변환, 정제를 위한 ETL 도구인 Data Flow 를 활용하여 오브젝트 스토리지에 추가된 CSV 파일을 data catalog DB 에 추가하는 테스트를 진행해 보았다. 1. Data Catalog 에 데이터베이스 생성 데이터베이스를 생성하면 오브젝트스토리지 버킷 df-source 에 데이터베이스 이름과 동일한 버킷 생성됨 (datacatalog-customer/customerdb) 2. 생성한 데이터베이스에 source file customers-100.csv 에 대한 테이블 생성 1)테이..
-
CloudDB for MySQL 백업 파일 오브젝트 스토리지로 내보내기 자동 설정NAVER Cloud 2024. 3. 21. 19:12
CDB MySQL 의 경우 일 백업 시간과 보관 주기를 지정할 수 있으나 보관 주기 이후 백업 데이터 보관을 위한 export to object storage 기능에 대한 스케줄을 콘솔에서 설정할 수 없음 export to object storage 기능을 사용하기 위해서는 cdb mysql 에서 제공하는 api 를 활용하여 사용자가 별도로 설정해야 함 1. exportBackupToObjectStorage api 사용을 위한 준비 https://api.ncloud-docs.com/docs/database-vmysql-exportbackuptoobjectstorage exportBackupToObjectStorage api 실행을 위한 필수 파라미터 fileName (백업 파일 이름) bucketName..
-
네이버클라우드 ALB 에 Path Pattern 분리NAVER Cloud 2023. 12. 11. 14:01
ALB 는 하나만 사용하고 /site1 , /site2, /site3 와 같은 형태로 Path Pattern 을 분리하는 방법 1. apache port 는 80만 사용하고 Path 별 Document Root 디렉토리를 분리한다. /etc/httpd/conf/httpd.conf # 아래 내용 추가 Alias /site1 "/var/www/html/site1" Options Indexes FollowSymLinks AllowOverride None Require all granted Alias /site2 "/var/www/html/site2" Options Indexes FollowSymLinks AllowOverride None Require all granted Alias /site3 "/var/w..
-
NKS 에서 GPU 사용 job 실행해보기NAVER Cloud 2023. 7. 25. 15:29
# kct2 get node --show-labels NAME STATUS ROLES AGE VERSION LABELS gpu-w-33q5 Ready 3d17h v1.25.8 beta.kubernetes.io/arch=amd64,beta.kubernetes.io/instance-type=SVR.VSVR.GPU.T4.G002.C016.M080.NET.SSD.B050.G001,beta.kubernetes.io/os=linux,failure-domain.beta.kubernetes.io/region=1,failure-domain.beta.kubernetes.io/zone=3,kubernetes.io/arch=amd64,kubernetes.io/hostname=gpu-w-33q5,kubernetes.io/os=..
-
네이버클라우드 Kubernetes (NKS) subaccount iam 인증 kubeconfig 생성NAVER Cloud 2023. 2. 2. 20:20
네이버클라우드에서 Kubernetes 서비스를 sub account 로 접근해야 하는 경우 ncp-iam-authenticator 를 통해 kubeconfig 파일을 생성하고, sub account 에 대한 Configmap 을 생성해 주어야 한다. kubeconfig.yaml 파일만 가지고 kubectl 명령을 수행할 수 없고, kubectl 명령어를 수행하는 PC 나 서버가 아래 조건을 충족해야 한다. ncp-iam-authenticator 설치 sub account 의 Access/Secret Key 를 .ncloud/configure 파일에 등록 sub account 사용자에 대한 Configmap 생성 kubectl 은 당연히 설치되어 있어야 함 1. ncp-iam-authenticator 설치..
-
ALB 사용 환경에서 특정 IP 만 웹 접근하도록 설정NAVER Cloud 2022. 1. 14. 19:40
네이버클라우드의 ALB 에는 ACG 로 인입되는 트래픽을 제어할 수 없다. NACL을 이용해서 LB Subnet 단위로 제어할 수 있지만, LB 별로 제어해야 하는 IP 가 다를 경우 이 방법을 사용하기 어렵다. LB 를 통해 서버로 트래픽이 들어올 때는 LB IP 를 달고 들어오기 때문에 서버의 ACG로도 source IP 를 제어할 수 없다. 이런 경우 ALB 에서는 모든 트래픽을 받고 서버에 설치한 apache, nginx 와 같은 웹서버에서 접근할 수 있는 IP 를 제어해야 한다. ALB 는 생성이 되었다는 가정하에 CentOS apache 기준으로 설정하는 방법이다. 1. X-Forwarded-For 설정 먼저 서버로 들어오는 IP가 ALB IP 가 아닌 source IP 를 헤더에 가지고 들어..
-
VM 의 NIC 별 통신 트래픽 확인하기 - flow log 설정NAVER Cloud 2022. 1. 10. 15:19
네이버클라우드 사용 시 VM의 트래픽 제어를 위해 ACG를 설정하는데, 어디로부터 온 트래픽이 내 VM 과 통신이 허용되었는지, 거부되었는지 확인이 필요할때가 있다. 이런 경우 flow log 를 설정하면 nic 별로 트래픽의 allow/deny 여부를 확인할 수 있다. 1. Flow log 를 저장할 Object Storage Bucket 생성 네이버클라우드 콘솔에서 Products and Services -> Server -> Object Storage 로 이동하여 flow log 를 저장할 bucket 을 생성한다. 2. Flow log 설정하기 네이버클라우드 콘솔에서 Products and Services -> Server -> Network Interface 이동하여 적용할 서버를 선택 후 Fl..
-
ALB Ingress 로 subdomain 분기 설정NAVER Cloud 2021. 12. 20. 18:45
ALB를 사용해서 abc.com/path1, /path2 와 같은 분기도 많이 처리하지만, subdomain 분기도 사용할 수 있기에 테스트를 진행해 보았다. 전체적으로 아래와 같은 구성이고, alb annotation을 사용해서 더 다양한 방식으로 분기할 수 있다. 1. alb ingress controller 설치 alb ingress 를 사용하기 위해서는 네이버클라우드의 ALB 를 생성할 수 있는 alb ingress controller 를 설치해야 한다. 네이버클라우드 가이드 문서에 나와있는대로 설치한다. (https://guide.ncloud-docs.com/docs/k8s-k8suse-albingress) kubectl --kubeconfig=$KUBE_CONFIG apply -f https:..