navercloudplatform
-
네이버클라우드 Kubernetes (NKS) subaccount iam 인증 kubeconfig 생성NAVER Cloud 2023. 2. 2. 20:20
네이버클라우드에서 Kubernetes 서비스를 sub account 로 접근해야 하는 경우 ncp-iam-authenticator 를 통해 kubeconfig 파일을 생성하고, sub account 에 대한 Configmap 을 생성해 주어야 한다. kubeconfig.yaml 파일만 가지고 kubectl 명령을 수행할 수 없고, kubectl 명령어를 수행하는 PC 나 서버가 아래 조건을 충족해야 한다. ncp-iam-authenticator 설치 sub account 의 Access/Secret Key 를 .ncloud/configure 파일에 등록 sub account 사용자에 대한 Configmap 생성 kubectl 은 당연히 설치되어 있어야 함 1. ncp-iam-authenticator 설치..
-
클라우드에서 redis로 tomcat session 관리 구성NAVER Cloud 2021. 7. 19. 20:48
서비스 가용성을 위해 서버를 이중화하여 한대의 서버에 장애가 발생해도 다른 한대에서 서비스를 제공하는 것 외에도, tomcat 을 사용하는 경우 사용자가 연결되어 있던 세션도 다른 서버로 넘겨줘야 할 필요가 생긴다. 이전 회사에는 미들웨어 운영팀이 있어서, 내가 tomcat을 만질일이 전혀 없었지만, 옆에서 지켜보면 session clustering을 구성하는 것은 그닥 간단하지 않은 것 같아 보였다. 대부분의 클라우드 사업자는 멀티캐스트를 지원하지 않기 때문에(예전에는 지원안했는데, 현재는 어떤지 확실히 모르겠음) 클라우드 환경에서는 Redis를 활용하여 세션을 관리할 수 있도록 구성한다. 네이버클라우드에서 LB, VM, Redis Cluster를 활용해서 세션 클러스터링 컨셉 구성을 진행해봤다. 먼저..
-
hadoop hdfs 데이터를 오브젝트스토리지로 마이그레이션 하기NAVER Cloud 2021. 2. 3. 18:42
on-premise hadoop 을 사용하다가 클라우드서비스를 이용하려고 할 때 hdfs 데이터 마이그레이션이 필요하다. 클라우드 서비스에서 제공하는 hadoop을 이용할 경우 데이터 저장소로 오브젝트스토리지를 많이들 사용하기 때문에 hdfs 데이터를 오브젝트 스토리지로 마이그레이션하는 방법을 테스트 해보았다. 1. hadoop hdfs로 마운트 된 /user/log 하위에 test, train_triplets.txt 라는 파일을 네이버클라우드 오브젝트스토리지의 user-data/hdfs 하위 버킷으로 마이그레이션하려고 한다. (test2 파일은 테스트 이후에 생성한 것이므로 무시) 2. distcp 수행 네이버클라우드의 오브젝트스토리지는 AWS S3 API 와 호환되기 때문에 S3 에서 사용할 수 있는..
-
네이버클라우드에서 서버 중지/기동 스케줄링 설정-CLINAVER Cloud 2021. 2. 1. 10:23
클라우드 서비스의 경우 대부분 서버가 기동되어 있는 경우 과금되고 서버를 삭제하지 않아도 중지해 두면 과금되지 않는다. 네이버클라우드에서도 GPU 나 일부 스펙을 제외하고는 동일한 과금 체계가 적용된다. 서버를 삭제해버리면 다음에 동일한 구성을 사용할 때 또 설정 작업을 해야하기 때문에 사용할 때만 서버를 켜고 사용하지 않을 때는 서버를 꺼둬서 비용 효율적인 클라우드 운영을 해보고자 한다. CLI 를 이용하는 방법과 Cloud Functions 을 이용해 API로 스케줄링 하는 두가지 방법이 있는데, CLI를 사용할 경우 OS의 cron 기능을 이용하여 스케줄을 설정할 수 있다. 1. CLI tool 설치 관련 clidocs.ncloud.com/ko/guide/userguide/#시작하기 Ncloud C..
-
Cloud Function deployment package in PythonNAVER Cloud 2020. 10. 12. 21:48
Cloud Function 을 통해 API 를 만드는 테스트를 진행중인데, 매일 하나씩 고비가 생기는 것 같다. 네이버클라우드플랫폼의 Cloud. Function 을 통해서 실행시킬 Python 코드를 Jupyter notebook 에서 테스트를 하고 나서 Cloud Fuction 에서 돌려보려고 하니 아래와 같이 에러가 발생했다. ["2020-10-12T12:14:26.14680968Z stderr: Traceback (most recent call last):", "2020-10-12T12:14:26.14684808Z stderr: File \"pythonrunner.py\",line 87, in run", "2020-10-12T12:14:26.146853189Z stderr: exec(self.fn..
-
Installing CKAN with Docker Compose (ubuntu 16.04)HOWTO 2020. 10. 11. 10:20
This Posting is based on https://docs.ckan.org/en/2.9/maintaining/installing/install-from-docker-compose.html Installing CKAN with Docker Compose — CKAN 2.9.0 documentation Docs » Maintainer’s guide » Installing CKAN » Installing CKAN with Docker Compose Edit on GitHub Installing CKAN with Docker Compose This chapter is a tutorial on how to install the latest CKAN (master or any stable version) ..
-
MySQL DB replication 구성하기HOWTO 2018. 12. 29. 18:48
MySQL DB 사용 시 Master 서버의 장애에 대비하거나 읽기 부하 분산을 위해 Replication 을 구성하여 사용한다. RDS 와 같이 관리형 DB 서비스를 사용할 경우에는 굳이 구성할 필요 없지만 늘 관리형 DB 를 사용할 수 있는 건 아니니 구성 방법 정도는 알아두도록 하자. 아래 이미지와 같이 1대의 서버를 Master 로 두고 2대의 replication 을 구성하고자 한다. 1. VM 생성하기네이버 클라우드 플랫폼에서 MySQL 5.7 엔진이 설치된 이미지로 VM 3대를 생성한다. 2. VM 에 볼륨 할당하기데이터를 저장할 볼륨을 생성 후 VM 별로 연결해 준다. 테스트를 위해 할당하는 볼륨이므로 30GB 씩만 할당해 주었다. 3. 파일 시스템 마운트볼륨만 할당해서는 사용할 수 없다...
-
네이버 클라우드에 Kubernetes (k8s) cluster 구성하기 (Calico)NAVER Cloud 2018. 11. 30. 16:20
Kubernetes 관련 다양한 매니지드 형태의 상품들을 클라우드 서비스에서 제공하고 있으나 VM 을 활용하여 Kubernetes Cluster 환경을 구성해 보았다. CNI 는 Calico 를 사용한다. 1. 네이버클라우드플랫폼에서 VM 생성하기 총 4대의 서버를 생성한다. 1대는 cluster 설치 playbook 을 수행할 Ansible 서버이고 나머지 3대는 K8S master, node 서버로 구성한다. ansible 수행은 서버가 아니라 PC 에서도 가능하다. 1-1) ACG (Security Group) 설정각 서버 별 용도에 맞게 ACG 룰을 설정한다. Server Protocol Port 용도 Ansible TCP 22 SSH Master Node TCP 22 SSH TCP 6443 Ku..