navercloud
-
Kubernetes 에서 Cert-manager로 letsencrypt 인증서 발급/설정NAVER Cloud 2021. 7. 22. 11:58
kubernetes 에 구동하는 웹에서도 https 설정이 필요하고, 무료 인증서를 사용할 경우 letsencrypt 에서 인증서를 발급받고 웹에 적용할 수 있다. 네이버클라우드에서 테스트 해봤고, nginx ingress 를 사용했다. (k8s cluster 는 구성이 되어 있어야 하고, nginx ingress 를 설치하면 를 생성하면, ingress 와 매칭된 NLB는 자동 생성된다.) 1. NKS 에 ingress cotroller 설치 kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.47.0/deploy/static/provider/cloud/deploy.yaml namespace/i..
-
클라우드에서 redis로 tomcat session 관리 구성NAVER Cloud 2021. 7. 19. 20:48
서비스 가용성을 위해 서버를 이중화하여 한대의 서버에 장애가 발생해도 다른 한대에서 서비스를 제공하는 것 외에도, tomcat 을 사용하는 경우 사용자가 연결되어 있던 세션도 다른 서버로 넘겨줘야 할 필요가 생긴다. 이전 회사에는 미들웨어 운영팀이 있어서, 내가 tomcat을 만질일이 전혀 없었지만, 옆에서 지켜보면 session clustering을 구성하는 것은 그닥 간단하지 않은 것 같아 보였다. 대부분의 클라우드 사업자는 멀티캐스트를 지원하지 않기 때문에(예전에는 지원안했는데, 현재는 어떤지 확실히 모르겠음) 클라우드 환경에서는 Redis를 활용하여 세션을 관리할 수 있도록 구성한다. 네이버클라우드에서 LB, VM, Redis Cluster를 활용해서 세션 클러스터링 컨셉 구성을 진행해봤다. 먼저..
-
hadoop hdfs 데이터를 오브젝트스토리지로 마이그레이션 하기NAVER Cloud 2021. 2. 3. 18:42
on-premise hadoop 을 사용하다가 클라우드서비스를 이용하려고 할 때 hdfs 데이터 마이그레이션이 필요하다. 클라우드 서비스에서 제공하는 hadoop을 이용할 경우 데이터 저장소로 오브젝트스토리지를 많이들 사용하기 때문에 hdfs 데이터를 오브젝트 스토리지로 마이그레이션하는 방법을 테스트 해보았다. 1. hadoop hdfs로 마운트 된 /user/log 하위에 test, train_triplets.txt 라는 파일을 네이버클라우드 오브젝트스토리지의 user-data/hdfs 하위 버킷으로 마이그레이션하려고 한다. (test2 파일은 테스트 이후에 생성한 것이므로 무시) 2. distcp 수행 네이버클라우드의 오브젝트스토리지는 AWS S3 API 와 호환되기 때문에 S3 에서 사용할 수 있는..
-
네이버클라우드에서 서버 중지/기동 스케줄링 설정-CLINAVER Cloud 2021. 2. 1. 10:23
클라우드 서비스의 경우 대부분 서버가 기동되어 있는 경우 과금되고 서버를 삭제하지 않아도 중지해 두면 과금되지 않는다. 네이버클라우드에서도 GPU 나 일부 스펙을 제외하고는 동일한 과금 체계가 적용된다. 서버를 삭제해버리면 다음에 동일한 구성을 사용할 때 또 설정 작업을 해야하기 때문에 사용할 때만 서버를 켜고 사용하지 않을 때는 서버를 꺼둬서 비용 효율적인 클라우드 운영을 해보고자 한다. CLI 를 이용하는 방법과 Cloud Functions 을 이용해 API로 스케줄링 하는 두가지 방법이 있는데, CLI를 사용할 경우 OS의 cron 기능을 이용하여 스케줄을 설정할 수 있다. 1. CLI tool 설치 관련 clidocs.ncloud.com/ko/guide/userguide/#시작하기 Ncloud C..
-
Cloud Function deployment package in PythonNAVER Cloud 2020. 10. 12. 21:48
Cloud Function 을 통해 API 를 만드는 테스트를 진행중인데, 매일 하나씩 고비가 생기는 것 같다. 네이버클라우드플랫폼의 Cloud. Function 을 통해서 실행시킬 Python 코드를 Jupyter notebook 에서 테스트를 하고 나서 Cloud Fuction 에서 돌려보려고 하니 아래와 같이 에러가 발생했다. ["2020-10-12T12:14:26.14680968Z stderr: Traceback (most recent call last):", "2020-10-12T12:14:26.14684808Z stderr: File \"pythonrunner.py\",line 87, in run", "2020-10-12T12:14:26.146853189Z stderr: exec(self.fn..
-
Installing CKAN with Docker Compose (ubuntu 16.04)HOWTO 2020. 10. 11. 10:20
This Posting is based on https://docs.ckan.org/en/2.9/maintaining/installing/install-from-docker-compose.html Installing CKAN with Docker Compose — CKAN 2.9.0 documentation Docs » Maintainer’s guide » Installing CKAN » Installing CKAN with Docker Compose Edit on GitHub Installing CKAN with Docker Compose This chapter is a tutorial on how to install the latest CKAN (master or any stable version) ..