네이버클라우드
-
hadoop hdfs 데이터를 오브젝트스토리지로 마이그레이션 하기NAVER Cloud 2021. 2. 3. 18:42
on-premise hadoop 을 사용하다가 클라우드서비스를 이용하려고 할 때 hdfs 데이터 마이그레이션이 필요하다. 클라우드 서비스에서 제공하는 hadoop을 이용할 경우 데이터 저장소로 오브젝트스토리지를 많이들 사용하기 때문에 hdfs 데이터를 오브젝트 스토리지로 마이그레이션하는 방법을 테스트 해보았다. 1. hadoop hdfs로 마운트 된 /user/log 하위에 test, train_triplets.txt 라는 파일을 네이버클라우드 오브젝트스토리지의 user-data/hdfs 하위 버킷으로 마이그레이션하려고 한다. (test2 파일은 테스트 이후에 생성한 것이므로 무시) 2. distcp 수행 네이버클라우드의 오브젝트스토리지는 AWS S3 API 와 호환되기 때문에 S3 에서 사용할 수 있는..
-
네이버클라우드에서 서버 중지/기동 스케줄링 설정-CLINAVER Cloud 2021. 2. 1. 10:23
클라우드 서비스의 경우 대부분 서버가 기동되어 있는 경우 과금되고 서버를 삭제하지 않아도 중지해 두면 과금되지 않는다. 네이버클라우드에서도 GPU 나 일부 스펙을 제외하고는 동일한 과금 체계가 적용된다. 서버를 삭제해버리면 다음에 동일한 구성을 사용할 때 또 설정 작업을 해야하기 때문에 사용할 때만 서버를 켜고 사용하지 않을 때는 서버를 꺼둬서 비용 효율적인 클라우드 운영을 해보고자 한다. CLI 를 이용하는 방법과 Cloud Functions 을 이용해 API로 스케줄링 하는 두가지 방법이 있는데, CLI를 사용할 경우 OS의 cron 기능을 이용하여 스케줄을 설정할 수 있다. 1. CLI tool 설치 관련 clidocs.ncloud.com/ko/guide/userguide/#시작하기 Ncloud C..
-
Installing CKAN with Docker Compose (ubuntu 16.04)HOWTO 2020. 10. 11. 10:20
This Posting is based on https://docs.ckan.org/en/2.9/maintaining/installing/install-from-docker-compose.html Installing CKAN with Docker Compose — CKAN 2.9.0 documentation Docs » Maintainer’s guide » Installing CKAN » Installing CKAN with Docker Compose Edit on GitHub Installing CKAN with Docker Compose This chapter is a tutorial on how to install the latest CKAN (master or any stable version) ..
-
rclone 으로 오브젝트 스토리지에 파일 동기화 하기NAVER Cloud 2020. 2. 7. 11:29
rclone 은 클라우드 스토리지 간 동기화 또는 로컬 서버에 있는 파일을 주기적으로 오브젝트 스토리지에 동기화 할 수 있는 커맨드 기반의 프로그램이다. (참고 https://rclone.org ) rclone - rsync for cloud storage Twitter. Facebook. Reddit. rclone.org AWS , Azure, GCP 의 오브젝트 스토리지 뿐 아니라 AWS S3 API 가 호환되는 네이버 클라우드 플랫폼 (Ncloud) 의 오브젝트 스토리지에서도 rclone 을 사용할 수 있다. Ncloud 오브젝트 스토리지 https://www.ncloud.com/product/storage/objectStorage NAVER CLOUD PLATFORM cloud computing ..
-
Kubernetes CrashLoopBackOff exit0 발생할 때HOWTO 2020. 1. 31. 18:04
kubernetes 에서 pods 를 배포했는데 바로 CrashLoopBackOff 상태로 빠질때가 있다. docker 로 기동시켰을때는 잘 뜨는 컨테이너가 kubernetes 에서 배포하면 정상적으로 기동되지 않을 경우에는 아래와 같이 pods 상태를 확인 후 exit code 를 확인해야 한다. Last State 의 exit code 가 0 인 경우는 컨테이너가 기동되지 마자 실행시킬 프로세스가 없어서 바로 종료되는 경우이다. 이럴떄는 아래와 같이 sleep 커맨드를 추가해서 컨테이너가 기동되지 마자 중지되지 않도록 설정하면 Running 상태의 pods 를 확인할 수 있다. command: ['sh', '-c', 'echo The app is running! && sleep 3600']
-
네이버클라우드플랫폼에서 Windows 서버 백업 오브젝트 스토리지에 보관하기 - 2NAVER Cloud 2019. 1. 14. 11:33
2019/01/14 - [Naver Cloud Platform] - 네이버클라우드플랫폼에서 Windows 서버 백업 오브젝트 스토리지에 보관하기 - 1 를 통해 백업을 수행할 Windows 서버와 네이버클라우드플랫폼의 오브젝트 스토리지 조회 테스트까지 수행하였다. 이제는 진짜 백업을 수행 후 오브젝트 스토리지에 업로드하고 백업 내용을 새로운 서버에 다운로드 하여 복구를 진행해 보려고 한다. 1. Windows Backup 수행 wintest1 서버에서 C:\bksource 하위의 파일들을 Windows backup 을 통해 D:\ 에 저장한다. 시작 -> Windows Server Backup 검색 아래 이미지를 참고하여 백업을 진행한다. 2. 백업 파일 오브젝트 스토리지로 업로드백업이 정상적으로 완료되..
-
네이버클라우드플랫폼에서 Windows 서버 백업 오브젝트 스토리지에 보관하기 - 1NAVER Cloud 2019. 1. 14. 10:09
서버를 운영하다 보면 백업의 보관 주기나 보관 위치에 대해 고민하게 된다. 특히나 저장소 공간이 여유롭지 않은 경우 백업을 받아서 저장을 하긴 해야하는데 로컬 디스크에 계속 보관하기에는 부담스러울 경우 백업을 로컬디스크에 받은 후 오브젝트 스토리지로 옮겨두는 것을 권장한다. 네이버클라우드플랫폼에서도 AWS 의 S3 와 동일한 오브젝트 스토리지 서비스를 제공하는데 비용은 S3 보다 저렴하고 CLI 나 API 는 AWS 와 동일하게 사용하므로 비용이 고민된다면 네이버클라우드플랫폼으로 이관하는 것도 검토해 볼 만한 사안이라고 생각된다. 여기 예제에서는 Windows 서버에 파일을 로컬 드라이브에 저장한 후 오브젝트 스토리지로 업로드 하고 업로드 한 파일을 새로운 Windows 서버에 다운로드해서 복구를 진행한..
-
Kubernetes 에서 Wordpress + MySQL 구성하기 (Persistent Volume)HOWTO 2019. 1. 9. 09:25
K8S Cluster 환경은 사전 구성이 되어 있어야 하고 2018/11/30 - [Naver Cloud Platform] - 네이버 클라우드에 Kubernetes (k8s) cluster 구성하기 (Calico)Pods 에서 Persistent volume 을 사용하기 위해 각 Node 마다 50GB 볼륨을 할당하고 마운트 한다. (예제에서는 /data001 로 마운트 함) 아래 구성에서 Kubernetes 환경은 네이버클라우드플랫폼 싱가폴 리전에서 VM 으로 구성했으며, CNI 는 Calico 로 구성하였다. 1. PV (Persistent Volume) 생성 PV 는 K8S 관리자가 설정하는 클러스터의 저장소로 사용자가 PVC 를 생성하기 위해 설정해 두는 물리적인 공간이라고 볼 수 있다. 지금 구..