NAVER Cloud
-
hadoop hdfs 데이터를 오브젝트스토리지로 마이그레이션 하기NAVER Cloud 2021. 2. 3. 18:42
on-premise hadoop 을 사용하다가 클라우드서비스를 이용하려고 할 때 hdfs 데이터 마이그레이션이 필요하다. 클라우드 서비스에서 제공하는 hadoop을 이용할 경우 데이터 저장소로 오브젝트스토리지를 많이들 사용하기 때문에 hdfs 데이터를 오브젝트 스토리지로 마이그레이션하는 방법을 테스트 해보았다. 1. hadoop hdfs로 마운트 된 /user/log 하위에 test, train_triplets.txt 라는 파일을 네이버클라우드 오브젝트스토리지의 user-data/hdfs 하위 버킷으로 마이그레이션하려고 한다. (test2 파일은 테스트 이후에 생성한 것이므로 무시) 2. distcp 수행 네이버클라우드의 오브젝트스토리지는 AWS S3 API 와 호환되기 때문에 S3 에서 사용할 수 있는..
-
네이버클라우드에서 서버 중지/기동 스케줄링 설정-CLINAVER Cloud 2021. 2. 1. 10:23
클라우드 서비스의 경우 대부분 서버가 기동되어 있는 경우 과금되고 서버를 삭제하지 않아도 중지해 두면 과금되지 않는다. 네이버클라우드에서도 GPU 나 일부 스펙을 제외하고는 동일한 과금 체계가 적용된다. 서버를 삭제해버리면 다음에 동일한 구성을 사용할 때 또 설정 작업을 해야하기 때문에 사용할 때만 서버를 켜고 사용하지 않을 때는 서버를 꺼둬서 비용 효율적인 클라우드 운영을 해보고자 한다. CLI 를 이용하는 방법과 Cloud Functions 을 이용해 API로 스케줄링 하는 두가지 방법이 있는데, CLI를 사용할 경우 OS의 cron 기능을 이용하여 스케줄을 설정할 수 있다. 1. CLI tool 설치 관련 clidocs.ncloud.com/ko/guide/userguide/#시작하기 Ncloud C..
-
Cloud Function deployment package in PythonNAVER Cloud 2020. 10. 12. 21:48
Cloud Function 을 통해 API 를 만드는 테스트를 진행중인데, 매일 하나씩 고비가 생기는 것 같다. 네이버클라우드플랫폼의 Cloud. Function 을 통해서 실행시킬 Python 코드를 Jupyter notebook 에서 테스트를 하고 나서 Cloud Fuction 에서 돌려보려고 하니 아래와 같이 에러가 발생했다. ["2020-10-12T12:14:26.14680968Z stderr: Traceback (most recent call last):", "2020-10-12T12:14:26.14684808Z stderr: File \"pythonrunner.py\",line 87, in run", "2020-10-12T12:14:26.146853189Z stderr: exec(self.fn..
-
Root Domain 에 CNAME 설정 후 non-www -> www redirectNAVER Cloud 2020. 6. 16. 10:45
클라우드 서비스에서 LB 를 사용하면 외부에서 접근할 수 있는 도메인 주소를 자동으로 할당해 준다. 서비스 도메인을 별도로 할당받은 경우 DNS 에서 LB 도메인을 보도록 설정해 주어야 하는데 LB IP 로 A 레코드를 등록하면 LB 도메인에 설정된 IP 가 변경될 경우 (잘 변경 안되지만..) 서비스에 영향이 있을 수 있으므로 CNAME 설정이 필요하다 . 1. Ncloud 콘솔에서 DNS 서비스로 이동 사전에 freenom 이라는 사이트에서 무료로 3개월동안 사용할 수 있는 도메인을 받아놨으므로. (yesplease.cf) 아래와 같이 도메인을 추가하고 CNAME 레코드에 LB 도메인 주소값을 입력해준다. 2. Apache 설정 변경 이렇게 설정하고 나면 www.yesplease.cf 로 사용자가 인..
-
네이버클라우드플랫폼 API Gateway 에 사용자 도메인 적용 방법NAVER Cloud 2020. 2. 11. 16:43
네이버 클라우드 플랫폼 (Ncloud) 에서도 Rest API 와 관련된 리소스와 메소드를 정의할 수 있는 API Gateway 서비스를 제공한다. 현재는 API Gateway 를 생성하게 되면 자동으로 invoke URL 을 생성해 주는데 API 서비스를 제공하거나 기존에 사용중인 도메인을 Invoke URL 로 invoke URL 을 변경해야 하는 경우가 발생할 수 있는데 이런 경우 아래 예제를 참고할 수 있다. 1. API Gateway API 설정 상태 및 기대 구성 /apigw/v1/api-keys API 호출 시 정상일 경우 12121 을 응답하게 설정되어 있고 invoke URL 은 https://axqc29e77q.apigw.ntruss.com/chatbot/test_stage/apigw/..
-
오브젝트 스토리지를 파일시스템으로 마운트해서 사용하기NAVER Cloud 2020. 2. 10. 09:39
오브젝트 스토리지에 파일을 업로드, 복사할 때 대부분의 클라우드 서비스에서 CLI 나 API 를 제공하지만 리눅스 커맨드를 이용해서 파일 동기화를 진행할 수 있다. 여기서는 fuse 라는 프로그램을 통해 s3fs 로 파일시스템을 마운트하는 방법에 대해 알아보겠다. (다른 대안 프로그램을 찾아봤는데 fuse 가 제일 네임드인듯..) s3fs fuse 는 aws s3 용 프로그램이지만 네이버클라우드플랫폼 (이하 Ncloud) 의 오브젝트 스토리지는 S3 의 API 를 호환해서 사용할 수 있기 때문에 s3fs 를 설치해보았다. 1. s3fs-fuse 를 위한 기본 패키지 설치 # yum install automake fuse-devel gcc-c++ git libcurl-devel libxml2-devel m..
-
rclone 으로 오브젝트 스토리지에 파일 동기화 하기NAVER Cloud 2020. 2. 7. 11:29
rclone 은 클라우드 스토리지 간 동기화 또는 로컬 서버에 있는 파일을 주기적으로 오브젝트 스토리지에 동기화 할 수 있는 커맨드 기반의 프로그램이다. (참고 https://rclone.org ) rclone - rsync for cloud storage Twitter. Facebook. Reddit. rclone.org AWS , Azure, GCP 의 오브젝트 스토리지 뿐 아니라 AWS S3 API 가 호환되는 네이버 클라우드 플랫폼 (Ncloud) 의 오브젝트 스토리지에서도 rclone 을 사용할 수 있다. Ncloud 오브젝트 스토리지 https://www.ncloud.com/product/storage/objectStorage NAVER CLOUD PLATFORM cloud computing ..
-
네이버클라우드플랫폼 Certificate Manager 에 LetsEncrypt 인증서 등록NAVER Cloud 2020. 2. 3. 12:22
네이버클라우드플랫폼 (이하 Ncloud) 에서는 Certificate Manager 라는 인증서 통합 관리 서비스를 제공하고 있다. CDN 이나 LB 에 인증서를 추가하여 사용하기 위해서는 반드시 사용해야 하는 서비스인데 LetsEncrypt 에서 받은 인증서의 경우 아래와 같이 키를 매칭하여 입력하면 인증서 유효 여부에 대한 에러가 발생한다. 오류 : 인증서 검증 중 오류가 발생했습니다. 인증서 유효여부를 확인 바랍니다. privkey.pem -> Private Key cert.pem -> Public Key Certificate fullchain.pem -> Certification Chain 인증서가 정상임에도 유효성에 대해 확인하라는 오류가 발생하는 이유는 Certification Chain 에 ..