NCP
-
nifi 로 여러개 파일 내용 병합하기 (merge record)HOWTO 2020. 9. 22. 19:36
오브젝트 스토리지에 매일 데이터를 쌓긴 하는데 같은 구조를 가진 컨텐츠라면 하나의 파일로 관리하는 것이 용이할 때가 있다. nifi의 MergeRecord 프로세서를 이용해서 api 를 통해 매일 csv 형태로 떨궈둔 파일의 내용을 새로운 csv 파일에 기록하고 생성할 수 있다. 1. ListS3 앞에서 네이버클라우드플랫폼의 오브젝트스토리지에 파일을 올렸기때문에 파일의 리스트로 네이버클라우드플랫폼의 오브젝트스토리지에서 가져온다. Endpoint URL 을 한국 리전의 오브젝트스토리지 endpoint 로 입력해 주고, (네이버클라우드플랫폼은 리전별로 엔드포인트 URL 이 다르다 ㅠㅠ) 파일을 가져올 버킷명을 적어준다. Region 항목은 AWS S3 에서 파일을 가져올 때 선택하면 되고, 네이버클라우드플랫..
-
nifi 로 API 수집 및 오브젝트 스토리지에 저장하기HOWTO 2020. 9. 19. 17:41
api 를 호출하여 데이터를 매일 수집하고 저장하는 파이썬 소스들을 인터넷에서 쉽게 찾을 수 있지만 nifi 의 invokehtttp processor 를 사용하면 flowfile 을 통해 어떻게 작업이 진행되고 있는지, 어디서 에러가 발생했는지 확인하기 쉽다. (python 을 아주 잘 다루는 사람이라면 python 이 훨씬 쉬울 것이다.) nifi 로 api 를 호출하고, xml 로 받은 결과값을 csv 로 변환하여 네이버 클라우드 플랫폼의 오브젝트 스토리지에 업로드하는 flowfile 을 만들어봤다. 각각의 processor 설정은 아래와 같이 설정했다. 1. Invokehttp 나는 오피넷에 api 사용 권한을 신청하여 매일 유종 별 평균 가격을 수집하도록 설정했다. api 로 데이터를 조회하는 ..
-
CentOS 7 Apache Nifi 설치HOWTO 2020. 6. 22. 11:16
"아파치 나이파이(Apache NiFi, 나이아가라파일즈/NiagaraFiles의 준말)는 소프트웨어 시스템 간 데이터 흐름을 자동화하도록 설계된 아파치 소프트웨어 재단의 소프트웨어 프로젝트이다. 과거에 NSA에 의해 개발되었고 2014년 기술 전송 프로그램의 일부로서 오픈 소스화된 나이아가라파일즈(NiagaraFiles) 소프트웨어에 기반을 둔다" 라고 Wiki 에 나와있는데 Opensource ETL 도구를 찾다가 Nifi 를 알게됐다. ETL 말만 듣고 실제로 해 본적은 없지만 Nifi 를 통해서 경험해 보려면 일단 설치부터.. 1. CentOS 7 VM 생성 네이버 클라우드 플랫폼에서 2core 4GB CentOS 7 VM 을 생성 후 설치를 진행했다. 2. JAVA 설치 및 JAVA HOME 설..
-
Root Domain 에 CNAME 설정 후 non-www -> www redirectNAVER Cloud 2020. 6. 16. 10:45
클라우드 서비스에서 LB 를 사용하면 외부에서 접근할 수 있는 도메인 주소를 자동으로 할당해 준다. 서비스 도메인을 별도로 할당받은 경우 DNS 에서 LB 도메인을 보도록 설정해 주어야 하는데 LB IP 로 A 레코드를 등록하면 LB 도메인에 설정된 IP 가 변경될 경우 (잘 변경 안되지만..) 서비스에 영향이 있을 수 있으므로 CNAME 설정이 필요하다 . 1. Ncloud 콘솔에서 DNS 서비스로 이동 사전에 freenom 이라는 사이트에서 무료로 3개월동안 사용할 수 있는 도메인을 받아놨으므로. (yesplease.cf) 아래와 같이 도메인을 추가하고 CNAME 레코드에 LB 도메인 주소값을 입력해준다. 2. Apache 설정 변경 이렇게 설정하고 나면 www.yesplease.cf 로 사용자가 인..
-
네이버클라우드플랫폼 API Gateway 에 사용자 도메인 적용 방법NAVER Cloud 2020. 2. 11. 16:43
네이버 클라우드 플랫폼 (Ncloud) 에서도 Rest API 와 관련된 리소스와 메소드를 정의할 수 있는 API Gateway 서비스를 제공한다. 현재는 API Gateway 를 생성하게 되면 자동으로 invoke URL 을 생성해 주는데 API 서비스를 제공하거나 기존에 사용중인 도메인을 Invoke URL 로 invoke URL 을 변경해야 하는 경우가 발생할 수 있는데 이런 경우 아래 예제를 참고할 수 있다. 1. API Gateway API 설정 상태 및 기대 구성 /apigw/v1/api-keys API 호출 시 정상일 경우 12121 을 응답하게 설정되어 있고 invoke URL 은 https://axqc29e77q.apigw.ntruss.com/chatbot/test_stage/apigw/..
-
네이버클라우드플랫폼 Certificate Manager 에 LetsEncrypt 인증서 등록NAVER Cloud 2020. 2. 3. 12:22
네이버클라우드플랫폼 (이하 Ncloud) 에서는 Certificate Manager 라는 인증서 통합 관리 서비스를 제공하고 있다. CDN 이나 LB 에 인증서를 추가하여 사용하기 위해서는 반드시 사용해야 하는 서비스인데 LetsEncrypt 에서 받은 인증서의 경우 아래와 같이 키를 매칭하여 입력하면 인증서 유효 여부에 대한 에러가 발생한다. 오류 : 인증서 검증 중 오류가 발생했습니다. 인증서 유효여부를 확인 바랍니다. privkey.pem -> Private Key cert.pem -> Public Key Certificate fullchain.pem -> Certification Chain 인증서가 정상임에도 유효성에 대해 확인하라는 오류가 발생하는 이유는 Certification Chain 에 ..
-
squid proxy 를 활용한 object storage 접근 제어HOWTO 2020. 1. 29. 09:37
특정 IP 만 object storage 에 접근하도록 설정하고 싶을 때 squid proxy 를 활용할 수 있다. 아래 링크에도 나오지만 폐쇄망에 존재하는 서버들이 object storage 또는 Yum repo 에 접근해야 할 때 참고할 수 있는 구성이다. 설치와 구성방법은 간단하다. 먼저 squid proxy 용도로 사용할 서버를 생성하고 object storage 에 접근할 수 있도록 Security Group 을 설정하고 아래와 같이 squid proxy 패키지를 설치한다. 필자의 경우에는 네이버클라우드플랫폼에 서버를 만들었고, object storage 에 접근할 때 squid proxy 를 통과하는지 확인하는 테스트 환경을 구성했다. 1. Client 서버와 Squid Proxy 서버 생성 ..
-
네이버클라우드플랫폼에서 Windows 서버 백업 오브젝트 스토리지에 보관하기 - 1NAVER Cloud 2019. 1. 14. 10:09
서버를 운영하다 보면 백업의 보관 주기나 보관 위치에 대해 고민하게 된다. 특히나 저장소 공간이 여유롭지 않은 경우 백업을 받아서 저장을 하긴 해야하는데 로컬 디스크에 계속 보관하기에는 부담스러울 경우 백업을 로컬디스크에 받은 후 오브젝트 스토리지로 옮겨두는 것을 권장한다. 네이버클라우드플랫폼에서도 AWS 의 S3 와 동일한 오브젝트 스토리지 서비스를 제공하는데 비용은 S3 보다 저렴하고 CLI 나 API 는 AWS 와 동일하게 사용하므로 비용이 고민된다면 네이버클라우드플랫폼으로 이관하는 것도 검토해 볼 만한 사안이라고 생각된다. 여기 예제에서는 Windows 서버에 파일을 로컬 드라이브에 저장한 후 오브젝트 스토리지로 업로드 하고 업로드 한 파일을 새로운 Windows 서버에 다운로드해서 복구를 진행한..