HOWTO
-
kubernetes 워크로드 구성 검사 실행 - Polaris by FairwindsHOWTO 2021. 10. 8. 22:53
kube-score 가 kubernetes 에 배포하기 전 manifest 의 검증을 위한 도구였다면, Polaris 는 이미 배포된 워크로드 또는 신규로 배포하게 되는 워크로드가 보안, 신뢰성, 네트워크, 효율성등에 어느정도 적절하게 구성되었는지 검사할 수 있는 도구이다. Polaris 는 오픈소스로 사용할 수 있는데, 좀 더 다양한 기능과 대시보드, 기술 지원이 필요한 경우 Polaris upgrade 버전인 Fairwinds Insights 로 제공하고 있다. # dashboard 설치 kubectl apply -f https://github.com/fairwindsops/polaris/releases/latest/download/dashboard.yaml kubectl port-forward --..
-
kubernetes manifest 분석 도구 kube-score 사용법HOWTO 2021. 10. 8. 19:23
kubernetes 는 모든 리소스를 manifest 를 통해 관리하기 때문에 manifest 작성이 중요하다. 모든 옵션을 기억하기도 어렵고 나같은 경우는 주로 테스트로 기능 검증만 해보기 때문에 검색을 통해 나오는 예제 파일을 수정해서 사용하지만 운영환경이라면 애플리케이션을 보다 안전하게 만들기 위해 manifest 작성에 더욱 심혈(?)을 기울여야 할 것이다. 이런 경우 kube-score 를 사용하면 내가 작성한 manifest 에서 개선할 수 있는 부분이 무엇인지 권장사항을 제시해준다. 1. kubectl krew 설치 kube-socre 를 설치하는 방법은 다양하지만, 나는 kubectl 의 플러그인을 관리하는 kubectl krew 를 먼저 설치한 후 krew 를 통해 score를 설치했다...
-
Installing CKAN with Docker Compose (ubuntu 16.04)HOWTO 2020. 10. 11. 10:20
This Posting is based on https://docs.ckan.org/en/2.9/maintaining/installing/install-from-docker-compose.html Installing CKAN with Docker Compose — CKAN 2.9.0 documentation Docs » Maintainer’s guide » Installing CKAN » Installing CKAN with Docker Compose Edit on GitHub Installing CKAN with Docker Compose This chapter is a tutorial on how to install the latest CKAN (master or any stable version) ..
-
nifi 로 여러개 파일 내용 병합하기 (merge record)HOWTO 2020. 9. 22. 19:36
오브젝트 스토리지에 매일 데이터를 쌓긴 하는데 같은 구조를 가진 컨텐츠라면 하나의 파일로 관리하는 것이 용이할 때가 있다. nifi의 MergeRecord 프로세서를 이용해서 api 를 통해 매일 csv 형태로 떨궈둔 파일의 내용을 새로운 csv 파일에 기록하고 생성할 수 있다. 1. ListS3 앞에서 네이버클라우드플랫폼의 오브젝트스토리지에 파일을 올렸기때문에 파일의 리스트로 네이버클라우드플랫폼의 오브젝트스토리지에서 가져온다. Endpoint URL 을 한국 리전의 오브젝트스토리지 endpoint 로 입력해 주고, (네이버클라우드플랫폼은 리전별로 엔드포인트 URL 이 다르다 ㅠㅠ) 파일을 가져올 버킷명을 적어준다. Region 항목은 AWS S3 에서 파일을 가져올 때 선택하면 되고, 네이버클라우드플랫..
-
nifi 로 API 수집 및 오브젝트 스토리지에 저장하기HOWTO 2020. 9. 19. 17:41
api 를 호출하여 데이터를 매일 수집하고 저장하는 파이썬 소스들을 인터넷에서 쉽게 찾을 수 있지만 nifi 의 invokehtttp processor 를 사용하면 flowfile 을 통해 어떻게 작업이 진행되고 있는지, 어디서 에러가 발생했는지 확인하기 쉽다. (python 을 아주 잘 다루는 사람이라면 python 이 훨씬 쉬울 것이다.) nifi 로 api 를 호출하고, xml 로 받은 결과값을 csv 로 변환하여 네이버 클라우드 플랫폼의 오브젝트 스토리지에 업로드하는 flowfile 을 만들어봤다. 각각의 processor 설정은 아래와 같이 설정했다. 1. Invokehttp 나는 오피넷에 api 사용 권한을 신청하여 매일 유종 별 평균 가격을 수집하도록 설정했다. api 로 데이터를 조회하는 ..
-
OSError: Command /root/pyenv/bin/python2 - setuptools pkg_resources pip wheel failed with error code 1HOWTO 2020. 6. 29. 14:22
# virtualenv --no-site-packages ~/pyenv Running virtualenv with interpreter /usr/bin/python2 New python executable in /root/pyenv/bin/python2 Not overwriting existing python script /root/pyenv/bin/python (you must use /root/pyenv/bin/python2) Installing setuptools, pkg_resources, pip, wheel... Complete output from command /root/pyenv/bin/python2 - setuptools pkg_resources pip wheel: Traceback (m..
-
ckan.plugins.core.PluginNotFoundException: dataproxyHOWTO 2020. 6. 25. 10:46
/etc/ckan/default/production.ini 파일 내용 중 plugin 항목에 dataproxy 를 기재해주었는데 적용하려고 하니 에러가 발생한다. # paster --plugin=ckanext-harvest harvester initdb --config=/etc/ckan/default/production.ini Traceback (most recent call last): File "/usr/lib/ckan/default/bin/paster", line 8, in sys.exit(run()) File "/usr/lib/ckan/default/lib/python2.7/site-packages/paste/script/command.py", line 102, in run invoke(comma..
-
ImportError: No module named simplecryptHOWTO 2020. 6. 25. 10:20
ckan 을 활용해 데이터 카탈로그를 관리하기 위해 ckanext-harvest 를 설치하고 있는데 가이드대로 잘 되지가 않는다. ㅠㅠ ImportError: No module named simplecrypt 에러 발생하면서 종료 흑흑 paster --plugin=ckanext-harvest harvester initdb --config=/etc/ckan/default/production.ini Traceback (most recent call last): File "/usr/lib/ckan/default/bin/paster", line 8, in sys.exit(run()) File "/usr/lib/ckan/default/lib/python2.7/site-packages/paste/script/com..