분류 전체보기
-
nifi 로 API 수집 및 오브젝트 스토리지에 저장하기HOWTO 2020. 9. 19. 17:41
api 를 호출하여 데이터를 매일 수집하고 저장하는 파이썬 소스들을 인터넷에서 쉽게 찾을 수 있지만 nifi 의 invokehtttp processor 를 사용하면 flowfile 을 통해 어떻게 작업이 진행되고 있는지, 어디서 에러가 발생했는지 확인하기 쉽다. (python 을 아주 잘 다루는 사람이라면 python 이 훨씬 쉬울 것이다.) nifi 로 api 를 호출하고, xml 로 받은 결과값을 csv 로 변환하여 네이버 클라우드 플랫폼의 오브젝트 스토리지에 업로드하는 flowfile 을 만들어봤다. 각각의 processor 설정은 아래와 같이 설정했다. 1. Invokehttp 나는 오피넷에 api 사용 권한을 신청하여 매일 유종 별 평균 가격을 수집하도록 설정했다. api 로 데이터를 조회하는 ..
-
OSError: Command /root/pyenv/bin/python2 - setuptools pkg_resources pip wheel failed with error code 1HOWTO 2020. 6. 29. 14:22
# virtualenv --no-site-packages ~/pyenv Running virtualenv with interpreter /usr/bin/python2 New python executable in /root/pyenv/bin/python2 Not overwriting existing python script /root/pyenv/bin/python (you must use /root/pyenv/bin/python2) Installing setuptools, pkg_resources, pip, wheel... Complete output from command /root/pyenv/bin/python2 - setuptools pkg_resources pip wheel: Traceback (m..
-
ckan.plugins.core.PluginNotFoundException: dataproxyHOWTO 2020. 6. 25. 10:46
/etc/ckan/default/production.ini 파일 내용 중 plugin 항목에 dataproxy 를 기재해주었는데 적용하려고 하니 에러가 발생한다. # paster --plugin=ckanext-harvest harvester initdb --config=/etc/ckan/default/production.ini Traceback (most recent call last): File "/usr/lib/ckan/default/bin/paster", line 8, in sys.exit(run()) File "/usr/lib/ckan/default/lib/python2.7/site-packages/paste/script/command.py", line 102, in run invoke(comma..
-
ImportError: No module named simplecryptHOWTO 2020. 6. 25. 10:20
ckan 을 활용해 데이터 카탈로그를 관리하기 위해 ckanext-harvest 를 설치하고 있는데 가이드대로 잘 되지가 않는다. ㅠㅠ ImportError: No module named simplecrypt 에러 발생하면서 종료 흑흑 paster --plugin=ckanext-harvest harvester initdb --config=/etc/ckan/default/production.ini Traceback (most recent call last): File "/usr/lib/ckan/default/bin/paster", line 8, in sys.exit(run()) File "/usr/lib/ckan/default/lib/python2.7/site-packages/paste/script/com..
-
CentOS 7 Apache Nifi 설치HOWTO 2020. 6. 22. 11:16
"아파치 나이파이(Apache NiFi, 나이아가라파일즈/NiagaraFiles의 준말)는 소프트웨어 시스템 간 데이터 흐름을 자동화하도록 설계된 아파치 소프트웨어 재단의 소프트웨어 프로젝트이다. 과거에 NSA에 의해 개발되었고 2014년 기술 전송 프로그램의 일부로서 오픈 소스화된 나이아가라파일즈(NiagaraFiles) 소프트웨어에 기반을 둔다" 라고 Wiki 에 나와있는데 Opensource ETL 도구를 찾다가 Nifi 를 알게됐다. ETL 말만 듣고 실제로 해 본적은 없지만 Nifi 를 통해서 경험해 보려면 일단 설치부터.. 1. CentOS 7 VM 생성 네이버 클라우드 플랫폼에서 2core 4GB CentOS 7 VM 을 생성 후 설치를 진행했다. 2. JAVA 설치 및 JAVA HOME 설..
-
Root Domain 에 CNAME 설정 후 non-www -> www redirectNAVER Cloud 2020. 6. 16. 10:45
클라우드 서비스에서 LB 를 사용하면 외부에서 접근할 수 있는 도메인 주소를 자동으로 할당해 준다. 서비스 도메인을 별도로 할당받은 경우 DNS 에서 LB 도메인을 보도록 설정해 주어야 하는데 LB IP 로 A 레코드를 등록하면 LB 도메인에 설정된 IP 가 변경될 경우 (잘 변경 안되지만..) 서비스에 영향이 있을 수 있으므로 CNAME 설정이 필요하다 . 1. Ncloud 콘솔에서 DNS 서비스로 이동 사전에 freenom 이라는 사이트에서 무료로 3개월동안 사용할 수 있는 도메인을 받아놨으므로. (yesplease.cf) 아래와 같이 도메인을 추가하고 CNAME 레코드에 LB 도메인 주소값을 입력해준다. 2. Apache 설정 변경 이렇게 설정하고 나면 www.yesplease.cf 로 사용자가 인..
-
CentOS7 Apache ssl 인증서 적용 그리고 80 to 443 redirectHOWTO 2020. 6. 5. 08:35
ssl 인증서를 적용하는 일이 자주 있는 건 아니라서 매번 할 때는 어케어케 찾아서 하는데 매번 헤맨다 ㅠㅠ 그래서 오늘은 정리! 1.mod_ssl 설치 # yum install mod_ssl -y 2. httpd.conf 에 Load Modle 추가 1) LoadModule, Include 부분 중에 없는 항목 추가 2) ServerName 도메인으로 추가 # vi /etc/httpd/conf/httpd.conf LoadModule ssl_module modules/mod_ssl.so Include conf.modules.d/.conf Include conf.d/.conf ServerName XXX.YYY.com 4. ssl.conf 파일 수정 httpd.conf 에 모든 내용을 담으면 헷갈려서 ssl..