objectstorage
-
hadoop hdfs 데이터를 오브젝트스토리지로 마이그레이션 하기NAVER Cloud 2021. 2. 3. 18:42
on-premise hadoop 을 사용하다가 클라우드서비스를 이용하려고 할 때 hdfs 데이터 마이그레이션이 필요하다. 클라우드 서비스에서 제공하는 hadoop을 이용할 경우 데이터 저장소로 오브젝트스토리지를 많이들 사용하기 때문에 hdfs 데이터를 오브젝트 스토리지로 마이그레이션하는 방법을 테스트 해보았다. 1. hadoop hdfs로 마운트 된 /user/log 하위에 test, train_triplets.txt 라는 파일을 네이버클라우드 오브젝트스토리지의 user-data/hdfs 하위 버킷으로 마이그레이션하려고 한다. (test2 파일은 테스트 이후에 생성한 것이므로 무시) 2. distcp 수행 네이버클라우드의 오브젝트스토리지는 AWS S3 API 와 호환되기 때문에 S3 에서 사용할 수 있는..
-
nifi 로 여러개 파일 내용 병합하기 (merge record)HOWTO 2020. 9. 22. 19:36
오브젝트 스토리지에 매일 데이터를 쌓긴 하는데 같은 구조를 가진 컨텐츠라면 하나의 파일로 관리하는 것이 용이할 때가 있다. nifi의 MergeRecord 프로세서를 이용해서 api 를 통해 매일 csv 형태로 떨궈둔 파일의 내용을 새로운 csv 파일에 기록하고 생성할 수 있다. 1. ListS3 앞에서 네이버클라우드플랫폼의 오브젝트스토리지에 파일을 올렸기때문에 파일의 리스트로 네이버클라우드플랫폼의 오브젝트스토리지에서 가져온다. Endpoint URL 을 한국 리전의 오브젝트스토리지 endpoint 로 입력해 주고, (네이버클라우드플랫폼은 리전별로 엔드포인트 URL 이 다르다 ㅠㅠ) 파일을 가져올 버킷명을 적어준다. Region 항목은 AWS S3 에서 파일을 가져올 때 선택하면 되고, 네이버클라우드플랫..
-
nifi 로 API 수집 및 오브젝트 스토리지에 저장하기HOWTO 2020. 9. 19. 17:41
api 를 호출하여 데이터를 매일 수집하고 저장하는 파이썬 소스들을 인터넷에서 쉽게 찾을 수 있지만 nifi 의 invokehtttp processor 를 사용하면 flowfile 을 통해 어떻게 작업이 진행되고 있는지, 어디서 에러가 발생했는지 확인하기 쉽다. (python 을 아주 잘 다루는 사람이라면 python 이 훨씬 쉬울 것이다.) nifi 로 api 를 호출하고, xml 로 받은 결과값을 csv 로 변환하여 네이버 클라우드 플랫폼의 오브젝트 스토리지에 업로드하는 flowfile 을 만들어봤다. 각각의 processor 설정은 아래와 같이 설정했다. 1. Invokehttp 나는 오피넷에 api 사용 권한을 신청하여 매일 유종 별 평균 가격을 수집하도록 설정했다. api 로 데이터를 조회하는 ..
-
오브젝트 스토리지를 파일시스템으로 마운트해서 사용하기NAVER Cloud 2020. 2. 10. 09:39
오브젝트 스토리지에 파일을 업로드, 복사할 때 대부분의 클라우드 서비스에서 CLI 나 API 를 제공하지만 리눅스 커맨드를 이용해서 파일 동기화를 진행할 수 있다. 여기서는 fuse 라는 프로그램을 통해 s3fs 로 파일시스템을 마운트하는 방법에 대해 알아보겠다. (다른 대안 프로그램을 찾아봤는데 fuse 가 제일 네임드인듯..) s3fs fuse 는 aws s3 용 프로그램이지만 네이버클라우드플랫폼 (이하 Ncloud) 의 오브젝트 스토리지는 S3 의 API 를 호환해서 사용할 수 있기 때문에 s3fs 를 설치해보았다. 1. s3fs-fuse 를 위한 기본 패키지 설치 # yum install automake fuse-devel gcc-c++ git libcurl-devel libxml2-devel m..
-
rclone 으로 오브젝트 스토리지에 파일 동기화 하기NAVER Cloud 2020. 2. 7. 11:29
rclone 은 클라우드 스토리지 간 동기화 또는 로컬 서버에 있는 파일을 주기적으로 오브젝트 스토리지에 동기화 할 수 있는 커맨드 기반의 프로그램이다. (참고 https://rclone.org ) rclone - rsync for cloud storage Twitter. Facebook. Reddit. rclone.org AWS , Azure, GCP 의 오브젝트 스토리지 뿐 아니라 AWS S3 API 가 호환되는 네이버 클라우드 플랫폼 (Ncloud) 의 오브젝트 스토리지에서도 rclone 을 사용할 수 있다. Ncloud 오브젝트 스토리지 https://www.ncloud.com/product/storage/objectStorage NAVER CLOUD PLATFORM cloud computing ..
-
squid proxy 를 활용한 object storage 접근 제어HOWTO 2020. 1. 29. 09:37
특정 IP 만 object storage 에 접근하도록 설정하고 싶을 때 squid proxy 를 활용할 수 있다. 아래 링크에도 나오지만 폐쇄망에 존재하는 서버들이 object storage 또는 Yum repo 에 접근해야 할 때 참고할 수 있는 구성이다. 설치와 구성방법은 간단하다. 먼저 squid proxy 용도로 사용할 서버를 생성하고 object storage 에 접근할 수 있도록 Security Group 을 설정하고 아래와 같이 squid proxy 패키지를 설치한다. 필자의 경우에는 네이버클라우드플랫폼에 서버를 만들었고, object storage 에 접근할 때 squid proxy 를 통과하는지 확인하는 테스트 환경을 구성했다. 1. Client 서버와 Squid Proxy 서버 생성 ..
-
네이버클라우드플랫폼에서 Windows 서버 백업 오브젝트 스토리지에 보관하기 - 2NAVER Cloud 2019. 1. 14. 11:33
2019/01/14 - [Naver Cloud Platform] - 네이버클라우드플랫폼에서 Windows 서버 백업 오브젝트 스토리지에 보관하기 - 1 를 통해 백업을 수행할 Windows 서버와 네이버클라우드플랫폼의 오브젝트 스토리지 조회 테스트까지 수행하였다. 이제는 진짜 백업을 수행 후 오브젝트 스토리지에 업로드하고 백업 내용을 새로운 서버에 다운로드 하여 복구를 진행해 보려고 한다. 1. Windows Backup 수행 wintest1 서버에서 C:\bksource 하위의 파일들을 Windows backup 을 통해 D:\ 에 저장한다. 시작 -> Windows Server Backup 검색 아래 이미지를 참고하여 백업을 진행한다. 2. 백업 파일 오브젝트 스토리지로 업로드백업이 정상적으로 완료되..
-
네이버클라우드플랫폼에서 Windows 서버 백업 오브젝트 스토리지에 보관하기 - 1NAVER Cloud 2019. 1. 14. 10:09
서버를 운영하다 보면 백업의 보관 주기나 보관 위치에 대해 고민하게 된다. 특히나 저장소 공간이 여유롭지 않은 경우 백업을 받아서 저장을 하긴 해야하는데 로컬 디스크에 계속 보관하기에는 부담스러울 경우 백업을 로컬디스크에 받은 후 오브젝트 스토리지로 옮겨두는 것을 권장한다. 네이버클라우드플랫폼에서도 AWS 의 S3 와 동일한 오브젝트 스토리지 서비스를 제공하는데 비용은 S3 보다 저렴하고 CLI 나 API 는 AWS 와 동일하게 사용하므로 비용이 고민된다면 네이버클라우드플랫폼으로 이관하는 것도 검토해 볼 만한 사안이라고 생각된다. 여기 예제에서는 Windows 서버에 파일을 로컬 드라이브에 저장한 후 오브젝트 스토리지로 업로드 하고 업로드 한 파일을 새로운 Windows 서버에 다운로드해서 복구를 진행한..