데이터카탈로그
-
Data Flow 로 데이터 머지(data merge) 하기NAVER Cloud 2024. 4. 15. 17:49
네이버클라우드에는 22년 Data Catalog 를 시작으로 Data Flow, Data Query 등 데이터 분석 환경 구성 시 기본적으로 필요한 상품들이 추가되고 있다. 데이터 분석 파이프 라인 구성 시 데이터 변환, 정제를 위한 ETL 도구인 Data Flow 를 활용하여 오브젝트 스토리지에 추가된 CSV 파일을 data catalog DB 에 추가하는 테스트를 진행해 보았다. 1. Data Catalog 에 데이터베이스 생성 데이터베이스를 생성하면 오브젝트스토리지 버킷 df-source 에 데이터베이스 이름과 동일한 버킷 생성됨 (datacatalog-customer/customerdb) 2. 생성한 데이터베이스에 source file customers-100.csv 에 대한 테이블 생성 1)테이..