『Data Bonanza』

본 자료는 ADP/ADsP에 교재에서 참고한 글이다. 빅데이터는 시각화와 초대형 데이터 처리를 위한 NoSQL을 사용한다는 특징이 있다. NoSQL은 기존 관계형 데이터베이스 관리 시스템(RDBMS)와 다르게 비관계형(non-realation) DBMS으로 대규모 데이터 처리에 강점이 있음 (예: 하둡)

1. 데이터 웨어하우스 데이터 웨어하우스는 ODS를 통해 정제 및 통합된 데이터가 데이터 분석과 보고서 생성을 위해 적재되는 데이터 저장소 2. 데이터 웨어하우스의 테이블 모델링 기법 스타 스키마 (조인 스키마): Fact Table은 제 3정규형으로 모델링, Dimensional Table은 제 2정규형으로 모델링 - 장점: 스노우 플레이크 스키마에 비해 복잡도가 낮아서 이해하기 쉽고, 쿼리 작성이 용이하고 조인 테이블 개수가 적다. - 단점: 차원 테이블들의 비정규화에 따른 데이터 중복으로 인해 테이블로 데이터를 적재할 때 상대적으로 많은 시간이 소요된다. 스노우 플레이크 스키마: 차원 테이블을 제 3정규형으로 모델링 - 장점: 데이터의 중복이 제거돼 데이터 적재시 시간이 단축된다. - 단점: 스타 ..

1. ETL의 개념 및 특징 ETL(Extraciton, Transformation and Load)은 데이터의 이동 및 변환 절차와 관련된 업계 표준 용어이다. 다양한 데이터 원천으로부터 데이터를 추출 및 변환하여 운영 데이터 스토어(ODS, Operation Data Store), 데이터 웨어하우스(DW, Data Warehouse), 데이터 마트(DM, Data Mart)등에 데이터를 적재하는 작업의 핵심 구성요소이다. MPP(Massive Parallel Processing)을 지원 2. ETL의 작업 단계 3. ODS 구성단계 인터페이스 단계: 다양한 데이터 원천(Source)으로 부터 데이터를 획득하는 단계 스테이징 단계: 데이터 원천들로부터 트랜잭션 데이터들이 추출되어 하나 또는 그 이상의 ..