『Data Bonanza』

이제부터 출제영역에 대해 미리 안내가 없다고 한다. (예전에는 머신러닝 1개, 텍스트 1개 등으로 나옴...) 참고: www.dataq.or.kr/www/board/view.do 제20회 데이터분석 전문가(ADP) 실기시험 응시에 관한 사항을 아래와 같이 안내드립니다. 1. 일시 및 장소 o 일시: 2021년 3월 27일(토) 13:00~17:00(240분) * 입실시간: 11:50~12:30분, 입실가능시간 엄수 (사전 안내사항 전달 및 검정PC 확인시간 소요) ※ 발열체크 등으로 인한 소요시간을 예상하여 일찍 도착 요망 ※ 입실시간 이전 건물 내 출입 불가 * 신분증 지참 필수(신분증 미지참자 응시 절대 불가) o 장소 - 제1고사장(중구): 성동공업고등학교 창조관 - 서울 중구 다산로 290 * 가..

1. 시각화 전통적 데이터 분석 과 빅데이터 분석의 차이는 "시각화" EDA과정은 시각화가 필수 2. 공간분석 공간분석(spatial analysis): 공간적 차원과 관련된 속성들을 시각화 3. 탐색적 자료 분석(EDA) 특이한 점이나 의미 있는 사실을 도출하고 분석의 최종 목적을 달성해가는 과정 구조적 관계를 알아가는 과정 4가지 주제: 저항성 강조, 잔차 계산, 자료변수의 재표현, 그래프를 통한 현시성 4. 통계분석 기술통계(descriptive statistics): 표본데이터에 대해 숫자나 그래프로 표현 추론통계(inferential statistics): 표본의 표본통계량으로 부터 모집단의 특성인 모수에 관해 통계적으로 추론 5. 데이터 마이닝 대용량 데이터에 대해 관계, 패턴, 규칙등을 탐색..

1. 분석과제 발굴 방법론 개요 하향식 접근법과 상향식 접근법 상향식 (바텀-업) 접근법의 대표적인 방법론: 프로토타입 모델 하향식 (탑-다운) 접근법의 대표적인 방법론: 폭포수 모델 최적의 의사결정은 두 접근방식의 상호 보완 관계 → 디자인 씽킹 2. 하향식 접근법 1) 문제 탐색 ① 비즈니스 모델 기반 문제 탐색 비즈니스 모델 캔버스를 활용한 과제 발굴 방법 5가지 영역 ② 분석 기회 발굴의 범위 확장 분석 기회 발굴의 범위 확장의 4가지 관점 - 거시적 관점의 메가 트렌드: STEEP (social, technological, economic, enviromental, political) - 경쟁자 확대 관점: 대체재, 경쟁자, 신규 진입자 - 시장의 니즈 탐색 관점: 고객, 채널, 영향자 - 역량..

1. 메모리 가상화: VMware 기법 VMware는 한대의 컴퓨터로 마치 여러 대의 컴퓨터를 사용하는 것 같은 가상의 공간을 만들어 주는 프로그램 VMware는 하이퍼바이저 내에 Shadow Page Table을 별도로 두어 VPN과 MPN의 중간 변환 과정을 가로챔 (매핑) 매핑 연산을 하드웨어적으로 도와주는 것을 TLB(Translation Lookaside Buffer) 하이퍼바이저의 핵심 모듈은 VMkernel VMkernel: 서비스 콘솔, 디바이스 드라이버들의 메모리 영역을 제외한 나머지 전체 메모리 영역을 모두 관리하면서 가상머신에 메모리를 할당 * 예시) 가상 머신 메모리 할당 - 예를 들어, 여러 개의 가상머신이 동시에 수행중인 경우라면 위의 그림과 같은 메모리 사용 상황이 발생할 수 ..

1. 대용량 로그 데이터 수집 가. 로그(log) 로그(log)는 기업에서 발생하는 대표적인 비정형 데이터로, 과거에는 문제 상황 보존을 위해 사용됐고, 최근에는 마케팅/영업 전략 수립을 위한 사용자의 형태 분석 등에 사용된다. 용량이 방대하기 때문에 이를 분석하기 위해서는 고성능과 확장성을 가진 시스템이 필요하다. 로그 데이터 수집 시스템의 예 : 아파치 Flume-NG, 페이스북 Scribe, 아파치 Chukwa 등 ​ 나. 대용량 비정형 데이터 수집 시스템의 특징 초고속 수집 성능과 확장성 데이터 전송 보장 메커니즘 다양한 수집과 저장 플러그인 인터페이스 상속을 통한 애플리케이션 기능 확장 2. 대규모 분산 병렬 처리 (하둡) 하둡(Hadoop)은 대규모 분삭 병렬 처리의 업계 표준인 맵리듀스(Ma..

1. 데이터 웨어하우스 데이터 웨어하우스는 ODS를 통해 정제 및 통합된 데이터가 데이터 분석과 보고서 생성을 위해 적재되는 데이터 저장소 2. 데이터 웨어하우스의 테이블 모델링 기법 스타 스키마 (조인 스키마): Fact Table은 제 3정규형으로 모델링, Dimensional Table은 제 2정규형으로 모델링 - 장점: 스노우 플레이크 스키마에 비해 복잡도가 낮아서 이해하기 쉽고, 쿼리 작성이 용이하고 조인 테이블 개수가 적다. - 단점: 차원 테이블들의 비정규화에 따른 데이터 중복으로 인해 테이블로 데이터를 적재할 때 상대적으로 많은 시간이 소요된다. 스노우 플레이크 스키마: 차원 테이블을 제 3정규형으로 모델링 - 장점: 데이터의 중복이 제거돼 데이터 적재시 시간이 단축된다. - 단점: 스타 ..