『Data Bonanza』

현대중공업그룹 제2회 조선/해양 산업 디지털 혁신을 위한 Big Data/AI 대학생 경진대회 ■ 참여 주제 - 제조 공정 지능화를 위한 빅데이터 및 AI 과제 * 세부 내용은 서류 통과자에게만 개별 통보 됩니다. ■ 참가 대상 - 국내 거주자로서 전국 대학생 및 대학원생 * 각 팀당 1~3명까지 대학생과 대학원생으로 팀 구성 가능 * 휴학생 포함 (단, 박사과정 제외) ■ 공모일정 - 1월 3일 ~ 14일 : 1차 접수 - 1월 18일 : 본선팀 선발 및 안내 - 1월 24일 : 본선팀 오리엔테이션 - 2월 18일 : 과제 제출 마감 - 2월 21일 : 참가팀 온라인 PT - 2월 25일 : 결과 발표 및 시상 ■ 시상내역 - 최우수상 1팀 - 500만원 - 우수상 2팀 - 300만원 - 장려상 3팀 ..

프레이밍 효과 (Framing effect) 문제의 표현 방식에 따라 동일한 사건이나 상황임에도 불구하고 개인의 판단이나 선택이 달라질 수 있는 현상 대표적인 예로, 1. 물이 반이나 남았네 vs 물이 반밖에 안남았네 2. 사망률 30% vs 생존률 70% - 병원에서 환자의 수술 생존율이 70%인 경우 의사가 내놓을 수 있는 답변은 두 가지다. 첫째는 사망률이 30%라는 점이고, 둘째는 성공률이 70%라는 답변이다. 둘 모두 결과는 같지만 어느 쪽에 돋보기를 두느냐에 따라 해석이 정반대로 바뀔 수 있다는 얘기다.

본 자료는 ADP/ADsP에 교재에서 참고한 글이다. 빅데이터는 시각화와 초대형 데이터 처리를 위한 NoSQL을 사용한다는 특징이 있다. NoSQL은 기존 관계형 데이터베이스 관리 시스템(RDBMS)와 다르게 비관계형(non-realation) DBMS으로 대규모 데이터 처리에 강점이 있음 (예: 하둡)

1. CDC의 개념 및 특징 CDC(Change Data Capture): 데이터베이스 내 데이터에 대한 변경을 식별해 필요한 후속 처리(데이터 전송/공유 등)를 자동화 하는 기술 또는 설계 기법 데이터 베이스 A에서 B로 데이터를 옮길때는 ETL과정이 필요하나 여러가지 문제 (대용량으로 인한 속도, 기존 데이터 훼손 등)로 CDC작업을 수행 2. CDC 구현 기법 가. Time Stamp on Rows - 변경이 반드시 인지되어야 하는 테이블 내 마지막 변경 시점을 기록하는 타임스탬프 칼럼을 두고, 마지막 변경 타임스탬프 값보다 더 최근의 타임스탬프 값을 갖는 레코드를 변경된 것으로 식별하는 기법이다. ​ 나. Version Numbers on Rows - 변경이 반드시 인지되어야 하는 테이블 해당 레..

빅데이터 시대의 위기 요인 1. 사생활 침해 내용: 개인정보가 포함된 데이터를 목적 외에 활용할 경우 사생활 침해를 넘어 사회&경제적 위협으로 변형될 수 있다. 예시: 여행 사실을 트위트 한 사람의 집을 강도가 노리는 고전적 사례 발생, 미국 NSA(National Security Agency)가 매일 17억개의 이메일, 전화통화, 기타 통신 내용 수집 및 저장함 해결: 익명화(**표시) 기술, 난수화(x,y표시) 기술 2. 책임 원칙 훼손 내용: 빅데이터 기본 분석과 예측 기술이 발전하면서 정확도가 증가한 만큼, 분석 대상이 되는 사람들은 예측 알고리즘의 희생양이 될 가능성도 증가한다. 민주주의 국가에서는 잠재적 위협이 아닌 명확한 결과에 대한 책임을 묻고 있어 이에 따른 원리를 훼손할 가능성이 있다...

1. 빅데이터의 정의 좁은 의미의 정의 - 가트너 그룹의 3V: Volume + Variety + Velocity (+value까지 4V) 중간 범위의 정의 - 데이터 자체뿐 아니라, 처리, 분석 기술적 변화까지 포함 - 데이터 처리, 저장, 분석 기술 및 아키텍쳐 - 클라우드 컴퓨팅 활용 넓은 범위의 정의 - 인재, 조직 변화까지 포함 - Data Scientist 같은 새로운 인재 필요 - 데이터 중심 조직 2. 빅데이터 활용의 3요소 데이터: 모든 것의 데이터화 기술: 진화하는 알고리즘, 인공지능 인력: 데이터사이언티스트, 알고리즈미스트 3. 빅데이터가 만들어 내는 본질적인 변화 사전처리 -> 사후처리 표본조사 -> 전수조사 질 -> 양 인과관계 -> 상관관계