『Data Bonanza』

빅데이터 시대의 위기 요인 1. 사생활 침해 내용: 개인정보가 포함된 데이터를 목적 외에 활용할 경우 사생활 침해를 넘어 사회&경제적 위협으로 변형될 수 있다. 예시: 여행 사실을 트위트 한 사람의 집을 강도가 노리는 고전적 사례 발생, 미국 NSA(National Security Agency)가 매일 17억개의 이메일, 전화통화, 기타 통신 내용 수집 및 저장함 해결: 익명화(**표시) 기술, 난수화(x,y표시) 기술 2. 책임 원칙 훼손 내용: 빅데이터 기본 분석과 예측 기술이 발전하면서 정확도가 증가한 만큼, 분석 대상이 되는 사람들은 예측 알고리즘의 희생양이 될 가능성도 증가한다. 민주주의 국가에서는 잠재적 위협이 아닌 명확한 결과에 대한 책임을 묻고 있어 이에 따른 원리를 훼손할 가능성이 있다...

비식별 기술이란 데이터 셋에서 개인을 식별할 수 있는 요소를 전부 또는 일부 삭제하거나 다른 값으로 대처하는 등의 방법으로 개인을 알아볼 수 없도록 하는 기술 1. 데이터 마스킹 데이터의 길이, 유형, 형식과 같은 속성을 유지한 채, 새롭고 읽기 쉬운 데이터를 익명으로 생성하는 기술 예: 홍길동, 20세, 궁미도 거주, 율도대 -> 홍 * * , 20세, 궁미도 거주, * * 대 2. 가명처리 개인 식별에 중요한 데이터를 식별할 수 있는 다른 값으로 변경하는 기술 다른 값으로 대체 시 일정한 규칙이 노출되지 않도록 주의해야 함 → 난수화[Random number] : 규칙적이지 않게 나열되어 예측이 불가능한 숫자 에: 홍길동, 20세, 궁미도 거주, 율도대 재학 -> 홍길동, 20세, 궁미도 거주, 국내..

- 메타데이터: 데이터에 관한 구조화된 데이터로 다른 데이터를 설명해주는 데이터 - OLAP(On-line Analytical Processing): 다양한 비즈니스 관점에서 쉽고 빠르게 다차원적인 데이터에 접근하여 의사결정에 활용할 수 있는 정보를 얻을 수 잇는 기술 (데이터 조회 위주 - 단순) - OLTP(On-line Transaction Processing): 호스트 컴퓨터가 데이터베이스를 액세스하고, 바로 처리 결과를 돌려보내는 형태 (데이터 갱신 위주 - 복잡) => OLTP에서 처리된 트랜잭션 데이터를 분석해 제품의 판매 추이, 구매 성향 파악, 재무 회계 분석 등을 프로세싱

데이터 매쉬업(mash up)에서 매쉬업은 무슨뜻일까? 여러 컨텐츠를 복합하다. 라는 뜻입니다. 영어 사전에서는 mash up ① 충분히 으깨다. ②엉망진창으로부수뜨리다. 이런 뜻인데, mashup (붙여쓰기)로 고유명사화 되어 원래 서로 다른 곡을 조합하여 새로운 노래를 만들어 낸다 는 음악용어지만, IT분야에서는 웹상에서 웹 서비스 업체들이 제공하는 다양한 정보와 서비스를 혼합하여 새로운 서비스를 개발하는 것 을 의미한다.

1. 빅데이터의 정의 좁은 의미의 정의 - 가트너 그룹의 3V: Volume + Variety + Velocity (+value까지 4V) 중간 범위의 정의 - 데이터 자체뿐 아니라, 처리, 분석 기술적 변화까지 포함 - 데이터 처리, 저장, 분석 기술 및 아키텍쳐 - 클라우드 컴퓨팅 활용 넓은 범위의 정의 - 인재, 조직 변화까지 포함 - Data Scientist 같은 새로운 인재 필요 - 데이터 중심 조직 2. 빅데이터 활용의 3요소 데이터: 모든 것의 데이터화 기술: 진화하는 알고리즘, 인공지능 인력: 데이터사이언티스트, 알고리즈미스트 3. 빅데이터가 만들어 내는 본질적인 변화 사전처리 -> 사후처리 표본조사 -> 전수조사 질 -> 양 인과관계 -> 상관관계

예전에도 봣던 책인데, 우연히 북러닝 코스에도 있어 또 한번 읽어보았다. 김옥기 저자님에 대해서는 데이터분석을 종사하면서 종종 들어보았다. (외부강연 등도 많이 하신것으로 알고 있다) 책을 읽으면서 느낀점은 이분은 현업 적용 업무를 많이 하셨구나.. 느꼈다. (내공이 다르달까...?) (데이터 분석 업무를 하다보면 진정한 고수와 허수를 구분할 능력이 늘어가는것 같다..) 데이터 과학 무엇을 하는가? 현직 데이터 과학자가 알려주는 실무 적용 방법! 김옥기 지음 | 이지스퍼블리싱 | 2018년 05월 25일 출간 www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791163030096&orderClick=LEa&Kc= 데이..

북러닝 교재는 처음 배우는 데이터 과학 통계, 수학, 머신러닝, 프로그래밍까지 | 데이터 과학자를 꿈꾸는 히치하이커를 위한 최고의 안내서 필드 케이디 지음 | 최근우 옮김 | 한빛미디어 | 2018년 02월 20일 출간 www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791162240472&orderClick=LAG&Kc= 처음 배우는 데이터 과학 - 교보문고 프로그래밍 경험은 많지만 통계나 데이터 분석을 잘 모르거나, 반대로 이론은 잘 알지만 실제로 데이터를 다루는 프로그래밍 경험이 없다면 데이터 과학을 어떻게 공부해야 할지 막막하기 마련 www.kyobobook.co.kr 1. 머신러닝은 초창기 인공지능 연구와 맥..

이틀 연속 미국시장이 작살났었는데, 오늘 그래도 획복했었다. 몰아서 더 사야할지, 더 떨어질지 감을 못잡겠다. 1. 매수 ARKK (ARK Innovation ETF): 137.0000 (1주) ARKF (ARK Fintech Innovation ETF): 52.8500 (1주) 2. 매도 해당없음 3. 계좌현황 ARKF (ARK Fintech Innovation ETF): 55.1000 (4주) ARKK (ARK Innovation ETF): 139.7600 (2주) ARKG (Genomic Revolution ETF): 109.5300(1주)

오늘의 ARK ETF는 오르다가 내리는 형태의 장의 보여주었다. 장 초반에 샀다가 조금 손해가 있다..ㅠ 1. 매수 ARKF (ARK Fintech Innovation ETF): 55.8500 - 3주 2. 매도 해당없음 3. 계좌현황 ARKF (ARK Fintech Innovation ETF): 55.8500 - 3주 ARKK (ARK Innovation ETF): 142.7700 - 1주 ARKG (Genomic Revolution ETF): 109.5300 - 1주

미국 ETF를 추천받아 매매하려고 한다. 1. 매수 ARKK (ARK Innovation ETF): 142.7700 - 1주 ARKG (Genomic Revolution ETF): 109.5300 - 1주 2. 매도 해당없음 3. 계좌현황 ARKK (ARK Innovation ETF): 142.7700 (1주) ARKG (Genomic Revolution ETF): 109.5300 (1주)