전체 글

[ADsP] 3-1 R 기초와 데이터 마트

R R은 오픈소스 프로그램으로 통계, 데이터 마이닝을 위한 언어 Window, Max, Linux에서 사용 가능 객체지향 언어이며, 함수형 언어. R Studio 메모리에 변수가 어떻게 되어있는지와 타입이 무엇인지를 볼 수 있고, 스크립트 관리와 Documentation이 편리 스크립트용 프로그래밍으로 어렵지 않고 쉽게 자동화가 가능 데이터 마트 데이터 웨어하우스(DW)의ㅣ 사용자 사이의 중간층에 위치한 것으로, 하나의 주제 또는 하나의 부서 중심의 데이터 웨어하우스라고 한다. 데이터 마트 내 대부분의 데이터는 DW로부터 복제되지만, 자체적으로 수집될 수 있으며, 관계형DB등으로 구축한다 동일한 데이터셋을 활용할 경우, 최신 분석 기법등를 이용하면 분석가의 역량에서 분석 효과가 크게 차이난다. 데이터 마..

[ADsP] 2-2 분석 마스터 플랜

마스터 플랜 수립 프레임 워크 ★ ★ - 분석 과제를 대상으로 다양한 기준을 고려해 적용 우선순위를 설정하고, 데이터 분석 구현을 위한 로드맵을 수정한다. 우선순위 고려 요소 1. 전략적 중요도 : 전략적 필요성, 시급성 2. 비즈니스 성과 / ROI 3. 실행 용이성 : 투자 용이성, 기술 용이성 적용범위/방식 고려요소 1. 업무 내재화 적용 수준 2. 분석 데이터 적용 수준 3. 기술 적용 수준 ex) 중장기적 마스터플랜 수립을 위해서는 분석 과제를 대상을 다양한 기준을 고려해 적용할 우선순위를 설정할 필요가 있다. 분석 과제의 적용 범위 및 방식에 대해서도 종합적으로 고려하여 결정한다. 분석 과제 수행의 선후관계 분석을 통해 전체 과제를 반복적이고 순환적으로 작성한다. (X) 일반적인 IT 프로젝트..

[ADsP] 2-1 데이터 분석 기획의 이해

데이터 유형 ★ 정형 데이터 - 정형된 DB 형태의 데이터 반정형 데이터 - 센서, 스트리밍, 머신 데이터 비정형 데이터 - 소셜 데이터 분석 기획 - 실제 분석을 수행하기에 앞서 분석을 수행할 과제를 정의하고, 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 일련의 작업 데이터 사이언티스트의 역량 수학/통계학적 지식 정보기술 (IT, 해킹, 통신 기술 등) 해당 비즈니스의 이해 분석 대상과 방법 ★ ★ 분석의 대상 (What) Known Un-Known 분석의 방법 (How) Known 최적화 (Optimization) 통찰법 (Insight) Un-Known 해결책 (Solution) 발견 (Discovery) ex) 분석 대상을 모르나, 기존 분석 방식을 활용..

[ADsP] 1-3 가치 창조를 위한 데이터 사이언스와 전략 인사이트

산업별 분석 애플리케이션 금융 서비스 - 신용점수 산정, 사기 탐지, 가격 책정, 고객 수익성 분석, 클레임 분석 병원 - 가격 책정, 고객 로열티, 수익 관리 에너지 - 트레이딩, 공급, 수요 예측 정부 - 사기 탐지, 사례 관리, 범죄 방지, 수익 최적화 ex) 다음은 어느 산업 데이터의 일차원적인 분석 애플리케이션 사례인가? 트레이딩, 공급, 수요예측 (에너지) ( -- ) 란 데이터로 부터 의미있는 정보를 추출해내는 학문이며, 정형 또는 비정형 데이터를 막론하고 인터넷, 휴대전화, 감지용 카메라등에서 생성되는 숫자와 문자, 영상 정보등 다양한 유형의 데이터를 대상으로하며, 분석 뿐 아니라 이를 효과적으로 구현하고 전달하는 과정까지 포함한 포괄적 개념이다. (데이터사이언스) 데이터 사이언스의 영역 ..

[ADsP] 1-2 데이터의 가치와 미래

빅데이터의 3V ★ 양 (Volume) - 데이터의 규모 다양성 (Variety) - 데이터의 유형과 소스 속도 (Velocity) - 데이터의 수집과 처리 - 추가적으로 가치 (Value), 시각화 (Visualization), 정확성 (Veracity) 등이 있다. 빅데이터 정의의 범주 및 효과 ★ 데이터 변화 - 규모, 형태, 속도 기술 변화 - 데이터 처리-저장-분석 기술 및 아키텍쳐, 클라우드 컴퓨팅 활용 인재, 조직변화 - Data Scientist 같은 새로운 인재 필요, 데이터 중심 조직 ex) 빅데이터의 출현 배경으로는 산업계에서 일어나 변화를 보면 빅데이터의 현상은 양질 전환 법칙으로 설명할 수 있다. 빅데이터의 출현 배경으로는 학계에서도 빅데이터를 다루는 현상들이 늘어나고 있다. ex..

[ADsP] 1-1 데이터의 이해 요약정리

데이터의 정의 ★ - 데이터는 추론과 추정의 근거를 이루는 사실이다. 존재적 특성- 객관적 사실 당위적 특성- 추론, 예측, 전망, 추정을 위한 근거 클라우드 컴퓨팅 - 빅데이터 분석에 경제적 효과를 제공해준 기술로 가장 적절하다. 빅데이터 분석에 경제성을 제공해준 결정적 기술 대규모 데이터가 모이는 곳 신속한 처리비용 하락 데이터의 특징 ★ - 지역별 온도, 풍속, 강우량과 같이 수치로 명확하게 표현되고 데이터의 양이 크게 증가 하더라도 이를 관리하는 시스템에 저장, 검색, 분석하여 활용하기가 매우 용이하다. ex) 정량적 데이터 -> 강수량(정량), 온도(정량), 풍속(정량) 정성적 데이터 -> 기상특보(정성) 정성적 데이터 - 언어, 문자 형태의 데이터 (회사 매출의 증가 등) 정량적 데이터 - 수..

[SQL 개발자(SQLD)] 자격증 취득 공부 후기

SQL과는 연관이 전혀 없어서 정보처리기사 공부할때도 최소한만 하자.. 라고 생각했었지만 현재 실무에서 처리하고자 하는 양이 점차 많아짐에 따라 MariaDB를 사용하게되어 겸사겸사 SQL을 공부할겸 자격증 취득을 위해 공부하였다. 심지어 SQLD에 대해 찾아보니, 공기업에서도 % 가산점을 줄 뿐더러 국가공인 자격증이라 꽤나 괜찮아보였다. 우선 아래는 데이터자격시험에서 가져온 내용들이다. 소개https://www.dataq.or.kr/www/sub/a_04.do데이터자격시험SQL(Structured Query Language)은 데이터베이스를 직접적으로 액세스할 수 있는 언어로, 데이터를 정의하고(Data Definition), 조작하며(Data Manipulation), 조작한 결과를 적용하거나 취소할..

[백준 / BOJ] C++ 11279 최대 힙

https://www.acmicpc.net/problem/11279 11279번: 최대 힙 첫째 줄에 연산의 개수 N(1 ≤ N ≤ 100,000)이 주어진다. 다음 N개의 줄에는 연산에 대한 정보를 나타내는 정수 x가 주어진다. 만약 x가 자연수라면 배열에 x라는 값을 넣는(추가하는) 연산이고, x가 0 www.acmicpc.net 문제 풀이 그냥 간단하게 우선순위큐로 구현하여 풀 수 있다. 다만 시간초과가 계속나서 신경을 써야한다.. 시간제한 1초라니 C++ 개행을 endl로 해도 시간초과가 날정도로 짧다. 아래는 코드이니 참조하자. Code ( C++ ) #include #include using namespace std; int main() { ios::sync_with_stdio(false); ..