- 빅데이터 분석을 위한 방안을 수립하고 세부적인 작업을 계획.
- 분석 과제 도출 방법으로 상향식 접근 방법과 하향식 접근 방식의 차이점을 확인하며 공부
- 빅데이터 분석 방법론의 각 단계와 작업들을 설명할 수 있어야 함.
- 데이터 확보 방안 및 프로젝트 관리를 위한 요소들을 학습
01. 분석 방안 수립
01. 데이터 분석
데이터 분석은 대용량의 데이터 집합으로 부터 유용한 데이터를 찾고 결과를 예측하기 위해 목적에 따라 분석기술과 방법론을 기반으로 정형 • 비정형 대용량 데이터를 구축, 탐색, 분석하고 시각화를 수행하는 업무
* 데이터 분석 : 인사이트를 발굴하고 이를 공유하는 의사결정을 지원하는 것을 목표로 데이터를 정의, 수집, 변환, 모델링, 시각화 하는 과정
1) 데이터 분석의 현황
- 대다수 기업들은 빅데이터가 갖고 있는 비즈니스 잠재력을 규명하는 초기 프로젝트에 머무르고 있음.
- 빅데이터를 활용하기 위한 장애물은 비용보다 데이터 분석을 수행하기 위한 분석적 방법과 성과에 대한 이해의 부족
* 빅데이터는 경제나 사회 의료 등 전 영역에 걸쳐 가치 있는 정보를 제공할 수 있어 그 중요성이 더 크게 인신되고 있다.
2) 데이터 분석의 지향점
* 소규모 부서 단위로 진행되는 데이터 분석과 달리 좀 더 넓은 시야에서의 핵심적인 비즈니스 이슈에 대한 답을 찾는 데이터 분석이 필요하다.
① 전략적 통찰이 없는 데이터 분석 재제
② 일차원적인 데이터 분석 지양
③ 전략 도출을 위한 가치 기반 데이터 분석 지향
* 기업의 핵심가치와 관련하여 전략적 통창력을 가져다 주는 데이터 분석을 내재화하기는 쉽지 않다.
3) 데이터 분석에 대한 회의론
- 솔루션을 도입한 후 어떻게 활용하여 가치를 창출할 수 있을지 다시 또 과제를 수행해야 하는 상황이 반복되며 고가의 솔루션을 방치하고 있다.
- 현재 소개되고 있는 빅데이터 분석 성공사계들의 대다수가 기존 데이터 분석 프로젝트를 재포장한 경우이다.
4) 데이터 분석 시 고려사항
- 데이터 분석은 규모가 아니라 어떤 시각과 통찰을 얻을 수 있는가의 문제이다.
- 비즈니스 핵심에 대해 객과적이고 종합적인 통찰을 가져다 줄 수 있는 데이터를 찾아야함.
- 시장과 고객의 변화에 효과적으로 대응하는 것이 중요
* 빅데이터 분석도 기존의 데이터 분석과 마찬가지로 데이터에서 인사이트를 발굴하여 성과를 창출하는 것이 관건이다.
02. 데이터 분석 기획
의도했던 결과를 도출할 수 있도록 적절하게 관리할 수 있는 방안을 사전에 계획하는 작업
* 분석 기획은 분석 과제 및 프로젝트를 직접 수행하는 것은 아니지만, 성공적인 분석 결과를 도출하기 위한 중요한 사전 작업이다.
* 분석 기획의 절차
비즈니스 이해및 범위 설정 >> 프로젝트 정의 >> 프로젝트 수행 계획 수립 >> 프로젝트 위험 계획 수립
1) 분석 기획의특징
① 분석 대상과 방법에 따른 분류
1. 최적화 (Optimization)
• 대상 (What): 알고 있는 목표와 제약 조건
• 방식 (How): 알고 있는 방법과 모델
• 설명: 최적화는 우리가 이미 알고 있는 목표와 제약 조건을 바탕으로, 이를 달성하기 위해 우리가 알고 있는 방법과 기법을 사용하는 과정입니다. 즉, 문제와 목표가 명확히 정의되어 있고, 이 문제를 해결하기 위한 기존의 방법을 적용하여 최적의 해결책을 찾습니다.
예시)
• 문제: 여러분의 학교에서는 매주 소풍을 가야 하는데, 학생들이 최대한 만족스럽게 소풍을 즐길 수 있도록 최적의 장소와 활동을 선정하고 싶습니다.
• 방법: 소풍 장소와 활동에 대한 다양한 옵션을 알고 있으며, 이를 평가하고 비교하기 위한 방법(예: 점수 매기기, 우선순위 정하기 등)도 알고 있습니다.
• 과정: 알고 있는 목표(학생들이 만족할 소풍)와 제약 조건(예: 예산, 거리 등)을 바탕으로, 알고 있는 방법을 사용하여 최적의 소풍 계획을 수립합니다.
2. 통찰 (Insight)
• 대상 (What): 모르는 새로운 정보나 패턴
• 방식 (How): 알고 있는 분석 방법
• 설명: 통찰 분석은 우리가 이미 가지고 있는 데이터에서 새로운 정보나 패턴을 발견하는 과정입니다. 데이터에 대해 미리 알고 있는 분석 방법을 사용하여, 데이터에서 숨겨진 유용한 인사이트를 발견하려고 합니다.
예시)
• 문제: 여러분이 학교의 시험 성적 데이터를 가지고 있으며, 이 데이터에서 학생들의 성적 변화에 대한 새로운 인사이트를 발견하고 싶습니다.
• 방법: 데이터 분석 기법(예: 그래프 그리기, 평균 계산 등)을 알고 있으며, 이를 활용하여 새로운 정보를 발견하려고 합니다.
• 과정: 이미 가지고 있는 데이터 분석 방법을 사용하여, 데이터에서 학생들의 성적 변화와 관련된 중요한 패턴이나 인사이트를 발견합니다.
3. 해결 (Solution)
• 대상 (What): 알고 있는 문제와 원인
• 방식 (How): 모르는 해결 방법이나 기법
• 설명: 해결책 분석은 특정 문제의 원인과 해결 방법을 알아내기 위해, 새로운 접근 방식이나 방법을 사용하여 문제를 해결하는 과정입니다. 문제는 이미 정의되어 있지만, 해결 방법에 대해 새로운 접근을 시도합니다.
예시)
• 문제: 학교에서 학생들이 자주 지각하는 문제가 발생하고 있습니다. 이 문제의 원인은 알고 있지만, 해결 방법에 대해 새로운 접근이 필요합니다.
• 방법: 문제 해결을 위해 새로운 방법(예: 새로운 출석 관리 시스템 도입, 학생들에게 알림을 보내는 새로운 방법 등)을 탐색합니다.
• 과정: 알고 있는 문제의 원인을 해결하기 위해 새로운 방법을 시도하고, 이를 통해 문제를 해결하려고 합니다.
4. 발견 (Discovery)
• 대상 (What): 모르는 새로운 패턴이나 정보
• 방식 (How): 모르는 분석 방법이나 기법
• 설명: 발견 분석은 데이터에서 예상치 못한 새로운 정보나 패턴을 찾기 위해, 새로운 분석 방법이나 기법을 사용하는 과정입니다. 데이터에 대한 사전 지식이 없고, 새로운 기법을 통해 데이터를 탐색하여 새로운 인사이트를 찾아냅니다.
예시)
• 문제: 여러분이 학생들의 방과 후 활동 데이터를 가지고 있지만, 이 데이터에서 어떤 새로운 패턴이나 정보를 발견해야 합니다.
• 방법: 새로운 분석 기법(예: 클러스터링, 데이터 마이닝 등)을 사용하여 데이터를 탐색합니다.
• 과정: 알고 있지 않은 새로운 패턴이나 정보를 데이터에서 발견하기 위해 새로운 분석 방법을 사용합니다.
② 목표 시점에 따른 분류
• 단기적 접근 방식(과제 중심적 접근)
- 과제를 빠르게 해결하기 위한 목적\
- Quick - Win 방식으로 분석
• 중장기적 접근 방식(마스터 플랜 접근)
- 지속적인 분석 문화를 내재화하기 위한 목적
- 전사적으로 장기적인 관점에서 과를 도출하여 수행
• 혼합 방식(분석 기획 시 적합)
- 마스터 플랜을 수립하고 장기적 관점에서 접근하는 것이 바람직
2) 분석 기획 시 필요역량
① 분석 기획을 위한 기본적인 소양
- 도메인 지식과 정보기술, 수학 및 통계학적 지식이라는 3가지 역량에 대한 균형 잡힌시각을 갖고서 분석의 방향성과 계획을 수립하는 것
② 프로젝트 관리 역량과 리더십
- 3가지 소양과 함께 프로젝트 관리 역량과 분석 프로젝트를 잘 이끌어 갈 리더십이 중요
3) 분석 기획 시 고려사항
① 사용 가능한 데이터 확인
* 데이터는 형태에 따라 정형, 비정형 반정형 데이터로 분류
② 적합한 사례 탐색
③ 분석 수행 시 발생 가능한 요소 고려
[ 데이터 분석 유형]
| 설명 분석 (Descriptive Analysis) |
- 가장 기본이 되는 분석으로 데이터 요약 또는 집계하요 결과 도출 - 과거 또는 현재 발생한 사실 그 자체 설명 |
| 예측 분석 (Predictive Analysis) |
- 불확실한 사실을 사전에 예측하거나 가능성을 파악하기 위해 사용하는 분석 방법 |
| 진단 분석 (Diagnostic Analysis) |
- 데이터 간의 인과 관계 또는 상관 관계를 파악하여 원인을 밝히기 위한 분석 수행 |
| 처방 분석 (Prescriptive Analysis) |
- 예측되는 상황을 위해 무엇을 하면 좋을 지 대안을 제시 - 대안 도출과 의사 결정은 물론 일부 실행까지 진행하는 분석방법 |
03. 분석 마스터 플랜과 로드맵 설정
1) 분석 마스터 플랜
① 분석 마스터 플랜수립절차
- 일반적인 정보전략계획 방법론 활용 가능 / 다만 데이터 분석 시획의 특성을 고려해서 수행
- 데이터 분석 과제들을 빠짐없의 정의
- 중요도와 난이도를 고려하여 우선순위 결정
- 단기와 중장기로 나누어 분석 로드맵 수립
② 정보전략계획(ISP: Information Strategy Planning)
- 정보기술 및 시스템을 전략적으로 활용하기 위한 중장기 마스터 플랜을 수립하는 절차
- 조직 내외부 황경 분석 후 새로운 기회나 문제점을 도출
- 사용자 요구사항을 확인하여 시스템 구축 우선순위 결정
* 우선 순위 고려요소
전략적 중요도, 비즈니스 성과, ROI, 실행 용이성
* 적용범위/방식 고려요소
업무내재화 적용 수준, 분석데이터 적용 수준, 기술 적용 수준
2) 분석 과제 우선 순위 평가 기준
① IT 프로젝트의 과제 우선순위 평가기준
> 기업에서 고려화는 중요 가치 기준에 따라 다양한 관점으로 과제 우선순위 기준을 정의하여 평가
- 전략적 중요도
• 전략적 필요성
• 시급성
- 실행 용이성
• 투자 용이성
• 기술 용이성
② 데이터 분석 프로젝트의 우선순위 평가기준
> 우선순위 평가 기준을 정의하여, 기업이 처한 상황에 따라 그 기준이 달라질 수있다.
▶ 빅데이터 특징을 고려한 분석 ROI 요소 4V
- 투자비용 요소
• 3V (데이터 크기, 데이터 형태, 데이터 속도)
- 비즈니스 효과
• 4V( 3V + 새로운 가치 (value))
* ROI(Return Of Investment)
투자, 수익률, 가장 널리 사용되는 경영성과 측정기준 중 하나
③ 분석 ROI요소를 구려한 과제 우선순위 평가기준
> 조직의 상화에 따라 난이도를 조율한다.
- 시급성(중요) - 전략적 중요도, 목표가치(KPI) / ROI 요소 : 비즈니스 효과
- 난이도 - 데이터 획득/가공/저장 비용, 분석 수준 등 / ROI 요소 : 투자비용 요소
* KPI : 핵심성과 지표
* PoC(Proof of Concept) : 개념 증명, 원리 또는 실현 가능성을 입증하기 위하여 어떤 방법이나 아이디어에 대한 실현성을 보여주는 일
3) 분석 과제 우선 순위선정 및 조정
① 포트폴리오 사분면 분석 기법 활용 : 난이도와 시급성을 기준으로 분석 과제 유형을 4분면에 배치
② 매트릭스 내 분석 과제 우선순위 선정
- 가장 우선적으로 분석 과제 적용이 필요한 영역은 3사분면이다.
- 우선순위가 낮은 영역은 2사분면이다.
- 적용 우선순위 기준 시급성에 둘 경우 ; 3 - 4 - 1 - 2 영역
- 적용 우선순위 기준 난이도에 둘 경우 : 3 - 1 - 4 - 2 영역
* investment는 난이도를 결정하고, Return은 시급성을 결정한다.
* 시급성은 전략적 가치를 어느 시점에 둘 것인지 의미하므로, 난이도 조절하지 않는다며느 그 다음 가치 창출이 기대되는 3 -> 4 순으로 우선순위가 된다.
* 난이도는 현재 시점에서 적용 가능한지를 의미하므로, 어려운 단기 과제의 난이도를 조절하여 3 => 1 순으로 우선순위가 된다.
③ 매트릭스 내 분석 과제 우선순위 조정 가능
- 시급성이 높고 난이도가 높은 1사분면은 의사결정을 통해 적용 우선순위를 조정가능
- 데이터의 양과 특성, 분석범위 등에 따라서 난이도 조율하여 적용 우선순위를 조정할 수 있다.
④ 분석 과제 우선순위 조정시 고려사항
- 기술적 요소에 따른 적용 우선순위 조정
- 분석 범위에 따른 우선순위 조정
4) 분석 로드맵 설정
① 분석 로드맵 수립 절차
- 우선순위를 결정하여 단계적 구현 로드맵 수립
- 단계별 추진하고자 하는 목표를 명확하게 정의
- 단계별 추진 내용을 정렬
② 세부적인 일정계획 수립
- 반복적인 정련과정을 통해 프로젝트의 완성도를 높여 나감
- 데이터 수집 및 확보와 분석 데이터 준비 단계는 순차적으로 진행하고 모델링 단계는 반복적으로 수행
- 순차형과 반복형을 혼합하여 사용
04. 분석 문제 정의
1) 분석 문제 정의 개요
① 분석 과제 도출
- 해결해야 할 다양한 문제들을 데이터 분석 문제로 변환하여 분석 프로젝트로 수행할 수 있는 과제정의서 형태로 도출
② 대표적인 분석 과제 도출 방법
- 문제가 먼저 주어지고 이에 대한 해법을 찾아가는 하향식 접근 방식
- 데이터를 기반으로 문제의 재정의 및 해결방안을 탐색하는 상향식 접근 방식
* 최적화/Optimization : 분석 대상을 알고 있고, 분석 방법도 알고 있는 경우
* 통찰/Insight: 분석 방법과 분석 구조의 활용은 하고 있으나, 분석 대상이 무엇인지 인지하지 못하는 유형
* 솔루션/Solution: 분석 대상은 알고 있지만, 분석 방법을 모르는 경우
* 발견/Discovery : 분석의 대상과 분석방법을 모두 모르는 경우
③ 최적의 의사결정을 위한 혼합방식
- 동적인 환경에서 발산과 수렴 단계를 반복적으로 수행하며 상호 보완을 통해 분석의 가치 극대화
- 상향식 접근 방식의 발산(Diverage) 단계 : 가능한 옵션 도출
- 하향식 접근 방식의 수렴(Converge) 단계 : 도출된 옵션을 분석하고 검증
* 신상품 개발이나 전략 수립 등 중요한 의사결정이 필요할 때 주로 사용한다.
④ 분석 과제 정의
- 다양한 방식으로 도출한 분석 과제들을 명확하게 정의하여 상세히 작성
• 필요한 데이터, 데이터 수집과 분석 난이도, 분석 방법과 수행 주기, 상헤 분석 과정, 분석 결과에 대한 검증 책임자 등
•분석 데이터는 조직 내부뿐만 아니라 외부 데이터도 포함, 데이터 유형이나 종류를 가리지 않고 범위를 확장하여 고려
- 분석 프로젝트를 수행하는 이해관계자가 프로젝트의 방향을 설정하고 성공 여부를 판단할 수 있는 자료로 사용
• 향후 프로젝트 수행계획의 입력물로 사용
2) 하향식 접근 방식
하향식 접근 방식(Top Down Approach)
- 문제가 주어지고 이에 대한 해법을 찾기 위해 각 과정이 체계적으로 단계화되어 수행하는 방식
* 전통적 분석과제 발군 방식, 단 근래의 문제들은 변화가 심하여 문제를 사전에 정확하게 정의하기 어렵다.
[하향식 접근 방식의 구성]
① 문제 탐색(Problem Discovery) :
• 전체적인 관점의 기준 모델을 활용하여 누락 없이 문제를 도출하고 식별해야 함
• 세부적인 내용보다 문제를 해결하여 발생하는 가치에 중심을 두어야 함
• 비즈니스 모델 기반 문제 탐색 / 외부 사례 기반 문제 탐색 / 분석 유수케이스 정의
* 전체적인 관점 기준 모델에는 기업 내/외부 환경을 포괄하는 비즈니스 모델과 외부 참조 모델 존재이 있다.
② 문제 정의(Problem Definition) :
• 식별된 비즈니스 문제를 데이터적인 문제로 변환하여 정의
• 필요한 데이터와 기법을 정의하기 위한 데이터 분석 문제로 변환
• 분석 수행자 외 문제 해결 시 효용을 얻을 최종 사용자 관점에서 정의
③ 해결방안 탐색(Solution Search) :
• 정의된 데이터 분석 문제를 해결하기 위한 다양한 방안들을 모색
• 기법 및 시스템과 분석 역량 보유 여부에 따라 세분화
④ 타당성 평가(Feasibility Study) :
• 도출된 분석 문제, 가설에 대한 대안을 과제화 하기 위한 타당성을 분석/ 도출된 대안중 우월한 대안 선택
| 경제적 타당성 |
- 비용 대비 편익 분석 관점의 접근 필요 - 항목은 데이터, 시스템, 인력, 유지보수 등 분석 비용 - 편익은 분석 결과를 적용하여 발생 가능한 실질적 비용 절감, 추가적 매출과 수익 등이 경제적 가치로 산출 |
| 데이터 및 기술적 타당성 |
- 데이터 분석 시 데이터, 분석 시스템 환경 분석 역량 필요 - 기술적 타당성 분석 시 역량 확보 방안의 사전수립 필요 - 비즈니스 분석가, 데이터 분석가, 시스템 엔지니어 등과 협업 |
3) 하향식 접근 방식의 문제 탐색 방법
① 비즈니스 모델 캔버스를 활용한 과제 발굴
* 비즈니스 모델 캔버스 : 새 로운 사업 모형을 개발하고 기존의 모형을 문서화하기 위한 경영전략 템플릿
해당 기업의 사업 모델을 도식화한 비즈니스 모델 캔버스의 9가지 블록을 단순화하여 도출
- 문제 발굴 : 3개의 단위
- 문제 관리 : 2개의 영역
[ 비즈니스 모델 캔버스 ]
| 업무 단위 (Operation) |
제품이나 서비스를 생산하기 위한 내부 프로세스 및 주요 자원과 관련하여 주제 도출 |
| 제품 단위 (Product) |
생산 및 제공하는 제품이나 서비스를 개선하기 위한 관련 주제들을 도출 |
| 고객 단위 (Customer) |
제품이나 서비스를 제공받은 사용자나 고객 또는 이를 제공하는 채널 관점에서 관련 주제들을 도출 |
| 규제와 감사 영역 (Audit&Regulation) |
제품 생산과 전달 과정에서 발생하는 규제나 보안 관점에서 관련 주제들을 도출 |
| 지원 인프라 영역 (IT&Human Resource) |
분석을 수행하는 시스템 영역과 이를 운영 및 관리한는 인력의 관점에서 관련 주제들을 도출 |
* 캔버스를 이용하여 각 사업 요소들의 유기적 연결에 대해 이해한다.
② 분석 기회 발굴의 범위 확장
- 새로운 문제의 발굴이나 장기적인 접근을 위해서는 환경과 경쟁 구도의 변화 및 역량의 재해석을 통한 혁신 관점의 분석 기회 추가 도출 필요
- 거시적 관점의 요인, 경쟁자의 동향, 시장의 니즈 변화, 역량의 재해석 등 새로운 관점의 접근이 필요하다.
* 분석가뿐만아니라 해당 기능을 수행하는 직원이나 관련자에 대한 폭넓은 인터뷰와 워크숍 형태의 아이디어 발굴 작업이 필요하다.
| 관점 | 영역 | 내용 |
| 거시적 관점 | 사회 영역 (Social) |
고객영역을 확장하여 전체 시장을 사회, 문화, 구조적 트렌드 변화에 기반하여 분석 기회 도출 |
| 기술 영역 (Technological) |
과학, 기술, 의학 등 최신 기술의 등장변화에 따른 역량 내 재화와 제품 및 서비스 개발에 대한 분석 기회 도출 | |
| 경제 영역 (Economic) |
산업과 금융 전반의 변동성과 경제 구조 변화 동향에 따른 시장 흐름을 파악하고 분석 기회 도출 | |
| 환경 영역 (Environmental) |
환경과 관련된 정부, 사회단체, 시민사사회의 관심과 규제 동향을 파악하고 분석 기회 도출 | |
| 정치 영역 (Political) |
주요 정책방향, 정세, 지정학적 동향 등의 거시적인 흐름을 토대로 하여 분석 기회 도출 | |
| 경쟁자 확대 관점 |
대체재 영역 (Substitute) |
현재 생산하고 있는 제품 또는 서비스의 대체재를 파악하고 고려한 분석 기회 도출 |
| 경쟁자 영역 (Competitor) |
현재 생산하고 있는 제품이나 서비스의 주요 경쟁자에 대한 동향을 파악하고 고려한 분석 기회 도출 | |
| 신규 진입자 영역 (New Entrant) |
향후 시장에서 파괴적인 역할을 수행할 수 있는 신규 진입자에 대한 동향을 파악하고 고려한 분석 기회 도출 | |
| 시장의 니즈 탐색 관점 |
고객 영역 (Customer) |
고객의 구매 동향 및 고객의 컨텍스트를 더욱 깊게 이해하여 제품 또는 서비스의 개선에 필요한 분석 기회 도출 |
| 채널 영역 (Channel) |
자체 채널뿐 아니라 최종 고객에게 상품이나 서비스를 전달 가능한 모든 경로를 파악하여 경로별 채널 분석 기회를 확대하여 탐색 | |
| 영향자들 영역 (Influencer) |
주주, 투자자, 협의 및 기타 이해관계자의 주요 관심사항에 파악하고 분석 기회 탐색 | |
| 역량의 재해석 관점 |
내부 역량 영역 (Competency) |
지식, 기술, 스킬 등 노하우와 인프라적인 유형 자산에 대해서도 폭넓게 재해석하고 분석 기회를 탐색 |
| 파트너와 네트워크 영역 (Partners & Network) |
관계사와 공급사 등의 역량을 활용해 수행할 수 있는 기능을 파악해 보고 분석 기회 추가적 도출 |
4) 상향식 접근 방식
문제의 정의 자체가 어려운 경우 데이터를 기반으로 문제의 재정의 및 해결방안 탐색, 이를 지속적으로 개선하는 방식
① 상향식 접근 방식의 특징
- 다량의 데이터 분석을 통해 왜(why) 그러한 일이 발생하는지 역으로 추적하면서 문제를 도출하거나 재정의할 수 있는 방식
* 일반적으로 비지도학습 방법에 의해 수행된다.
- 데이터를 활용하여 생각지도 못했던 인사이트 도출 및 시행착오를 통한 개선 가능
② 상향식 접근 방식의 등장배경
- 기존 하향식 접근 방식의 한계를 극복하기 위해 등장
[하향식 접근 방식의 한계]
• 솔루션 도출은 유효하지만 새로운 문제 탐색의 어려움
• 복잡하고 다양한 환경에서 발생한 문제에 대한 부적합성
- 논리적 단계별 접근법은 문제의 구조가 분명하고 이에 대한 해결책을 도출하기 위한 데이터가 분석가나 의사결정자에게 주어져 있음을 가정
③ 상향식 접근기반 전통적 분석 사고 극복방안
- 디자인 사고 접근법
* 첫 단계로 감정이입(Empathize)을 특히 강조한다.
• 현장 관찰과 감정이입, 대산 관점으로의 전환 수행
• 답을 미리 내는 것이 아니라 사물을 있는 그대로 인식하는 What 관점으로 접근, 통상적으로는 분석적으로 사물을 인식하려는 Why 강조
• 객관적으로 존재하는 데이터 자체를 관찰하고 실제 행동으로 옮김으로써 대상을 좀 더 잘 이해하는 방식으로 접근
- 비지도학습 방법에 의한 수행
• 목표값을 사전에 학습하거나 정의하지 않고 데이터 자체만을 가지고 결과 도출
• 새로운 유형의 인사이트를 도출하기에 유용
• 데이터 마이닝의 연관규칙 분석, 군집분석이나 기술통계 및 프로파일링 등이 대표적
* 비지도학습은 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터 상태를 표현하는 방식이다.
* 지도학습의 경우는 명확한 목적하에 데이터를 분석한다.,
- 빅데이터 환경에서의 분석
• 인과관계에서 상관관계 분석으로 이동하였다
• 통계적 분석환경에서는 인과관계 분석을 위해 가설을 설정하고 검증하기 위해 모집단으로부터 표본을 추출하여 가설 검증
• 빅데이터 분석환경에서는 인과관계, 상관관계, 연관분석을 통하여 다양한 문제 해결
④ 상향식 접근 방식의 문제 해결 방법
- 프로토타이핑 접근법 : 일단 먼저 분석을 시도해 보고 그 결과를 확인하면서 반복적으로 개선해 나가는 방식
• 시행착오를 통해서 문제 해결을 시도하는 방식이다.
• 사용자가 요구사항이나 데이터를 정확히 정의하기 어렵고 원천 데이터도 명확하지 않을 때 주로 사용
• 완전하지는 않지만 신속하게 해결책이나 모형을 제시하여 이를 바탕으로 문제를 더 명확하게 인식하고 필요한 데이터를 식별하여 구체화
* 폭포수 모형과 비슷한 하향식 접근 방식은 문제가 정형화되어 있고 문제해결을 위한 데이터가 완변하게 존재해야만 효과적으로 사용할 수 있다.
[ 프로토타이핑 접근법의 필요성 ]
| 관점 | 내용 |
| 문제에 대한 인식 수준 |
- 문제 정의가 불명확하거나 새로운 문제일 경우 사용자나 이해관계자는 프로토타입을 이용하여 문제를 이해하고 구체화 |
| 필요 데이터 존재 여부의 불확실성 |
- 문제 해결을 위해 필요한 모든 데이터가 존재하지 않을 경우, 이에 대한 수집방안이나 대체방안 수립 - 대체 불가능한 데이터가 존재하는지 사전에 확인하여 프로젝트가 중도에 중단되는 위험 방지 |
| 데이터 사용 목적의 가변성 |
- 데이터의 가치는 사전에 정해진 수립 목적에 따라 확정되는 것이 아니며 가치가 지속적으로 변화 - 기존에 보유 중인 데이터도 데이터 정의를 재검토하여 데이터의 사용 목적과 범위 확대 |
[ 프로토타이핑 접근법의 프로세스 ]
| 특징 | - 잘 설계된 프로토타이핑을 지속하는 경우 실험이 가지고 있는 불명확성은 감소하고 의도했던 결과 도출 가능성 상승 - 빅데이터 분석환경에서는 최대한 빨리 분석 결과를 보여주고 지속적으로 반복하는 방법이 효과적 |
| 구성 | - 가설의 생성(Hypotheses) - 디자인에 대한 실험(Design Experiments) - 실제 환경에서의 테스트(Test) - 테스트 결과에서의 통찰(Insight) 도출 및 가설 확인 |
05. 데이터 분석 방안
1) 분석 방법론
데이터 분석 시 품질확보를 위하여 단계별로 수행해야 하는 활동, 작업, 산출물 정의
•데이터 분석을 효과적으로 수횅하기 위하여 이를 체계화한 절차와 방법이 정리된 데이터 분석 방법론이 수립이 필수적
•프로젝트의 한 개인의 역량이나 조직의 우연한 성공에 의해서는 안되고 일정 품질 수준 이상의 산출물과 프로젝트의 성공 가능성을 제시해야 함
* 데이터 분석을 효과적으로 수행하기 위해 분석 절차를 체계적으로 정리한 방법
① 분석 방법론의 구성 요건
•상세한 절차(Procedures)
• 방법(Methods)
• 도구와 기법(Tools & Techniques)
• 템플릿과 산출물(Templates & Outputs)
• 어느 정도의 지식만 있으면 활용 가능한 수준의 난이도
②분석 방법론의 생성과정 (선순환 과정)
| 형식화 | - 개인의 암묵지가 조직의 형식지로 발전 - 분석가의 경험을 바탕으로 정리하여 문서화 |
| 체계화 | - 문서화한 최적의 형식지로 전개됨으로써 방법론 생성 - 문서에는 절차나 활동 및 작업, 산출물, 도구 등 정의 |
| 내재화 | - 개인에게 전파되고 활용되어 암묵지로 발전 - 전파된 방법론을 학습하고 활용하여 내재화 |
* 분석 방법론은 일본의 경영학자 노나타 이쿠지로의 지식창조 매커니즘을 바탕으로 생성
2) 계층적 프로세스 모델 구성
분석 방법론은 일반적으로 계층적 프로세스 모델 형태로 구성 가능하며, 단계, 태스크, 스텝 3계층으로 구성
① 최상위 계층 - 단계(Phase)
•프로세스 그룹을 통하여 완성된 단계별 산출물 생성
•각 단계는 기준선으로 설정되어 관리, 버전관리 등을 통하여 통제
② 중간 계층 - 태스크(Task)
• 각 태스크는 단계를 구성하는 단위 활동
• 물리적 또는 논리적 단위로 품질검토 가능
③최하위 계층 - 스텝(Step)
• WBS (Work Breakdown Structure) 의 워크패키지( Work Pakage)
• 입력 자료, 처리 및 도구, 출력자료로 구성된 단위 프로세스
* WBS(Work Breakdown Structure) : 업무 분업 구조, 프로젝트의 더 작은 요소로 분해시킨 딜리버러블 지향 분업 구조
* Work Pakage : 작업 패키지, WBS의 가장 작은 단위
3) 소프트 웨어개발생명주기 활용
•소프트웨어개발생명주기(SDLC : Software Development Lifr Cycle) :
- 소프트웨어에 대해 요구분석과 설계, 구현과정을 거쳐 설치, 운영과 유지보수, 폐기할 때까지의 전 과정을 가시적으로 표현한 것
•소프트웨어 공학의 소프트웨어개발생명주기를 활용하여 구성
* [소프트웨어개발생명주기의 필요성]
• 소프트웨어 위기를 대처
• 효과적인 소프트웨어 개발 수행
• 고품질 소프트웨어 생산성 확보
[소프트웨어개발생명주기의 구성요소]
| 단계 | 내용 |
| 계획 (요구명세) |
- 고객의 요구사항 명세화 - 타당성 조사 및 소프트웨어 기능과 제약조건을 정의하는 명세서 작성 - 요구사항은 일반적으로 모호하고 불완전하며 모순 되기도 함 |
| 요구분석 | - 대상이 되는 문제 영역과 사용자가 원하는 Task 이해 |
| 설계 | - 분석 모형을 가지고 세분화, 구현될 수 있는 형태로 전환 |
| 구현 | - 실행 가능한 코드 생성 |
| 테스트 | - 발생 가능한 실행 프로그램의 오류 발견 및 수정 |
| 유지보수 | 인수가 완료된 후 일어나는 모든 추가 개발 활동 |
① 폭포수 모델(Waterfall Model)
고전적 생명주기 패러다임(Life Cycle Paradigm)으로 분석, 설계, 개발, 구현, 시험 및 유지보수 과정을 순차적으로 접근하는 방법
• 소프트웨어 개발을 단계적, 순차적, 체계적 접근 방식으로 수행한다.
• 개념 정립에서 구현까지 하향식 접근 방법 사용
• 전 단계의 산출물은 다음 단계의 기초로 사용
• 결과물이 후반부에 가서야 구체화되므로 문제점이 뒤늦게 발견
*폭포수 모형
• 프로젝트 진행과정을 세분화하여 관리하기에 용이
• 고객의 요구사항을 초기에 명확히 정의하기 어려움
② 프로토타입 모델(Prototype Model)
사용자의 요구사항을 충분히 분석할 목적으로 시스템의 일부분을 일시적으로 간략히 구현한 다음 다시 요구사항을 반영하는 과정을 반복하는 개발 모델
• 요구 분석의 어려움 해결을 통해 사용자의 참여 유도
• 요구사항 도출과 이해에 있어 사용자와의 커뮤니케이션 수단으로 활용 가능
• 사용자가 원하는 것이 무엇인지 구체적으로 잘 모르는 경우 간단한 시제품으로 개발 가능
• 개발 타당성을 검토하는 수단으로 활용
| 종류 | 내용 |
| 실험적 프로토타입 |
- 요구분석의 어려움을 해결하기 위해 실제 개발될 소프트웨어의 일부분을 직접 개발함으로써 의사소통의 도구로 활용 |
| 진화적 프로토타입 |
- 이미 개발된 프로토타입을 지속적으로 발전시켜 최종 소프트웨어로 발전시켜 최종 소프트웨어로 발전 |
* 프로토타입 모형
• 개발하려는 시스템의 주요 기능을 초기에 실제 운영할 모델로 개발하는 방법
• 폭포수 모델의 단점 보완
③ 나선형 모델(Spiral Model)
시스템을 개발하면서 생기는 위험을 최소화하기 위해 나선을 돌면서 점진적으로 완벽한 시스템으로 개발하는 모델
• 프로젝트의 완전성 및 위험 감소와 유지보수 용이
• 관리가 중요하나 매우 어렵고 개발시간이 장기화될 가능성 있음
* 나선형 모형
• 대규모 시스템 및 위험 부담이 큰 시스템 개발에 적합
• 폭포수 모델과 프로토타입 모델의 단점 보완
④ 반복적 모델(Iterative Development Model)
사용자의 요구사항 일부분 혹은 제품의 일부분을 반복적으로 개발하여 최종 시스템을 완성하는 모델
* 반복적 모델
• 폭포수, 프로토타입, 나선형이 혼합된 모델
• 재사용성, 객체지향, RAD의 기반 제공
** RAD(Rapid Application Development) : 짧은 개발주기(60~90일)동안 소프트웨어를 빠르게 개발하기 위한 순차적 프로세스 모델
• 증분형(점증적) 모델과 진화형(점진적) 모델로 분류
- 증분형 모델(Incremental Model) : 폭포수 모델의 변형으로 각 증분을 따로 개발하여 통합
사용자 요구사항과 제품의 일부분을 반복적으로 개발하여 대상범위를 확대해 나아가서 최종제품을 완성하는 방법
• 첫 번째 검증은 핵심제품, 몇 사람만으로 구현 가능
• 프로토타입 모형과 같이 반복적이나 각 증분이 갖는 제품 인도에 초점
• 규모가 큰 개발 조직일 경우 자원을 각 증분 개발에 충분히 할당할 수 있어 각 증분의 병행 개발로 기간 단축
• 증분의 수가 많고 병행 개발이 빈번하게 이루어지면 관리가 어렵고, PM은 증분 개발 활동 간 조율에 많은 노력 필요
| 증분 #1 | 요구사항 중 #1에 해당하는 프로토타입 개발 |
| 증분 #2 | 요구사항 중 #2에 해당하는 프로토타입 개발 |
| 증분 #n | 요구사항 중 #n에 해당하는 프로토타입 개발 |
| 정보 흐름 | 각 프로토타입 개발에서 다음 프로토타입 개발과정에 영향 |
- 진화형 모델(Evolutionary Model) : 시스템 요구사항을 사전에 정의하기 어려운 경우 사용
시스템이 가지는 여러 구성요소의 핵심 부분을 개발한 후 각 구성요소를 지속적으로 발전시켜 나가는 방법
• 다음 단계로의 진화를 위해 전체 과정에 대한 개요 필요
• 프로토타입을 만들고 이를 다시 분석하여 요구사항을 진화시키는 방법
• 프로토타입의 시스템은 재사용을 전재로 함
| 핵심요구사항 개발 | 요구사항의 핵심적인 부분을 프로토타입으로 개발 |
| 1단계진화 | 핵심요구사항을 통해 개발과정에서 산출된 프로토타입을 재분석하여 요구사항 진화 |
| N단계진화 | N-1단계 요구사항 과정에서 개발과정에서 산출된 프로토타입을 재분석하여 요구사항 진화 |
| 피드백 | 각 단계의 프로토타입 설치.운영하여 발생하는 요구사항들을 차기 개발에 반영 |
소프트웨어개발생명 주기의 대표적 유형 비교
| 유형 | 내용 | ||
| 폭포수 모델 | 검토 및 승인을 거쳐 순차적, 하향식으로 개발 진행 | ||
| 장점 | - 이해하기 쉽고 관리 용이 - 다음 단계 진행 전 결과 검증 |
||
| 단점 | - 요구사항 도출의 어려움 - 설계 및 코딩과 테스트 지연 - 문제점 발견의 늦음 |
||
| 프로토타입 모델 | 시스템의 핵심적인 기능을 먼저 만들어 평가 후 구현 | ||
| 장점 | - 요구사항 도출과 시스템 이해 용이 - 의사소통 향상 |
||
| 단점 | - 사용자의 오해(완제품) 발생 가능성 존재 - 폐기되는 프로토타입 존재 |
||
| 나선형 모델 | 폭포수 모델과 프로토타입 모델의 장점에 위험분석 추가 | ||
| 구현 단계 | 계획수립 | 목표, 기능 선택, 제약조건 설정 | |
| 위험분석 | 기능 선택의 우선순위 및 위험요소 분석 및 제거 | ||
| 개발 | 선택된 기능 개발 | ||
| 고객평가 | 개발 결과 평가 | ||
| 장점 | - 점증적으로 개발 시 실패 위험 감소 - 테스트 용이, 피드백 존재 |
||
| 단점 | - 관리 복잡 | ||
| 반복적 모델 | 시스템을 여러 번 나누어 릴리즈 하는 방법 | ||
| 증분형(점증적) 모델 | 기능을 분해한 후 릴리즈별 기능 추가 개발 | ||
| 진화형(점진적) 모델 | 전체 기능을 대상으로 릴리즈를 진행하면서 기능 지속 발전 | ||
⑤ 소프트웨어개발생명주기 모형 선정 기준
• 프로젝트의 규모와 성격
• 개발에 사용되는 방법과 도구
• 개발에 소요되는 시간과 비용
• 개발과정에서의 통제수단과 소프트웨어 산출물 인도 방식
4) KDD 분석 방법론
KDD(Knowledge Discovery in Database)는 통계적인 패턴이나 지식을 탐색하는 데 활용할 수 있도록 체계적으로 정리한 프로파일링 기술 기반의 데이터 마이닝 프로세스
• 데이터 마이닝, 기계학습, 인공지능, 패턴인식, 시각화 등에 응용
• 데이터에서 패턴을 찾는 과정을 9개의 프로세스로 제시
① KDD 분석 방법론의 9가지 프로세스
1. 분석 대상 비즈니스 도메인의 이해
2. 분석 대상 데이터셋 선택과 생성
3. 데이터에 포함되어 있는 잡음(Noise)과 이상값(Outlier) 등을 제거하는 정제작업이나 선처리
4. 분석 목적에 맞는 변수를 찾고 필요시 데이터의 차원을 축소하는 데이터 변경
5. 분석 목적에 맞는 데이터 마이닝 기법 선택
6. 분석 목적에 맞는 데이터 마이닝 알고리즘 선택
7. 데이터 마이닝 시행
8. 데이터 마이닝 결과에 대한 해석
9. 데이터 마이닝에서 발견된 지식 활용
② KDD 분석 방법론의 분석절차
데이터 분석은 총 5단계에 걸쳐 진행
1단계 데이터셋 선택 (Selection)
• 분석 대상 비즈니스 도메인에 대한 이해 및 프로젝트 모표의 정확한 설정을 선행한다.
• 데이터 베이스 또는 원시 데이터에서 분석에 필요한 데이터를 선택
• 필요시 목표 데이터를 추가적으로 구성하여 활용
2단계 데이터 전처리 (Preprocessing)
• 잡음(Noise), 이상치(Outlier, 일반적 추세에서 많이 벗어난 값), 결측치(Missing Value)를 식별하고 필요시 제거 또는 대체
• 데이터가 추가적으로 필요한 경우 데이터셋 선택 절차부터 다시 실행
3단계 데이터 변환 (Transformation)
• 데이터 전처리 과정을 통해 정제된 데이터에 분석 목적에 맞게 변수를 생성, 선택하고 데이터의 차원을 축소하여
효율적으로 데이터마이닝을 할 수 있도록 데이터에 변경하는 단계이다.
• 데이터마이닝 프로세스를 진행하기 위해 학습용 데이터와 검증 용데이터로 데이터를 분리하는 단계이다.
4단계 데이터 마이닝 (Data Mining)
- 학습용 데이터를 이용하여 분석목적에 맞는 데이터 마이닝 기법을 선택하고, 적절한 알고리즘을 적용하여
데이터 마이닝 작업을 실행하는 단계이다.
- 필요 시 데이터 전처리와 데이터 변환 절차를 추가로 실행하여 데이터 분석 결과를 높일 수 있다.
5단계 마이닝 결과 평가 (Interpretation/Evaluation)
- 데이터마이닝 결과에 대한 해석과 평가, 그리고 분석 목적과의 일치성을 확인한다.
- 데이터마이닝을 통해 발견된 지식을 업무에 활용하기 위한 방안 모색한다.
- 필요에 따라 데이터 선택 프로세스에서 데이터 마이닝 프로세스를 반복 수행한다.
5) CRISP-DM 분석 방법론
6) SEMMA 분석 방법론
06. 빅데이터 분석 방법론
1) 빅데이터 분석 방법론 개요
2) 빅데이터 분석 방법론의 개발 절차
07. 데이터 분석 거버넌스
1) 데이터 분석 거버넌스 개요
2) 데이터 분석 기획과 관리를 수행하는 조직
3) 데이터 분석 과제 기획과 운영 프로세스
4) 데이터 분석 지원 인프라
5) 데이터 거버넌스
6) 데이터 분석 교육 및 마인드 육성 체계
08. 데이터 분석 수준진단
1) 데이터 분석 수준 진단 개요
2) 분석 준비도
3) 분석 성숙도 모델
4) 분석 수준 진단 결과
'자기계발' 카테고리의 다른 글
| SQL 개발자(SQLD), 데이터분석 준전문가(ADsP) 합격 후기 (3) | 2024.12.17 |
|---|---|
| [빅데이터분석기사] - Chapter1. 빅데이터의 이해 - 3 (0) | 2024.09.10 |
| [빅데이터분석기사] 챕터 1. 빅데이터의 이해 - 2 (12) | 2024.09.06 |
| [빅데이터분석기사] 챕터 1. 빅데이터의 이해 (11) | 2024.09.03 |
