[4day] 분석 과제 발굴

 

분석 과제 '발굴'의 개념과 '탐색' 방법

분석 과제 발굴

• 해결해야 할 다양한 기업의 문제를 '데이터 분석 문제'로 변환하는 것을 포함하는 개념
• 이해관계자들이 이해할 수 있게 프로젝트 수행 목적의 과제 정의서 형태로 도출

분석 과제 탐색 방법★★★

• 하향식 접근법: Top-Down 수행 방법으로, 각 과정이 체계적으로 단계화되어 문제를 해결하는 방식
• 상향식 접근법: 문제가 무엇인지 사전에 정의하는 것이 어렵기 때문에 다양한 데이터의 조합 속에서 인사이트를 찾아내는 Bottom-Up 방식
• 분석 대상을 알고 있다면 하향식 접근법, 모른다면 상향식 접근법을 사용
• 현업에서는 혼용해서 사용하는 경우가 많다

 

분석 과제 발굴 방법론 개념도

• Start : 분석 대상이 무엇인지 알고 있는가? YES - [하향식 접근법]

가. 문제 탐색 단계	비즈니스 모델 탐색 기법
	분석기회 발굴 및 범위 확장
	외부 참조 모델 기반 문제 탐색
	분석 유스케이스(시스템의 기능과 사용자 간의 상호작용을 설명하는 데 사용)
나. 문제 정의 단계	식별된 비즈니스 문제를 데이터 문제로 변환하여 과제를 정의
다. 해결 방안 탐색 단계	과제 정의 후 어떻게 해결할 것인지 그 방안을 탐색(분석 기법, 시스템 등)
라. 타당성 검토 단계	경제적 타당성, 기술적 타당성 등을 검토

 

• Start : 분석 대상이 무엇인지 알고 있는가? NO - [상향식 접근법]

가. 지도, 비지도 학습	지도 학습
	비지도 학습
나. 프로토타입	시행착오 해결법

 

디자인 씽킹

IDEO사의 디자인 씽킹(더블 다이아몬드 프로세스)

 

• 크게 문제 발견과 솔루션 제시 영역으로 구분
• 상향식 접근법의 발산 단계와 하향식 접근법의 수렴 단계가 반복 수행되어 상호 보완적으로 분석의 가치를 높이는 의사결정 방식
• 수렴과 발산을 반복하면서 창의적이고 혁신적인 아이디어르르 도출하는 방식

스탠퍼드대학 d.school의 디자인 씽킹

 

• 1. 공감(Empathize) - 2. 문제 정의(Define) - 3. 아이디어 도출(Ideate) - 4. 프로토타입(Prototype) - 5. 테스트(Test) - 6. 평가(ASSESS) 과정
• 상향식 접근법에 속한다고 볼 수 있다
• 비즈니스와 기술 그리고 인간 중심 사고가 만나 혁신적 해결책을 도출하는 방법

하향식 접근법★★★

1단계 - 문제 탐색 단계

비즈니스 모델 탐색 기법★★

• 비즈니스 모델 캔버스의 9가지 블록을 5가지로 단순화한 탐색 기법
• 업무(Operation), 제품(Product), 고객(Customers) 단위로 문제를 발굴
• 이를 관리하는 규제와 감사(Audit & Regulation), 지원 인프라(IT & Human Resource)의 두 가지 영역에 대한 기회를 추가로 도출하는 작업을 수행

 

• 나인블록 모델을 5개 영역으로 단순화

규제와 감사
업무	제품	고객
지원 인프라

분석 기회 발굴 범위의 확장★★

거시적 관점	문제 혹은 변화가 기업에 주는 영향을 탐색 * 사회: 노령화 문제, 저출산 문제 등 * 기술: 나노 기술, IT 융합 기술, 로봇 기술의 등장 등 * 경제: 원자재 가격, 환율, 금리의 변화 등 * 환경: 탄소 배출 규제 등 * 정치: 대북 관계 등
경쟁자 확대 관점	기업에 위협이 될 상황을 탐색 * 대체재: 기업의 상품 및 서비스가 대체될 수 있는 것에 대한 탐색 및 잠재적 위협 파악 * 경쟁자: 식별된 주요 경쟁사의 제품 및 서비스 카탈로그 및 전략을 분석 * 신규 진입자: 현재 직접적인 경쟁자는 아니지만 향후 영향력이 커질 것으로 판단되는 위협
시장의 니즈 탐색	시장의 니즈 탐색 관점에서 문제를 탐색 * 고객: 고객 기업들의 산업 및 경영 현황 등을 파악 * 채널: 상품 및 서비스가 전달될 수 있는 경로에 대한 파악 * 영향자들: 시장 확대에 따른 유사 업종의 기업 인수 등에 대한 파악
역량의 재해석	역량의 재해석 관점에서 다시 기업 내부를 둘러보도록 한다. * 내부 역량: 자사 소유 부동산 등 부가 가치 창출 기회의 탐색 * 파트너와 네트워크: 자사가 직접 보유하고 있지는 않지만 관계사 혹은 공급사의 역량을 활용한 부가가치 창출 기회의 탐색으로 기업경영 노하우 등이 있다

 

외부 참조 모델 기반 문제 탐색 및 분석 유스케이스 정리

• 분석 유스케이스란 분석을 적용했을 때 업무 흐름을 개념적으로 설명한 것으로 프로세스 혁신 수단으로 활용되기도 한다
• 유사 동종 업계에서 기존에 수행한 문제 탐색 및 분석 과제 등을 활용하는 것 역시 중요한 시사점을 도출
• 빠르고 쉬운 방식(Quick & Easy)으로 분석 기회가 무엇인지 아이디어를 얻는 브레인스토밍을 활용한 방법
• 탐색을 통해 발견된 문제들을 세부과제로 도출하기 전에 먼저 '분석 유스케이스'로 정의. 향후 어떻게 풀어나가야 할지에 대한 방법과 그로 인한 효과도 함께 명시

2단계 - 문제 정의 단계

문제 정의

• 식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의
• 무엇을(WHAT), 어떠한 목적으로(WHY) 수행해야 하는지에 대한 관점이라면, 문제 정의 단계는 이를 달성하는 데 필요한 데이터 및 기법을 정의하기 위한 데이터 분석의 문제로 변환을 수행
• 문제의 정의는 최종 사용자(End-User)의 관점에서 이루어져야 한다

문제 정의의 예

• '최근 고객들의 불만이 높아지고 있다'는 비즈니스 문제 식별
• 데이터의 문제로 변환하면 '고객의 불만에 영향을 끼치는 요인은 무엇인지 분석' '그 요인과 고객 불만율에 대한 상관 및 예측 모델을 수립한다'로 바꿀 수 있다

3단계 - 해결 방안 탐색 단계

해결 방안 탐색

• 문제 정의 단계에서 정의된 데이터 분석 문제를 해결하기 위한 방안을 모색하는 단계
• 해결 방안을 탐색하면서 동시에 현재 기업 수준에서의 분석이 가능한 시스템을 갖추었는지, 분석을 수행할 인력이 확보되었는지를 함께 따져봐야 한다.

해결 방안 탐색 단계 프로세스

• 기존 시스템으로 가능한지와 기업 자체의 역량이 있는지를 판단하여 다음 그림과 같이 4개의 해결 방안 중 하나를 선정한다.

기존 시스템으로 가능	분석 역량이 있다	기존 시스템과 인력으로 수행
	분석 역량이 없다	역량을 확보(교육 & 채용)
기존 시스템으로 불가능	분석 역량이 있다	시스템 고도화
	분석 역량이 없다	전문 업체 아웃소싱

4단계 - 타당성 검토 단계

타당성 검토의 두 가지 유형

• 경제적 타당성: 데이터, 시스템, 인력, 유지보수 등과 같은 비용과 분석 결과가 적용되었을 때 추정되는 실질적 비용 절감, 추가 매출, 수익 등과 같은 경제적 가치를 고려
• 데이터 및 기술적 타당성: 경제적 가치가 뛰어나더라도 수행 가능 여부를 따져봐야 한다. 수행될 수 없는 분석을 추진하는 것 역시 경제적 손실이 따르기 때문. 데이터 존재 여부, 분석 시스템 환경, 분석 역량을 고려.

사례를 통해 하향식 접근법 알아보기

• 항공사 고객 이탈 사례 발생
  • 최근 항공사의 고객 이탈수가 증가
  • 이 문제를 해결하기 위해 하향식 접근법을 사용
• 1단계 - 문제 탐색 단계
  • 비즈니스 모델 기반 문제 탐색
    1. 업무: 고객이 항공권 발권에 너무 많은 시간을 소비하고 있을 수 있다.
    2. 제품: 타 항공사 대비 항공권 가격이 비쌀 수 있다.
    3. 고객: 고객이 원하는 서비스에 변화가 생겼을 수 있다.
    4. 규제 & 감사: 보안상의 문제로 항공권 발권에 지나친 개인정보를 요구하고 있을 수 있다.
    5. 지원 인프라: 온라인 발권 시 IT 시스템의 문제로 고객 불편함이 발생할 수 있다.
  • 외부 사례 기반 문제 탐색
    1. 동종 업계 1: 여러 노선의 최적화로 가능한 한 많은 고객이 원하는 시간을 맞추었다.
    2. 동종 업계 2: 하나의 노선에 특화된 전략으로 하나의 노선을 독점할 수 있었다.
• 2단계 - 문제 정의 단계(데이터의 문제)
  • 1. 업무 -> 타 항공사 대비 항공권 발권에 소요되는 시간을 비교 분석
  • 2. 제품 -> 타 항공사 대비 동일 노선에 대한 항공권 가격 비교 분석
  • 3. 고객 -> 고객의 수요가 저렴한 티켓보다 안락한 좌석, 향상된 기내 서비스 등으로 변화하였는가? 고객 니즈 분석(후기, 인터넷 평가 등 분석)
  • 4. 규제 & 감사 -> 고객의 입장에서 발권 시 입력하기를 주저하는 항목이 있는가?
  • 5. 지원 인프라 -> 고객 관점에서 온라인 발권 IT 시스템 점검 및 불편 사항 분석
  • 6. 동종 업계 1 -> 동종 업계 현황 분석: 현재 우리의 노선과 일정에 대한 고객의 만족 여부를 조사
  • 7. 동종 업계 2 -> 우리 항공기를 이용하는 고객은 주로 어느 노선을 이용하는지 조사
• 3단계 - 해결 방안 탐색 단계
  • 1. 분석 역량 확보, 기존 시스템 활용
  • 2. 분석 역량 확보, 기존 시스템 활용
  • 3. 분석 역량 확보, 기존 시스템 활용
  • 3.5 분석 역량 확보, 신규 시스템 도입 
  • 4. 분석 역량 확보, 신규 시스템 도입 
  • 5. 분석 역량 미확보, 기존 시스템 활용
  • 6. 분석 역량 미확보, 신규 시스템 도입
  • 7. 분석 역량 확보, 신규 시스템 도입
• 4단계 - 타당성 검토 단계
  • 1. 타당성 분석 과제
  • 2. 과제 선정 탈락
  • 3. 타당한 분석 과제
  • 3.5 타당한 분석 과제
  • 4. 과제 선정 탈락
  • 5. 타당한 분석 과제
  • 6. 과제 선정 탈락
  • 7. 타당한 분석 과제

상향식 접근법

• 먼저 분석부터 시작하고 그 결과로부터 가치가 있는 문제를 도출하는 방법
• 빅데이터 -> 분석 -> 가치

지도학습과 비지도학습★★★

지도학습

• 정답이 있는 데이터를 활용하여 분석 모델을 학습시키는 것
• 레이블이 범주형인 분류와 연속형인 회귀로 나누어진다
• 예시) 머신러닝, 의사결정 트리, 인공신경망 모형, 분류 분석

비지도학습

• 정답을 알려주지 않고 학습하는 것
• 정답 레이블이 없는 데이터를 비슷한 특징을 가진 데이터끼리 군집화하여 새로운 데이터에 대한 결과를 예측
• 목적이 명확하게 정의된 특정 필드의 값을 구하는 것이 아니라, 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태를 표현
• 일반적으로 상향식 접근 방식의 데이터 분석은 비지도합습에 의해 수행
• 예시) 장바구니 분석, 기술통계, 프로파일링, 군집 분석, 주성분분석, 다차원 척도

지도학습의 실제 적용 사례

1. 스팸 필터링: 이메일 서비스에서 스팸과 비스팸 이메일을 구분하기 위해 사용됩니다. 이는 레이블된 데이터셋을 통해 학습하여 새로운 이메일이 스팸인지 아닌지를 분류합니다
2. 이미지 분류: 이미지 데이터를 특정 카테고리로 분류하는 작업에 사용됩니다. 예를 들어, 얼굴 인식 시스템이나 자율주행 차량의 객체 탐지에 활용됩니다.
3. 의료 진단: 의료 분야에서 환자의 진단 데이터를 기반으로 특정 질병을 식별하는 데 사용됩니다. 예를 들어, X-레이 이미지에서 암을 진단하는 모델이 있습니다
4. 사기 탐지: 금융 거래에서 사기 패턴을 식별하기 위해 사용됩니다. 과거의 거래 데이터를 통해 학습하여 새로운 거래가 사기인지 아닌지를 예측합니다
5. 자연어 처리: 감정 분석, 기계 번역, 텍스트 분류 등 다양한 자연어 처리 작업에 적용됩니다

비지도학습의 실제 적용 사례

1. 고객 세분화: 고객의 구매 이력이나 행동 패턴을 분석하여 고객을 여러 그룹으로 나누는 데 사용됩니다. 이를 통해 맞춤형 마케팅 전략을 수립할 수 있습니다
2. 이상치 탐지: 비정상적인 패턴이나 이상치를 식별하는 데 사용됩니다. 이는 보안 침해나 사기 거래를 탐지하는 데 유용합니다
3. 이미지 및 비디오 분석: 객체 인식과 같은 시각적 인식 작업에 활용되며, 레이블이 없는 데이터에서 패턴을 발견합니다
4. 연관 규칙 학습: 데이터 내의 흥미로운 관계를 발견하는 데 사용됩니다. 예를 들어, 마트 판매 기록에서 특정 상품 간의 구매 연관성을 찾는 데 활용됩니다
5. 차원 축소: 고차원 데이터를 저차원으로 변환하여 데이터 시각화나 모델링 문제를 단순화하는 데 사용됩니다

시행착오를 통한 문제 해결(프로토타이핑 접근법)★★★

개념

• 먼저 분석을 시도하고, 결과를 확인하면서 조금씩 개선해나가는 방법
• 문제 정의가 불명확하고 새로운 문제일 경우 빅데이터 분석 환경에서 오히려 프로토타이핑 접근법이 더 유용하게 활용된다

프로세스

• 가설의 생성 → 디자인에 대한 실험 → 실제 환경에서의 테스트 → 테스트 결과로부터 인사이트 도출 및 가설 확인

프로토타이핑 접근법이 필요한 경우

• 문제에 대한 인식 수준이 낮거나 불명확할 경우
• 필요 데이터의 존재 여부가 불확실할 경우
• 데이터의 사용 목적이 고정되지 않고 변화할 경우

분석 과제 정의서 예시

분석명		분석 정의
해지상담 접촉 패턴 분석		기 해지 계약건 발생 고객의 해지 시점 상담정보 분석을 통해 해지 고객의 상담 특성을 발굴하는 분석
소스 데이터	데이터 입수 난이도	분석 방법
접속 채널, 건수, 접촉 평균시간 최종 접촉 이후 해지까지 시간 상담인력 업무 능숙도	하	해지로 이어지는 해지상담의 유의미한 속성을 요인분석을 통해 발굴하고, 클러스터링 분석을 통해 영향요인을 그룹화하고, 그룹화된 요인 그룹이 해지에 미치는 영향도를 회귀분석
	데이터 입수 사유
	N/A
분석 적용 난이도	분석 적용 난이 사유	분석 주기	분석결과 검증 Owner
중	접촉 로그 등의 비구조적 데이터 분석 필요	월별 업데이트	해지방어팀