티스토리

데이터 분석 조각모음

검색하기

블로그 홈

데이터 분석 조각모음

yoonsll.tistory.com/m

데이터 분석가가 되는 과정

구독자: 0

방명록 방문하기

주요 글 목록

[Mann-Whitney U] 비모수 검정 Shapiro-Wilk 정규성 확인# t-검정 가정 #1. 종속변수는 연속형이고 정규분포를 따라야 함 -> shapiro-Wilk로 확인 / Q-Q플롯으로 시각적 확인 #2. 등분산성 검정 -> Levene 검정 #3. 독립성이어야 함 -> 남성, 여성 표본 추출로 해결# {'Male': 0, 'Female': 1}map_target = stat_df['Gender'].unique()mapping = {value: idx for idx, value in enumerate(map_target)}stat_df['Gender'] = stat_df['Gender'].map(mapping)# shapiro-Wilk 정규성 확인print('귀무가설:', '''데이터가 정규분포에서 추출되었다''').. 공감수 0 댓글수 0 2024. 12. 10.
[카이제곱검정] 가설검정 카이제곱 검정# 카이제곱 검정 확인 사항 #1. 범주형 데이터 #2. 관측값은 독립적 #3. 각 셀의 기대빈도(expected frequency)는 5 이상이어야 함 #4. 샘플 크기가 충분해야 함 print('귀무가설:', '''색상과 계절은 독립적이다''')print('대립가설:', '''색상과 계절은 독립적이지 않다\n''')chi_table = pd.crosstab(stat_df['Color'], stat_df['Season'])result = chi2_contingency(chi_table)print("카이제곱 통계량:", result.statistic.round(2))print("p-value:", result.pvalue.round(2))print("자유도:", r.. 공감수 0 댓글수 0 2024. 11. 16.
[통계적 실험] 목표데이터의 통계적 실험 이해A/B 테스트 이론 학습통계적 실험의 유의성(우연인가?): p-value 이해통계적 실험의 검정방식 숙지python 코드로 작성하며 활용01. 데이터 분석가의 통계적 실험분석기법 선택하기변수: 대상의 속성이나 특성을 측정하여 기록한 것독립변수: 원인이 되는 변수. aka.설명변수종속변수: 결과가 되는 변수. aka.결과변수. 독립변수에 따라 그 값이 변할 것이라고 예상하는 변수.모수: 모집단을 대표하는 값모수통계: 모집단이 정규분포를 따른다는 가정하에 사용. 데이터분석가는 주로 모수통계를 진행. 평균, 분산 등의 값을 알고 있다는 가정 하에 진행하는 통계분석.비모수통계: 모집단이 정규분포가 아닐 때 사용됩니다. (이 말은 곧 표본의 크기가 충분히 크지 않음(30개 미만): 소.. 공감수 2 댓글수 1 2024. 11. 14.
[기초통계] 목표다양한 데이터의 종류를 이해편차, 분산, 표준편차의 개념을 이해표본분포와 히스토그램의 개념을 학습신뢰구간과 정규분포의 개념을 익히고 응용≣ 목차01. 데이터의 종류데이터 분석에 사용되는 통계구분상세분석 기법* 기초 통계분석* 상관분석* 회귀분석* 분류분석* 군집분석* RFM 분석분석 방법론* A/B TEST통계이론* 기초통계이론(평균, 분산, 표준편차)* 정규분포와 중심극한정리* 신뢰구간과 유의수준* 가설 설정* 통계적 유의성 검정* 통계적 가설 검정데이터의 종류데이터 종류개념예시수치형숫자를 이용해 표현할 수 있는 데이터이산형, 연속형을 모두 포함하는 개념체중, 신장, 사고선수, 일 방문자수연속형일정 범위 안에서 어떤 값이든 취할 수 있는 데이터체중, 신장이산형횟수와 값은 정수형 값만 취할 수 있는 .. 공감수 0 댓글수 0 2024. 11. 14.
[선형관계확인] 다양한 방법 1. 산점도(Scatter Plot)import matplotlib.pyplot as pltimport seaborn as sns# 산점도 그리기sns.scatterplot(x=df['Study Hours'], y=df['Exam Scores'], data=df)plt.title('Scatter Plot of Study Hours vs Exam Scores')plt.show()산점도를 통해 두 변수 간의 관계가 직선에 가까운지 확인합니다. 만약 점들이 대체로 직선에 가까운 형태로 분포한다면, 이는 선형 관계를 의미2. 회귀선 추가# 산점도와 회귀선 그리기sns.regplot(x=df['Study Hours'], y=df['Exam Scores'], data=df, ci=None, line_kws={"co.. 공감수 0 댓글수 0 2024. 11. 12.
[상호정보 상관계수] 상호정보를 이용한 변수끼리의 계산 상호정보 상관계수란두 변수 간의 공통된 정보를 측정하는 지표값이 클수록 두 변수 간의 상호 의존성이 크다는 것을 의미변수 간의 정보 의존성을 바탕으로 비선형 관계를 탐지서로의 정보에 대한 불확실성을 줄이는 정도를 바탕으로 계산비선형적이고 복잡한 관계를 탐지하고자 할 때 사용두 변수가 범주형 데이터일 때 적용 가능파이썬 실습import numpy as npfrom sklearn.metrics import mutual_info_score# 범주형 예제 데이터X = np.array(['cat', 'dog', 'cat', 'cat', 'dog', 'dog', 'cat', 'dog', 'dog', 'cat'])Y = np.array(['high', 'low', 'high', 'high', 'low', 'low',.. 공감수 0 댓글수 0 2024. 11. 12.
[비모수상관계수] 상관관계 비모수 상관계수데이터가 정규분포를 따르지 않거나 변수들이 순서형 데이터일 때 사용하는 상관계수데이터의 분포에 대한 가정 없이 두 변수 간의 상관관계를 측정할 때 사용대표적으로 스피어만 상관계수와 켄달의 타우 상관계수가 있음스피어만 상관계수두 변수의 순위 간의 일관성을 측정켄달의 타우 상관계수보다 데이터 내 편차와 에러에 민간from scipy.stats import spearmanr# 예시 데이터 생성np.random.seed(0)customer_satisfaction = np.random.rand(100)repurchase_intent = 3 * customer_satisfaction + np.random.randn(100) * 0.5# 데이터프레임 생성df = pd.DataFrame({'Custome.. 공감수 0 댓글수 0 2024. 11. 12.
[피어슨 상관계수] 상관관계 피어슨 상관계수란?두 연속형 변수 간의 선형관계를 측정하는 지표-1에서 1사이의 값을 가진다1은 완전한 양의 선형 관계-1은 완전한 음의 선형 관계0은 선형 관계가 없음을 의미비선형 관계에선 사용할 수 없음파이썬 실습import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsfrom scipy.stats import pearsonr# 예시 데이터 생성np.random.seed(0)study_hours = np.random.rand(100) * 10exam_scores = 3 * study_hours + np.random.randn(100) * 5# 데이터프레임 생성df = pd.DataFrame({'Stu.. 공감수 0 댓글수 0 2024. 11. 12.
[스플라인 회귀] 여러 구간에 다항식 적용하는 모델링 스플라인 회귀스플라인 회귀(Spline Regression)는 데이터를 여러 구간으로 나누고 각 구간에 다항식을 적용하여 모델링하는 기법이를 통해 비선형적인 관계를 보다 유연하게 모델링스플라인 회귀는 특히 데이터가 특정 구간에서 다른 패턴을 보일 때 유용파이썬 실습1. 필요 라이브러리import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy.interpolate import make_interp_splinefrom sklearn.metrics import mean_squared_error, r2_scorescipy.interpolate.make_interp_spline: 스플라인 회귀를 위한 함수로, 주어진 데이터에 대해 .. 공감수 0 댓글수 0 2024. 11. 12.
[다항회귀] 비선형 관계 회귀 다항회귀란독립변수와 종속변수간의 관계가 선형이 아닐 때 사용독립변수의 다항식을 사용하여 종속 변수를 예측데이터가 곡선적 경향을 따를 때 사용비선형 관계를 모델링고차 다항식의 경우 과적합 위험파이썬 실습1. 데이터 생성from sklearn.preprocessing import PolynomialFeatures# 예시 데이터 생성np.random.seed(0)X = 2 - 3 * np.random.normal(0, 1, 100)y = X - 2 * (X ** 2) + np.random.normal(-3, 3, 100)X = X[:, np.newaxis]print(X.shape)print(y.shape)(100, 1)(100,)np.random.seed(0): 난수 생성기의 시드를 고정하여 실행할 때마다 동.. 공감수 0 댓글수 0 2024. 11. 12.
[회귀 - 범주형] 다중선형회귀에서의 범주형 변수 범주형 변수 종류순서가 있는 범주형 변수옷의 사이즈 (L, M, …), 수능 등급 (1등급, 2등급, ….)과 같이 범주형 변수라도 순서가 있는 변수에 해당한다이런 경우 각 문자를 임의의 숫자로 변환해도 문제가 없다 (순서가 잘 반영될 수 있게 숫자로 변환)ex) XL → 3, L → 2, M → 1, S → 0순서가 없는 범주형 변수성별 (남,여), 지역 (부산, 대구, 대전, …) 과 같이 순서가 없는 변수에 해당한다2개 밖에 없는 경우 임의의 숫자로 바로 변환해도 문제가 없지만3개 이상인 경우에는 무조건 원-핫 인코딩(하나만 1이고 나머지는 0인 벡터)변환을 해주어야 한다 → pandas의 get_dummies를 활용하여 쉽게 구현 가능ex) 부산 = [1,0,0,0], 대전 = [0,1,0,0],.. 공감수 1 댓글수 0 2024. 11. 12.
[분산팽창요인] VIF(Variance Inflation Factor) VIF란VIF는 다중 회귀 분석에서 다중공선성(Multicollinearity)을 진단하는 데 사용다중공선성이란 독립 변수들 간에 높은 상관관계가 있을 때 발생하는 문제로, 회귀 분석 결과의 신뢰성을 떨어뜨릴 수 있다VIF는 각 독립 변수가 다른 독립 변수들에 의해 얼마나 설명되는지를 나타내며, 일반적으로 VIF 값이 10 이상이면 다중공선성 문제가 있다고 판단파이썬 계산 방법필요한 라이브러리 설치 및 불러오기variance_inflation_factor: VIF를 계산하는 함수.add_constant: 상수항(절편)을 추가하는 함수.import pandas as pdfrom statsmodels.stats.outliers_influence import variance_inflation_factorfro.. 공감수 0 댓글수 0 2024. 11. 12.
[선형회귀] Regression 단순선형회귀한 개의 변수에 의한 결과를 예측하나의 독립변수(x)와 하나의 종속변수(y) 간의 관계를 직선으로 모델링하는 방법데이터가 직선적 경향을 따를 때 사용데이터가 선형적이지 않을 경우 부적합독립변수의 변화에 따라 종속변수가 어떻게 변화하는지 설명하고 예측 가능import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn.linear_model import LinearRegressionfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import mean_squared_error, r2_score# 예시 데이터 생성np.random.see.. 공감수 0 댓글수 0 2024. 11. 12.
[다중검정] 유의성 검정 다중검정이란☑️ 다중검정여러 가설을 동시에 검정할 때 발생하는 문제각 검정마다 유의수준을 조정하지 않으면 1종 오류(귀무가설이 참인데 기각하는 오류) 발생 확률이 증가1종 오류가 무엇인지랑 왜 다중검정시 발생확률이 증가하는지는 밑에서 다시 설명! 지금은, 어떤 오류가 발생할 수 있다는 정도로 이해!☑️ 보정 방법본페로니 보정, 튜키 보정, 던넷 보정, 윌리엄스 보정 등이 있음가장 대표적이고 기본적인게 본페로니 보정python 실습import numpy as npimport scipy.stats as stats# 세 그룹의 데이터 생성np.random.seed(42)group_A = np.random.normal(10, 2, 30)group_B = np.random.normal(12, 2, 30)grou.. 공감수 0 댓글수 0 2024. 11. 12.
[t검정] 유의성 검정 t - 검정이란t검정은 두 집단 간의 평균 차이가 통계적으로 유의미한지 확인하는 검정 방법독립표본 t검정과 대응표본 t검정으로 나뉨☑️ 독립표본 t검정두 독립된 그룹의 평균을 비교두 클래스의 시험 성적 비교☑️ 대응표본 t검정동일한 그룹의 사전/사후 평균을 비교다이어트 전후 체중 비교python 실습import numpy as npimport scipy.stats as stats# 학생 점수 데이터scores_method1 = np.random.normal(70, 10, 30)scores_method2 = np.random.normal(80, 12, 30)# 독립표본 t검정t_stat, p_val = stats.ttest_ind(scores_method1, scores_method2)print(f"T-.. 공감수 3 댓글수 0 2024. 11. 12.
[가설검정] 유의성 검정 가설검정표본 데이터를 통해 모집단의 가설을 검증하는 과정즉, 데이터가 특정 가설을 지지하는지 평가하는 과정귀무가설(H0)과 대립가설(H1)을 설정하고, 귀무가설을 기각할지를 결정데이터 분석시 두가지 전략을 취할 수 있음확증적 자료분석미리 가설들을 먼저 세운 다음 가설을 검증해 나가는 분석탐색적 자료분석(EDA)가설을 먼저 정하지 않고 데이터를 탐색해보면서 가설 후보들을 찾고 데이터의 특징을 찾는 것단계귀무가설(H0)과 대립가설(H1) 설정유의수준(α) 결정검정통계량 계산p-값과 유의수준 비교결론 도출☑️ 통계적 유의성통계적 유의성은 결과가 우연히 발생한 것이 아니라 어떤 효과가 실제로 존재함을 나타내는 지표p값은 귀무 가설이 참일 경우 관찰된 통계치가 나올 확률을 의미일반적으로 p값이 0.05 미만이면 .. 공감수 0 댓글수 0 2024. 11. 11.
[A/B 검정] 유의성 검정 A/B 검정이란?두 버전(A와 B) 중 어느 것이 더 효과적인지 평가하기 위해 사용되는 검정 방법마케팅, 웹사이트 디자인 등에서 많이 사용사용자를 두 그룹으로 나누고, 각 그룹에 다른 버전을 제공한 후 반응을 비교일반적으로 전환율, 클릭률, 구매수, 방문 기간, 방문한 페이지 수, 특정 페이지 방문 여부, 매출 등의 지표를 비교import numpy as npimport scipy.stats as stats# 가정된 전환율 데이터group_a = np.random.binomial(1, 0.30, 100) # 30% 전환율group_b = np.random.binomial(1, 0.45, 100) # 45% 전환율# t-test를 이용한 비교t_stat, p_val = stats.ttest_ind(g.. 공감수 1 댓글수 0 2024. 11. 11.
[분포] 분포 정리하기 정규분포대부분의 데이터가 평균 주변에 몰려 있으며, 평균에서 멀어질수록 빈도가 줄어듦# 정규분포 생성normal_dist = np.random.normal(170, 10, 1000)# 히스토그램으로 시각화plt.hist(normal_dist, bins=30, density=True, alpha=0.6, color='g')# 정규분포 곡선 추가xmin, xmax = plt.xlim()x = np.linspace(xmin, xmax, 100)p = stats.norm.pdf(x, 170, 10)plt.plot(x, p, 'k', linewidth=2)plt.title('normal distribution histogram')plt.show()긴 꼬리 분포대부분의 데이터가 분포의 한쪽 끝에 몰려 있고, 반대쪽.. 공감수 0 댓글수 0 2024. 11. 11.
[모집단과 표본] 데이터의 분포 왜 표본을 사용하는 걸까?현실적인 제약비용과 시간: 자원을 절약하면서도 유의미한 결과 도출 가능접근성: 접근 가능한 데이터를 활용대표성표본의 대표성: 잘 설계된 표본은 모집단의 특성을 반영 / 편향을 최소화하고 모집단의 다양한 특성 포함데이터 관리데이터 처리의 용이성: 큰 데이터셋은 분석에 많은 컴퓨팅 자원이 필요데이터 품질 관리: 오류나 이상값을 식별하여 수정할 수 있다모델 검증 용이모델 적합도 테스트: 통계적 모델 검증 가능import numpy as npimport matplotlib.pyplot as plt# 모집단 생성 (예: 국가의 모든 성인의 키 데이터)population = np.random.normal(170, 10, 1000)# 표본 추출sample = np.random.choice(p.. 공감수 0 댓글수 0 2024. 11. 11.
[분석 방법] 데이터 분석과 통계 위치추정데이터의 중심을 확인하는 방법data = [85, 90, 78, 92, 88, 76, 95, 89, 84, 91]# 평균값: np.mean()mean = np.mean(data)# 중앙값: np.median()median = np.median(data)print(f"평균: {mean}, 중앙값: {median}") 변이추정분산, 표준편차, 범위variance = np.var(data)std_dev = np.std(data)data_range = np.max(data) - np.min(data)print(f"분산: {variance}, 표준편차: {std_dev}, 범위: {data_range}")데이터 분포 탐색히스토그램과 박스플롯# 히스토그램plt.hist(data, bins=5)plt.titl.. 공감수 0 댓글수 0 2024. 11. 11.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.