티스토리

Developer's Delight
검색하기

블로그 홈

Developer's Delight

sonseungha.tistory.com/m

I want to be a S/W developer who benefits people.

구독자
17
방명록 방문하기
공지 About ME 모두보기

주요 글 목록

  • 데이터 스누핑 편향이란? 데이터 스누핑 편향데이터 과학과 머신러닝 프로젝트를 진행하다 보면, 데이터를 탐색하고 분석하는 과정에서 주의해야 할 여러 가지 편향이 발생할 수 있습니다. 그 중 하나가 바로 데이터 스누핑 편향(data snooping bias)입니다. 이 글에서는 데이터 스누핑 편향이 무엇인지, 왜 발생하는지, 그리고 이를 방지하는 방법에 대해 알아보겠습니다.데이터 스누핑 편향이란?데이터 스누핑 편향은 데이터를 반복적으로 탐색하고 분석하여 얻은 결과를 바탕으로 모델을 구축함으로써 발생하는 통계적 편향입니다. 이는 데이터를 과도하게 탐색한 결과, 실제로는 존재하지 않는 패턴을 발견하게 되어 모델이 잘못된 결론을 도출하게 되는 현상입니다. 이러한 편향은 특히 모델을 평가할 때 문제가 되며, 과적합(overfitting)의.. 공감수 0 댓글수 0 2024. 6. 22.
  • 희소행렬을 효율적으로 저장하는 COO, CSR 형식 희소행렬(Sparse Matrix)은 대부분의 원소가 0으로 채워진 행렬을 의미합니다. 이러한 행렬은 데이터의 특성에 따라 매우 큰 메모리를 차지할 수 있습니다. 따라서, 이러한 희소행렬을 저장하고 효율적으로 다루기 위해 COO(Coordinate List)와 CSR(Compressed Sparse Row) 형식이 주로 사용됩니다. 데이터 포맷에서 "희소행렬"과 "COO(Coordinate List)", "CSR(Compressed Sparse Row)" 형식은 주로 희소 행렬(행렬 내 대부분의 요소가 0인 경우)을 저장하고 효율적으로 다루기 위해 사용됩니다. 희소행렬(Sparse Matrix): 일반적인 행렬과 달리, 대부분의 원소가 0으로 구성되어 있습니다. 이러한 행렬은 메모리를 효율적으로 사용하기.. 공감수 0 댓글수 0 2024. 3. 30.
  • [Metrics] 분류 모델 평가를 위한 지표는 어떻게 선정해야 하는가? 모델 평가지표를 선택할 때에는 해당 문제의 특성과 목표, 그리고 모델이 사용되는 상황을 고려해야 합니다. 다양한 모델 평가지표 중에서 어떤 것을 선택할지 결정하는 데에는 여러 요소가 영향을 미칩니다. 모델 지표 선택 시 고려사항 해결하려는 문제에 대한 정확한 이해가 필요 분류 문제인지 회귀 문제인지를 고려해야 합니다. 분류 문제에서는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1 스코어 등이 중요한 평가지표입니다. 회귀 문제에서는 평균 제곱 오차(Mean Squared Error), 평균 절대 오차(Mean Absolute Error) 등이 일반적입니다. 데이터의 불균형 문제에 대한 고민 클래스 간의 샘플 수가 불균형하다면 정확도만으로는 모델 성능을 올바르게 평가할 .. 공감수 0 댓글수 2 2023. 12. 2.
  • [결측치 확인] Missingno 이용하기 데이터 분석 시 결측치를 확인하고 처리하는 것은 필수 요소입니다. missingno 모듈은 데이터셋에서 누락된 데이터를 시각적으로 파악하고 분석하는 데 도움을 주는 Python 라이브러리입니다. 주로 데이터셋의 결측치를 시각화하여 어떤 부분이 비어 있는지, 데이터의 패턴을 파악하는 데 사용됩니다. 이 모듈은 주로 판다스 데이터프레임과 함께 사용되며, 데이터셋에서 결측치를 식별하고 시각적으로 보여주는 기능을 제공합니다. missingno 모듈의 주요 기능으로는: Matrix: missingno.matrix() 함수는 데이터셋의 결측치를 매트릭스 형태로 시각화하여 데이터셋 전체의 결측치 분포를 파악할 수 있습니다. import missingno as msno import pandas as pd # 데이터프레.. 공감수 0 댓글수 0 2023. 11. 30.
  • [분석통계] 정규성 검정 정규성 검정 정규성 검정은 3가지 방법으로 검정을 진행한다. 검정 방법은 시각화 또는 가설 검정을 이용한 방법으로 나뉜다. 가설검정을 이용 시 귀무가설 '$H_{0}$는 모집단의 분포는 정규분포이다' 가 된다. Q-Q Plot 시각화를 이용한 정규성 검정방법 Shapiro-Wilks Test from scipy import stats stats.shapiro(df) Kolmogorov-Smirnov Test (KS-Test) KS-Test 는 누적분포함수를 비교하는 방법이다. 따라서 이론정규분포와 표본의 누적분포함수(cdf)를 비교한다. 아래 코드에서 주의할 점은 kstest 전 데이터를 표준화 전처리가 필수적으로 수행되어야 한다. from scipy import stats data = (df - df... 공감수 0 댓글수 0 2023. 5. 29.
  • [분석통계] 통계적 검정 방법 간단 정리 1개의 모집단에 관한 검정 1개의 샘플 내에서의 모집단의 평균에 관한 검정 (One-sampel T-test) scipy.stat.ttest_1sample() 사용 alternative 변수에 greater(우측검정), less(좌측검정), two-sided(양측검정) 입력 from scipy import stats stats.ttest_1sample(data, popmean = mu, alternative = 'two-sided') 1개의 샘플 내에서의 모집단의 비율에 관한 검정 모집단의 데이터가 범주형인 경우 특정 범주의 발생비율이 모수이며 해당 모수를 검정하고자 한다. 비율은 근사적 정규분포를 따르기에 Z-test를 사용한다. from statsmodels.stats.proportion import.. 공감수 0 댓글수 0 2023. 5. 27.
  • [ANOVA] 일원 / 이원분산분석 해보기 (상호작용항) 이 글에서는 이론은 다루지 않습니다. 일원분산분석 (One-way ANOVA) 일원분산분석에서 등분산 검정은 sklearn에 포함된 $bartlett()$을 이용하여 구할 수 있다. $bartlett()$ 함수의 시그니처는 아래와 같다. Signature: bartlett(*samples) Docstring: Perform Bartlett's test for equal variances. Bartlett's test tests the null hypothesis that all input samples are from populations with equal variances. For samples from significantly non-normal populations, Levene's test `l.. 공감수 0 댓글수 0 2023. 4. 20.
  • [Pandas] 여러 Column 동시에 추가하기 (assign) 보통 pandas에서 여러 개의 컬럼을 추가하는 방법으로 다양한 방법이 사용된다. 가장 단순한 방법을 열을 하나씩 선언해주며 추가하는 것이다. import pandas as pd data = [1,2,3,4], [5,6,7,8], [9,10,11,12] df = pd.DataFrame([[1,2,3,4], [5,6,7,8], [9,10,11,12]]) df['Mean'] = df.mean(axis = 1) df['Std'] = df.std(axis = 1) df['Max'] = df.max(axis = 1) df['Min'] = df.min(axis = 1) 위 코드의 수행 결과는 아래와 같다. pandas에서 제공하는 $assign$을 이용하면 좀 더 깔끔하게 정리가 된다. (코드 양이 줄어드는 것은 .. 공감수 0 댓글수 0 2023. 4. 19.
  • 가설과 P-Value의 의미 우리는 많은 상황에서 모집단에 관한 정보를 알지 못한다. 만약 모집단에 대한 정보를 안다면 표본을 추출하고 분석하여 모집단을 추론하는 일은 없을 것이다. 가설검정도 모집단을 검정할 목적으로 설정하는 모수에 대한 잠정적인 주장이나 가정을 말한다. 표본을 추출하여 분석하는 과정에서 새로운 사실을 발견했을 때 해당 사실이 모집단에서도 적용되는지를 위해 가설을 세우고 검정하는 절차를 지킨다. 귀무가설과 대립가설 가설을 검정할 때 사용되는 가설은 귀무가설과 대립가설로 2가지 이다. 귀무가설 (Null Hypothesis) 모집단의 특성에 대해 옳다고 제안하는 잠정적인 주장으로 과거의 경험, 지식 또는 연구의 결과 등 현재까지 이어져오는 인정된 것을 의미한다. 대립가설 (Alternative Hypothesis) .. 공감수 0 댓글수 0 2023. 4. 11.
  • [Pandas] Apply, Map Practice 이 예제는 https://www.datamanim.com/dataset/99_pandas/pandasMain.html#apply-map 를 풀이한 예제입니다. Import library import pandas as pd Load Data df = pd.read_csv('https://raw.githubusercontent.com/Datamanim/pandas/main/BankChurnersUp.csv',index_col=0) df.info() Int64Index: 10127 entries, 0 to 10126 Data columns (total 18 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 CLIENTNUM 10.. 공감수 0 댓글수 0 2023. 4. 2.
  • [Pandas] Grouping Practice 이 예제는 https://www.datamanim.com/dataset/99_pandas/pandasMain.html#grouping 을 풀이한 예제입니다. import pandas as pd Load Data df= pd.read_csv('https://raw.githubusercontent.com/Datamanim/pandas/main/AB_NYC_2019.csv') df.head() id name host_id host_name neighbourhood_group neighbourhood latitude longitude room_type price minimum_nights number_of_reviews last_review reviews_per_month calculated_ho.. 공감수 0 댓글수 0 2023. 3. 28.
  • t-value와 t-test 들어가기 전에 통계학에서 추정을 위해서 모집에서 표본을 추출하고, 추출한 표본에서 표본 통계량 (평균, 분산 등)을 구할 수 있다. 이 때 구한 표본 통계량으로 검정 통계량이란 것을 구할 수 있으며 이 통계량을 이용하여 표본에서 모집단을 추론하는 과정을 진행한다. 여기서 검정통계량이란 이 글에서 정리할 t-value를 포함하여, F, z 등을 통칭하는 통계량으로 통계적 가설의 진위여부를 검정하기 위해 계산하는 통계량을 의미한다. 즉 이 통계량을 이용하여 표본을 이용하여 모집단에 대한 가설이 맞는지 여부를 확인하는 과정이다. t-value란? 앞서 검정통계량은 모집단에 대한 가설이 맞는지 여부를 확인하는 과정이라고 했다. t-value의 의미와 어떻게 사용하는지 정리해본다. 연구를 진행하다 보면 모집단에서.. 공감수 0 댓글수 0 2023. 3. 28.
  • 정규화는 데이터 분리 전? 후? 언제 해야할까? 데이터 분석 / 기계학습 과정 중 개인적으로 가장 중요하게 생각되는 분야 중 하나가 데이터 전처리이다. 데이터를 분석하고, 시각화를 통해 데이터 Feature 간 관계성과 분포 등을 파악한다. 유의미한 Feature를 선택하거나 새로운 Feature를 생성하는 과정 등을 거치는 과정은 매우 필수적이고 중요한 과정이다. 해당 과정을 학습하면서 궁금했던 점이 있었다. 처음 데이터과학을 공부하면서 정규화와 트레이닝,테스트 데이터를 분리하는 과정을 공부하게 되면서 생긴 궁금증. 정규화는 트레이닝, 테스트 데이터셋으로 분리전에 진행을 하는게 좋을까? 아니면 분리 이후에 진행을 하는게 좋은가에 대한 궁금증이다. 정규화를 먼저하는게 좋을까? 트레이닝, 테스트 데이터 분리를 먼저하는게 좋을까? 아니면 데이터 전처리 과.. 공감수 2 댓글수 0 2023. 3. 12.
  • [Data Science] 서울시 따릉이 이용정보 데이터 데이터과학에서 python을 도구로 사용할 시 pandas, numpy 등의 라이브러리를 떨어질 수 없는 관계이다. 해당 연습을 위해 DataMinim 님의 데이터를 활용하여 연습하고, 결과를 공유하려 한다. 작업 1유형 — DataManim Question 15 각 비디오는 10분 간격으로 구독자수, 좋아요, 싫어요수, 댓글수가 수집된것으로 알려졌다. 공범 EP1의 비디오정보 데이터중 수집간격이 5분 이하, 20분이상인 데이터 구간( 해당 시점 전, www.datamanim.com 데이터 다운받기 사용하는 데이터는 DataMinim 님이 정제해둔 데이터이다. 아래와 같이 다운로드 한다. import pandas as pd df =pd.read_csv('https://raw.githubuserconten.. 공감수 0 댓글수 0 2023. 2. 7.
  • [Data Science] 월드컵 출전선수 골기록 데이터 데이터과학에서 python을 도구로 사용할 시 pandas, numpy 등의 라이브러리를 떨어질 수 없는 관계이다. 해당 연습을 위해 DataMinim 님의 데이터를 활용하여 연습하고, 결과를 공유하려 한다. 작업 1유형 — DataManim Question 15 각 비디오는 10분 간격으로 구독자수, 좋아요, 싫어요수, 댓글수가 수집된것으로 알려졌다. 공범 EP1의 비디오정보 데이터중 수집간격이 5분 이하, 20분이상인 데이터 구간( 해당 시점 전, www.datamanim.com 데이터 다운받기 사용하는 데이터는 DataMinim 님이 정제해둔 데이터이다. 아래와 같이 다운로드 한다. import pandas as pd df= pd.read_csv('https://raw.githubuserconten.. 공감수 0 댓글수 0 2023. 2. 7.
  • [Data Science] 유튜브 공범컨텐츠 동영상 데이터 분석하기 데이터과학에서 python을 도구로 사용할 시 pandas, numpy 등의 라이브러리를 떨어질 수 없는 관계이다. 해당 연습을 위해 DataMinim 님의 데이터를 활용하여 연습하고, 결과를 공유하려 한다. 작업 1유형 — DataManim Question 15 각 비디오는 10분 간격으로 구독자수, 좋아요, 싫어요수, 댓글수가 수집된것으로 알려졌다. 공범 EP1의 비디오정보 데이터중 수집간격이 5분 이하, 20분이상인 데이터 구간( 해당 시점 전, www.datamanim.com 데이터 다운받기 사용하는 데이터는 DataMinim 님이 정제해둔 데이터이다. 아래와 같이 다운로드 한다. import pandas as pd channel =pd.read_csv('https://raw.githubuserc.. 공감수 1 댓글수 1 2023. 1. 19.
  • [Data Science] 유튜브 인기 동영상 분석하기 데이터과학에서 python을 도구로 사용할 시 pandas, numpy 등의 라이브러리를 떨어질 수 없는 관계이다. 해당 연습을 위해 DataMinim 님의 데이터를 활용하여 연습하고, 결과를 공유하려 한다. 작업 1유형 — DataManim Question 15 각 비디오는 10분 간격으로 구독자수, 좋아요, 싫어요수, 댓글수가 수집된것으로 알려졌다. 공범 EP1의 비디오정보 데이터중 수집간격이 5분 이하, 20분이상인 데이터 구간( 해당 시점 전, www.datamanim.com 데이터 다운받기 사용하는 데이터는 DataMinim 님이 정제해둔 데이터이다. 아래와 같이 다운로드 한다. import pandas as pd df = pd.read_csv("https://raw.githubuserconte.. 공감수 0 댓글수 0 2023. 1. 17.
  • [데이터 과학] 확률분포 (이산형, 연속형) 확률변수와 확률분포 표본공간에 발생하는 원소를 정의역으로 하고 이에 대응되는 실수값을 치역으로 하는 함수를 확률변수라고 한다. 치역에 해당하는 실수값이 확률을 대응시켜 나타낸 것을 확률분포라 한다. 위 말을 수학적으로 표현하면, 확률변수는 정의역이 표본공간이고 치역이 실수값인 함수이다. 이 때 이 확률변수가 어떤 확률분포에 대응할 때, 우리는 `확률분포에 따른다` 라고 표현할 수 있다. 확률변수의 종류는 다음과 같다. 이산형 확률변수 (Discrete random variable) : 확률질량함수라고도 불림 확률이 0보다 큰 값을 갖는 점들로 확률을 표현할 수 있다. 사건의 확률이 그 사건들(그래프 상의 점들)이 발생하는 확률의 합으로 표현할 수 있는 확률 변수 연속형 확률변수 (Continuous ra.. 공감수 0 댓글수 0 2023. 1. 17.
  • [데이터 과학] 베이즈 정리 베이즈 정리에 앞서 간단한 확률 이론을 정리하고 시작한다. 확률 확률은 어떤 사건이 일어날 수 있는 확실성의 정도를 뜻한다. 확률은 0에서 1 사이의 값을 가지며 모든 사건에 대한 확률의 합은 1이라는 특징을 가진다. 베이즈 정리를 작성하기 전에 몇 가지 용어를 정리하려 한다. 각 용어는 확률에서 기초적인 내용이며 추후 지속적으로 해당 용어를 사용하기에 사전에 정리한다. 확률실험 확률실험은 확률을 구하기 위한 실험 또는 시행이라 부르며 아래 3가지 조건을 만족할 때 확률실험이라 한다. 어떤 실험을 통해 나타나는 결과를 예측할 수 없음. 동일한 조건으로 실험을 반복하여도 임의의 형태로 결과가 나타난다. 동일한 실험을 반복할 수 있다. 표본공간 확률 실험을 할 때 발생 가능한 모든 결과의 집합이다. 주로 대.. 공감수 0 댓글수 2 2022. 12. 26.
  • [데이터 과학] 통계량 (추정량) 통계량(또는 추정량, Statistics)는 모집에서도 표본추출로 추출된 표본을 분석하여 얻어지는 결과 값이다. 이러한 통계를 위치, 변이, 모양 통계량으로 나뉠 수 있고 각 통계량은 표현하는 정보가 다를 수 있다. 각 통계량에 대해 정리한다. 수치형 변수에 대해 분포 분석은 대표값과 데이터 흩어짐의 정도를 파악 및 비교하여 각 통계량을 표현한다. 위치 통계량 위치 통계량은 데이터가 얼마나 중심적인 경향성을 띄는지 확인하기 쉽다. 평균(Mean) 산술 평균은대표적인 위치 통계량 정보로 모든 데이터 수치의 합을 총 개수로 나눈 값이다. 모두가 알듯 산술 평균은 계산이 매우 쉽고 수학적으로 활용하기 편리하며, 각 자료에 대해 유일한 값을 띈다. 특히 분석, 모수추정, 가설검증 등에서 대표값으로 많이 사용된다.. 공감수 0 댓글수 0 2022. 12. 26.
  • [데이터 과학] 0. 들어가기 앞서 (용어 및 기본 정리) 데이터 과학을 학습하며 내용을 정리하기에 앞서 알고있으면 좋은 용어 및 간단한 도표등을 정리한다. 특히 통계와 관련된 내용을 주로 정리하고자 한다. 1. 통계학 기본 통계학이란 관심대상에 대하여 관련된 자료를 수집하고 그 자료를 요약, 정리하여 결과를 도출해내는 것이다. 이 때의 결과는 불확실한 사실에 대한 결론일 수 도 있고, 일반적인 자료의 규칙을 찾아내는 과정일 수도 있다. 모집단과 표본 모집단 (Population) : 통계적인 관찰의 대상이 되는 집단 전체 표본 (Sample) : 직접적인 조사 대상이 되는 모집단의 일부 표본추출 (Sampling) : 모집단으로부터 표본을 선택하는 행위로 크게 확률적 추출과 비확률적 추출로 나뉜다. 통계량 (Statistics) : 표본을 분석하여 얻어지는 결.. 공감수 0 댓글수 0 2022. 12. 25.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.