전체 글

[Pandas] 여러 Column 동시에 추가하기 (assign)

보통 pandas에서 여러 개의 컬럼을 추가하는 방법으로 다양한 방법이 사용된다. 가장 단순한 방법을 열을 하나씩 선언해주며 추가하는 것이다. import pandas as pd data = [1,2,3,4], [5,6,7,8], [9,10,11,12] df = pd.DataFrame([[1,2,3,4], [5,6,7,8], [9,10,11,12]]) df['Mean'] = df.mean(axis = 1) df['Std'] = df.std(axis = 1) df['Max'] = df.max(axis = 1) df['Min'] = df.min(axis = 1) 위 코드의 수행 결과는 아래와 같다. pandas에서 제공하는 $assign$을 이용하면 좀 더 깔끔하게 정리가 된다. (코드 양이 줄어드는 것은 ..

가설과 P-Value의 의미

우리는 많은 상황에서 모집단에 관한 정보를 알지 못한다. 만약 모집단에 대한 정보를 안다면 표본을 추출하고 분석하여 모집단을 추론하는 일은 없을 것이다. 가설검정도 모집단을 검정할 목적으로 설정하는 모수에 대한 잠정적인 주장이나 가정을 말한다. 표본을 추출하여 분석하는 과정에서 새로운 사실을 발견했을 때 해당 사실이 모집단에서도 적용되는지를 위해 가설을 세우고 검정하는 절차를 지킨다. 귀무가설과 대립가설 가설을 검정할 때 사용되는 가설은 귀무가설과 대립가설로 2가지 이다. 귀무가설 (Null Hypothesis) 모집단의 특성에 대해 옳다고 제안하는 잠정적인 주장으로 과거의 경험, 지식 또는 연구의 결과 등 현재까지 이어져오는 인정된 것을 의미한다. 대립가설 (Alternative Hypothesis) ..

[MLflow] #5. MLflow Model Registry

MLflow 플랫폼은 크게 MLflow Tracking, MLflow Projects, MLflow Models, MLflow Model Registry의 컴포넌트로 구성된다. 이 글에서는 그 중 MLflow Tracking 기능에 대해서 정리한다. MLflow Model Registry의 기본적인 기능은 아래와 같다. MLflow Model Registry MLflow 모델의 전체 수명 주기를 공동으로 관리하기 위한 중앙 집중식 모델 스토어, API 및 UI 모음 모델 계보(MLflow 실험 및 실행이 모델을 생성함), 모델 버전 관리, 단계 전환(예: 스테이징에서 프로덕션으로) 및 주석을 제공. 단순하게 설명하면 $Model Registry$ 는 이름에서 파악이 되듯 모델의 저장소 역할을 한다. 모델..

[TroubleShooting] pyenv 문제 해결

_bz2, _ctypes, readline, _ssl 등 ModuleNotFoundError pyenv 설치 이후 아래와 같은 문제가 발생하는 경우가 있다. 필요한 라이브러리들이 설치가 안된 경우다. 문제 Downloading Python-3.8.16.tar.xz... -> https://www.python.org/ftp/python/3.8.16/Python-3.8.16.tar.xz Installing Python-3.8.16... Traceback (most recent call last): File "", line 1, in File "/home/linuxias/.pyenv/versions/3.8.16/lib/python3.8/bz2.py", line 19, in from _bz2 import BZ2..

[MLflow] #4. MLflow Projects 정리하기

MLflow 플랫폼은 크게 MLflow Tracking, MLflow Projects, MLflow Models, MLflow Model Registry의 컴포넌트로 구성된다. 이 글에서는 그 중 MLflow Projects 기능에 대해서 정리한다. MLflow Projects 의 기본적인 기능은 아래와 같다. MLflow Projects 머신러닝 코드를 재사용 가능하고 재현 가능한 형태로 패키징 -> 어떤 플랫폼에서도 재현가능하도록 지원 포장된 형태를 다른 데이터 사이언티스트와 공유하거나 프러덕션에 반영 프로젝트를 실행하기 위한 API와 명령줄 도구가 포함되어 있어 프로젝트를 워크플로우로 연결할 수 있는 기능 제공 기업에서는 다양한 머신러닝 학습 도구 세트를 활용하고 있고 이러한 학습도구를 다양한 환경..

[Pandas] Apply, Map Practice

이 예제는 https://www.datamanim.com/dataset/99_pandas/pandasMain.html#apply-map 를 풀이한 예제입니다. Import library import pandas as pd Load Data df = pd.read_csv('https://raw.githubusercontent.com/Datamanim/pandas/main/BankChurnersUp.csv',index_col=0) df.info() Int64Index: 10127 entries, 0 to 10126 Data columns (total 18 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 CLIENTNUM 10..