AI

[Data Science] 유튜브 인기 동영상 분석하기

데이터과학에서 python을 도구로 사용할 시 pandas, numpy 등의 라이브러리를 떨어질 수 없는 관계이다. 해당 연습을 위해 DataMinim 님의 데이터를 활용하여 연습하고, 결과를 공유하려 한다. 작업 1유형 — DataManim Question 15 각 비디오는 10분 간격으로 구독자수, 좋아요, 싫어요수, 댓글수가 수집된것으로 알려졌다. 공범 EP1의 비디오정보 데이터중 수집간격이 5분 이하, 20분이상인 데이터 구간( 해당 시점 전, www.datamanim.com 데이터 다운받기 사용하는 데이터는 DataMinim 님이 정제해둔 데이터이다. 아래와 같이 다운로드 한다. import pandas as pd df = pd.read_csv("https://raw.githubuserconte..

[데이터 과학] 확률분포 (이산형, 연속형)

확률변수와 확률분포 표본공간에 발생하는 원소를 정의역으로 하고 이에 대응되는 실수값을 치역으로 하는 함수를 확률변수라고 한다. 치역에 해당하는 실수값이 확률을 대응시켜 나타낸 것을 확률분포라 한다. 위 말을 수학적으로 표현하면, 확률변수는 정의역이 표본공간이고 치역이 실수값인 함수이다. 이 때 이 확률변수가 어떤 확률분포에 대응할 때, 우리는 `확률분포에 따른다` 라고 표현할 수 있다. 확률변수의 종류는 다음과 같다. 이산형 확률변수 (Discrete random variable) : 확률질량함수라고도 불림 확률이 0보다 큰 값을 갖는 점들로 확률을 표현할 수 있다. 사건의 확률이 그 사건들(그래프 상의 점들)이 발생하는 확률의 합으로 표현할 수 있는 확률 변수 연속형 확률변수 (Continuous ra..

[데이터 과학] 베이즈 정리

베이즈 정리에 앞서 간단한 확률 이론을 정리하고 시작한다. 확률 확률은 어떤 사건이 일어날 수 있는 확실성의 정도를 뜻한다. 확률은 0에서 1 사이의 값을 가지며 모든 사건에 대한 확률의 합은 1이라는 특징을 가진다. 베이즈 정리를 작성하기 전에 몇 가지 용어를 정리하려 한다. 각 용어는 확률에서 기초적인 내용이며 추후 지속적으로 해당 용어를 사용하기에 사전에 정리한다. 확률실험 확률실험은 확률을 구하기 위한 실험 또는 시행이라 부르며 아래 3가지 조건을 만족할 때 확률실험이라 한다. 어떤 실험을 통해 나타나는 결과를 예측할 수 없음. 동일한 조건으로 실험을 반복하여도 임의의 형태로 결과가 나타난다. 동일한 실험을 반복할 수 있다. 표본공간 확률 실험을 할 때 발생 가능한 모든 결과의 집합이다. 주로 대..

[데이터 과학] 통계량 (추정량)

통계량(또는 추정량, Statistics)는 모집에서도 표본추출로 추출된 표본을 분석하여 얻어지는 결과 값이다. 이러한 통계를 위치, 변이, 모양 통계량으로 나뉠 수 있고 각 통계량은 표현하는 정보가 다를 수 있다. 각 통계량에 대해 정리한다. 수치형 변수에 대해 분포 분석은 대표값과 데이터 흩어짐의 정도를 파악 및 비교하여 각 통계량을 표현한다. 위치 통계량 위치 통계량은 데이터가 얼마나 중심적인 경향성을 띄는지 확인하기 쉽다. 평균(Mean) 산술 평균은대표적인 위치 통계량 정보로 모든 데이터 수치의 합을 총 개수로 나눈 값이다. 모두가 알듯 산술 평균은 계산이 매우 쉽고 수학적으로 활용하기 편리하며, 각 자료에 대해 유일한 값을 띈다. 특히 분석, 모수추정, 가설검증 등에서 대표값으로 많이 사용된다..

[데이터 과학] 0. 들어가기 앞서 (용어 및 기본 정리)

데이터 과학을 학습하며 내용을 정리하기에 앞서 알고있으면 좋은 용어 및 간단한 도표등을 정리한다. 특히 통계와 관련된 내용을 주로 정리하고자 한다. 1. 통계학 기본 통계학이란 관심대상에 대하여 관련된 자료를 수집하고 그 자료를 요약, 정리하여 결과를 도출해내는 것이다. 이 때의 결과는 불확실한 사실에 대한 결론일 수 도 있고, 일반적인 자료의 규칙을 찾아내는 과정일 수도 있다. 모집단과 표본 모집단 (Population) : 통계적인 관찰의 대상이 되는 집단 전체 표본 (Sample) : 직접적인 조사 대상이 되는 모집단의 일부 표본추출 (Sampling) : 모집단으로부터 표본을 선택하는 행위로 크게 확률적 추출과 비확률적 추출로 나뉜다. 통계량 (Statistics) : 표본을 분석하여 얻어지는 결..

[Agent] Software Agent Architecture

소프트웨어 에이전트 아키텍쳐에 대해 정리해보겠습니다. 에이전트 구조는 3개로 크게 나뉠 수 있습니다.Deliberative : 의도적인, 신중한Reactive : 반응하는Hybrid : Deliberative + Reactive용어 의미만 보아서 파악할 수 있는건 Hybrid밖에 없는 것 같네요. 하나씩 정리해보도록 하겠습니다. Deliberative AgentsDeliberative Agents는 명확하게 표현되어 질 수 있는 실세계의 상징적 모델이며 Symbolic reasoning을 통해 결정을 만들어 나가는 에이전트입니다. Sense-plan-act 를 통한 문제 해결방식으로 Deliberative 구조로 BDI, GRATE*, HOMER, Shoham 등이 유명합니다. Deliberative는 ..