n-gram 출현빈도에 기초한 텍스트 데이터 학습 - 1

이번에는 n-gram 출현빈도에 기초한 텍스트 데이터 학습에 대해 알아 본다.

어떠한 글에서 여러 단어들의 빈도수는 그 단어의 글의 특징을 알 수 있는

좋은 정보이다.

하지만, 문장에서 어떠한 글을 뽑아내는 기준은,

그 전에 설명했던 방법 중 띄워쓰기나 여러가지 방법이 있다.

하지만 여기서는 가장 기초적으로 n개의 글을 하나씩 묶어서 빈도수를 확인해보는

가장 기초적인 방법에 대해서 알아보자.

먼저 데이터를 구하는게 어려울 꺼다.

www.gutenberg.org 라는 곳에 접속해서, 아무 ebook 이나 다운받자.

1. #include<stdio.h>
2.  
3. #define MAX_N 10
4.  
5. void setlastch(int n, char data, char lastdata[]);
6.  
7. int main()
8. {
9.     FILE *pfile;
10.     char lastdata[MAX_N] = {' '};
11.     char data;
12.     int n;
13.  
14.     //저장된 Text 파일 오픈
15.     if((pfile = fopen("D:\\TestText.txt","r")) == NULL)
16.     {
17.         printf("Error");
18.         exit(1);
19.     }
20.  
21.     //n-gram에서 n 입력
22.     scanf("%d", &n);    //n_gram
23.  
24.     while((data = fgetc(pfile)) != EOF)
25.     {
26.         if(data != '\n')
27.         {
28.             setlastch(n, data, lastdata);
29.             printf("%s\n", lastdata);
30.         }
31.     }
32.     fclose(pfile);
33. }
34.  
35.  
36. //데이터를 하나씩 밀어 저장하는 방식!!
37. void setlastch(int n, char data, char lastdata[])
38. {
39.     int i;
40.  
41.     for(i = 0; i<n-1; ++i)
42.         lastdata[i] = lastdata[i+1];
43.  
44.     lastdata[n-1] = data;
45. }
46.  

위의 코드를 이용해서 읽어 온 데이터를 n의 크기 만큼 얻어온다.!!

이렇게 얻어온 데이터는 

g.net

.netT

netTh

etThi

tThis

This

his W

is We

s Web

 Web

Web s

eb si

b sit

 site

site

ite i

te in

e inc

 incl

inclu

nclud

clude

ludes

udes

이러한 데이터가 된다.

이 데이터들의 빈도수를 구하기 위한 방법은 다음 포스팅에서 !!!