n-gram 출현빈도에 기초한 텍스트 데이터 학습 - 2

지난 시간에 n-gram으로 나눠서 데이터를 저장하는 것 까지 하였다.

이번시간에는 그 데이터를 이용해서,

데이터의 빈도수를 확인하는 방법에 대해 알아본다.

저장된 데이터를 한 줄씩 읽어와서

그 데이터를 다음 데이터와 비교하여 중복된다면 갯수를 올리고,

그렇지 않다면 다음 데이터와 비교한다.

정리해보자.

1. n-gram data를 읽어와서 저장한다.

2. n-gram data를 분석하기 편하게 qsort를 이용해 정렬한다.

3. 중복된 데이터를 삭제하고 빈도수 계산한다.

4. 결과를 다시 qsort를 이용해 정렬한다.

1. #include<stdio.h>
2. #include<stdlib.h>
3. #include<string.h>
4.  
5. #define MAX_N 10
6. #define NGRAM_NUM 1000000
7. #define NUMF 4
8.  
9. char data[NGRAM_NUM][MAX_N];
10. char result[NGRAM_NUM][MAX_N+NUMF];
11.  
12. int strcomparecount(int size, char data[NGRAM_NUM][MAX_N], char result[NGRAM_NUM][MAX_N+NUMF]);
13.  
14. int main()
15. {
16.     FILE *pfile;
17.     char tmp_data[MAX_N];
18.     int i=0, count=0;
19.  
20.     //저장된 Text 파일 오픈
21.     if((pfile = fopen("D:\\ngramdata.txt","r")) == NULL)
22.     {
23.         printf("Error");
24.         exit(1);
25.     }
26.  
27.     //file 의 끝까지 한줄씩 읽어온다.
28.     while(fgets(tmp_data,MAX_N,pfile)!=NULL)
29.     {
30.         strncpy(data[i], tmp_data, MAX_N);
31.         puts(data[i]);
32.         i++;
33.     }
34.  
35.    
36.     qsort(data,i,MAX_N, (int(*)(const void*, const void *))strcmp);
37.     //데이터 정리
38.     count = strcomparecount(i, data,result);
39.     //중복된 데이터 정리
40.     qsort(result,count,MAX_N+NUMF, (int(*)(const void*, const void *))strcmp);
41.     //새로 데이터 정리
42.  
43.     for(i=0;i<count;i++)
44.         puts(result[i]);
45.  
46.     fclose(pfile);
47. }
48.  
49. int strcomparecount(int size, char data[NGRAM_NUM][MAX_N],
50.     char result[NGRAM_NUM][MAX_N+NUMF])
51. {
52.     int n=0, count=0;
53.     int i=0;
54.     char lastdata[MAX_N];
55.  
56.     strncpy(lastdata, data[0], MAX_N);
57.  
58.     for(n=1;n<size;n++)
59.     {
60.         if(strcmp(lastdata, data[n])==0)
61.         {
62.             count++;
63.         }
64.         else
65.         {
66.             sprintf(result[i++],"%d %s", count+1, lastdata);
67.             strncpy(lastdata, data[n], MAX_N);
68.             count=0;
69.         }
70.     }
71.     return i;
72. }