VSMベクトル空間モデルによるテキストの分類と簡単な実現

1:テキストの分類に対して、どんな高級な方法を使うに関わらず、まずやはり数学の模型を創立する必要があって、この地方はSVMで創立して、彼の原理はテキストの特徴に基づいて、例えば1つのテキストは10の特徴があって(一般的に各特徴は1つのこの文本を代表するキーワードです)、それではこのテキストのベクトルの大きさは10です.具体的な各値はこの特徴の重みである(重みの計算については多くの種類があり、私のところは語周波数だけで代表されている).次にテスト本文を読み込んで、このテストテキストの特徴に基づいて、サンプルの特徴のベクトルと演算して、この場所はベクトルの挟み角を求めて、余弦値で表現して、挟み角が大きいのは遠くて、さもなくば比較的に近い(この場所は角度が90°より大きい場合を考慮していない).
2:この例は私が次にSVMを作るために使ったもので、このようなことをするには入門です.この効果は入力したサンプルの特徴と大きく関係すると思います.私は同類の例えば株の下で同類ではないことを判断して、基本的に重みを判断することができます.
3:javaソースコードは次のとおりです.

package com.baseframework.sort;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.util.Vector;

public class VsmMain {

	public static void main(String[] args) {

		VsmMain vsm = new VsmMain();
		String basePath = vsm.getClass().getClassLoader().getResource("")
				.toString().substring(6);
		String content = vsm.getContent(basePath + "article.txt");
		Vector<Vector<String>> samples = vsm.loadSample(basePath + "sort.txt");

		vsm.samilarity(content, samples);
	}

	/**
	 *  
	 * 
	 * @param content
	 * @param samples
	 */
	public void samilarity(String content, Vector<Vector<String>> samples) {
		for (int i = 0; i < samples.size(); i++) {
			Vector<String> single = samples.get(i);
			//  ， 
			Vector<Integer> wordCount = new Vector<Integer>();
			for (int j = 0; j < single.size(); j++) {
				String word = single.get(j);
				int count = getCharInStringCount(content, word);
				wordCount.add(j, count);
				//System.out.print(word + ":" + tfidf + ",");
			}
			//System.out.println("
");
			//  
			int sampleLength = 0;
			int textLength = 0;
			int totalLength = 0;
			for (int j = 0; j < single.size(); j++) {
				//  1
				sampleLength += 1;
				textLength += wordCount.get(j) * wordCount.get(j);
				totalLength += 1 * wordCount.get(j);
			}
			//  
			double value = 0.00;
			if(sampleLength > 0 && textLength > 0){
				value = (double)totalLength/(Math.sqrt(sampleLength) * Math.sqrt(textLength));
			}
			
			System.out.println(single.get(0) + "," + sampleLength + ","
					+ textLength + "," + totalLength + "," + value);

		}
	}

	/**
	 *  word content 
	 * 
	 * @param content
	 * @param word
	 * @return
	 */
	public int getCharInStringCount(String content, String word) {
		String str = content.replaceAll(word, "");
		return (content.length() - str.length()) / word.length();

	}

	/**
	 *  
	 * 
	 * @param path
	 * @return
	 */
	public Vector<Vector<String>> loadSample(String path) {
		Vector<Vector<String>> vector = new Vector<Vector<String>>();
		try {
			try {
				FileReader reader = new FileReader(new File(path));
				BufferedReader bufferReader = new BufferedReader(reader);
				String hasRead = "";
				while ((hasRead = bufferReader.readLine()) != null) {
					String info[] = hasRead.split(",");
					Vector<String> single = new Vector<String>();
					for (int i = 0; i < info.length; i++) {
						single.add(info[i]);
					}
					vector.add(single);
				}
			} catch (FileNotFoundException e) {
				e.printStackTrace();
			}
		} catch (IOException e) {
			e.printStackTrace();
		}
		return vector;
	}

	/**
	 *  path 
	 * 
	 * @param path
	 * @return
	 */
	public String getContent(String path) {
		StringBuffer buffer = new StringBuffer();
		try {
			try {
				FileReader reader = new FileReader(new File(path));
				BufferedReader bufferReader = new BufferedReader(reader);
				String hasRead = "";
				while ((hasRead = bufferReader.readLine()) != null) {
					buffer.append(hasRead);
				}
			} catch (FileNotFoundException e) {
				e.printStackTrace();
			}
		} catch (IOException e) {
			e.printStackTrace();
		}
		return buffer.toString();
	}

}

中にはsortが私自身が手作業で維持しているカテゴリの特徴で、それぞれの特徴を使って、隔てています.articleは自分で入力したテスト対象テキストです.
入門用にしましょう.効果はまあまあです.次にsvmの実装を行い、サンプルフィーチャーを自動的に実装します.