形態素解析からのマルコフ連鎖を可視化してみた

[web] ”ろぐほー”の内側 (形態素 マルコフ連鎖 ツイート)

自作Webサービス”ろぐほー”に使われている技術の一部を紹介したいと思います。

”ろぐほー”では、はてブのエントリーを記録するついでに、ホットエントリーを要約したつぶやきを作成し、Twitterでボットにつぶやかせています。

使用している技術は特別なものは特に無く、ネット上に転がっている色々な技術を組み合わせただけです。
使用した技術を並べると以下のものになります。

1. ホットエントリー取得プログラム（自作）
2. 形態素解析 (Yahooの日本語形態素解析API)
3. マルコフ連鎖 (よくわかんないけどぐぐると出てくる)
4. twitter4j (Javaでtwitterのプログラムを作るためのライブラリ)
5. Linuxのコマンド数個

後で、一つずつ説明していこうと思います。

全体としては、ホットエントリー取得プログラムの中に形態素解析とマルコフ連鎖の機能が入っています。

プログラミング言語としてJavaが一番得意なので、Javaを使って記述しています。と言っても、まともにアルゴリズムを実装した部分はマルコフ連鎖の部分だけで、あとはHTTPでURLにアクセスしたり、その結果を読み込んだりしただけです。