doc2vec(Paragraph Vector) のアルゴリズム

こんばんわ.吉田です.

11/24 – 11/30まで,観光情報学会第14回研究発表会 と iiWAS2016 という2つの学会に参加してきました.iiWASは初めて参加する国際会議だったので,パスポート取得とか英語での発表とか初めての事が目白押しでてんやわんやだったのですが,何とかなってホっと一息というところです.しかし,観光情報学会の発表を終えて26日の16時頃に福岡空港から羽田に帰ってきて,翌日27日の朝7時にまた羽田からシンガポールに飛び立つという中々クレイジーな日程だったので,先週はややグッタリしてたというのが正直なところです(だからブログの〆切守れなかったのもしょうがないよね!).初めてのシンガポールも中々楽しくて写真も色々撮ったので,ブログネタが無くなったらいつかフォルダが火を噴くと思います.

さて,先月書いた doc2vec のコードの記事 が思った以上にアクセスされているようで嬉しい限りなんですが,「doc2vec 学習」でググると3番目くらいにヒットしてしまっていてちょっとタマヒュンなくらいです(なんかこの文章見覚えあるな).やっぱり工学院大学のホームページをリンクに入れてるせいで PageRank が上がるんですかね(やっぱりなんかこの文章見覚えあるな).あと,予想外だったのは gensim の公式 Twitter に捕捉されたことで,このせいでアクセス履歴がやたら多国籍になってしまいました.

でも,訪問者の中には doc2vec のアルゴリズムが知りたくて来た人もいると思うんです.僕も自分の研究を進めるために doc2vec のアルゴリズムを調べたくて色んなページを探し回ったんですが,学習コードは載っててもアルゴリズムの解説が中々見つからなくて苦労しました.

そこで,今回は以前研究室内の勉強会のために作成した doc2vec のアルゴリズム解説資料を公開しようと思います(やっぱりこの流れ(略)).doc2vec は Le らが発表した Paragraph Vector という手法を Python で実装したもので,今回の資料は この Paragraph Vector についての論文を紹介するスライドとなっています.(説明内容に誤りがある可能性がありますので,修正すべき点などを見つけられた方はコメント欄にご報告頂けると幸いです)

Paragraph Vector のアルゴリズムは word2vec のアルゴリズムとかなり共通点が多い(word2vec の考案者の Mikolov が共著に入ってる)ので,この資料も40%くらいは word2vec のアルゴリズムとその前提知識となるニューラルネットワークの基礎事項の説明になってます(Paragraph Vector のアルゴリズムは実は6スライドくらしかないとかなんとか).ニューラルネットワークについては全くの素人だったので,新しい分野の知識を覚えられたのは副産物としては良かったんじゃないかと思います.

後は,やっぱり英語論文の紹介はかなりリソースを持っていかれるので疲れるというか,論文中に全然アルゴリズムの詳細が書かれて無くて Stack Overflow の gensim トピックの記事を片っ端から読む羽目になったので,資料を作り終わった時はかなりの達成感が湧いてきました(著者らに対して別の物も湧いてきかけた).
そんなわけで,この資料が誰かの役に立ってくれることを願って今回の(どこかで見た流れの)記事を終えたいと思います.それではー.
広告

doc2vec(Paragraph Vector) のアルゴリズム」への2件のフィードバック

  1. ピンバック: Python と gensim で doc2vec を使う | kitayama lab

  2. ピンバック: word2vecを使って文書ラベルを作ってみた(失敗例) | Apitore blog

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中