記事のレコメンドについて考えてみた2016年の夏

$ mecab
3C分析
3   名詞,数,*,*,*,*,*
C   名詞,一般,*,*,*,*,*
分析  名詞,サ変接続,*,*,*,*,分析,ブンセキ,ブンセキ
EOS

$ mecab
3C分析
3C分析    名詞,用語,Webマーケティング用語,*,*,*,3C分析,サンシーブンセキ,サンシーブンセキ,3C分析
EOS

redis = Redis.new(host: REDIS_HOST)

## ex. 記事ID1と記事ID5の記事の関連度が0.5の場合
# 記事ID1のリストには"記事ID5との関連度が0.5"として保存
# 記事ID5のリストには"記事ID1との関連度が0.5"として保存
redis.zadd "記事ID1の関連記事リスト", 0.5, 5
redis.zadd "記事ID5の関連記事リスト", 0.5, 1

## ex. 記事ID1と記事ID7の記事の関連度が0.04の場合
# 記事ID1のリストには"記事ID7との関連度が0.04"として保存
# 記事ID7のリストには"記事ID1との関連度が0.04"として保存
redis.zadd "記事ID1の関連記事リスト", 0.04, 7
redis.zadd "記事ID7の関連記事リスト", 0.04, 1

# 関連記事を関連度の降順で10件取得（記事IDが返る）
redis.zrevrangebyscore "記事ID1の関連記事リスト", 1, 0, limit: [0, 10]
#=>["5", "7"]

vector2 = [1, 1, 0, 1, 1, 0]
vector1 = [1, 1, 0, 0, 0, 1]

# 2つの配列を要素としたベクトルを生成
vec2 = Vector.elements(vector2, copy = true)
#=> Vector[1, 1, 0, 1, 1, 0]
 vec1 = Vector.elements(vector1, copy = true)
#=> Vector[1, 1, 0, 0, 0, 1]

# テキストを構成する単語とその出現頻度を、テキストをベクトル化した際の要素と考える
# 状況によっては2回以上出てくる単語のみに制限する場合も
xx = {"雨": 1, "に": 2, "も": 2, "負け": 2, "ず": 2, "風": 1}
yy = {"雪": 1, "に": 2, "も": 2, "夏": 1, "の": 1, "暑": 1, "さ": 1, "負け": 1, "ぬ": 1}

# MEMO:xxとyyの和集合は`|`でとれる
xx.keys | yy.keys
# => [:雨, :に, :も, :負け, :ず, :風, :雪, :夏, :の, :暑, :さ, :ぬ]

# xxとyyをベクトル化
# 和集合と照らし合わせて、xxとyyそれぞれkeyとして持っていれば1、なければ0の配列を作る
xx_vec = [1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0] # {"雨": 1, "に": 1, "も": 1, "負け": 1, "ず": 1, "風": 1, "雪": 0, "夏": 0, "の": 0, "暑": 0, "さ": 0, "ぬ": 0}
yy_vec = [0, 1, 1, 1, 0, 0, 1, 1, 1, 1, 1, 1] # {"雨": 0, "に": 1, "も": 1, "負け": 1, "ず": 0, "風": 0, "雪": 1, "夏": 1, "の": 1, "暑": 1, "さ": 1, "ぬ": 1}
=begin
# xx_vec生成イメージ
xx_vec = []
sum_words = xx.keys | yy.keys
sum_words.each do |word|
  xx_vec.append( xx.has_key?(word) ? 1 : 0 )
end
=end

# 出現回数を考慮した場合
xx_vec2 = [1, 2, 2, 2, 2, 1, 0, 0, 0, 0, 0, 0] # {"雨": 1, "に": 2, "も": 2, "負け": 2, "ず": 2, "風": 1, "雪": 0, "夏": 0, "の": 0, "暑": 0, "さ": 0, "ぬ": 0}
yy_vec2 = [0, 2, 2, 1, 0, 0, 1, 1, 1, 1, 1, 1] # {"雨": 0, "に": 2, "も": 2, "負け": 1, "ず": 0, "風": 0, "雪": 1, "夏": 1, "の": 1, "暑": 1, "さ": 1, "ぬ": 1}
=begin
# xx_vec2生成イメージ
xx_vec2 = []
sum_words = xx.keys | yy.keys
sum_words.each do |word|
  xx_vec2.append( xx[word] || 0 )
end
=end

# xx_vec2、yy_vec2を要素とするベクトルを生成
# console等で試すと`NameError: uninitialized constant Vector`になるので、その際はは`require 'matrix'`が必要
vecX = Vector.elements(xx_vec2, copy = true)
#=> Vector[1, 2, 2, 2, 2, 1, 0, 0, 0, 0, 0, 0] # 「雨にも負けず風にも負けず」のベクトル
vecY = Vector.elements(yy_vec2, copy = true)
#=> Vector[0, 2, 2, 1, 0, 0, 1, 1, 1, 1, 1, 1] # 「雪にも夏の暑さにも負けず」のベクトル