pythonがtxtファイルワードベクトルを取得する過程の詳細
https://github.com/Embedding/Chinese-Word-Vectorsの中の中国語の単語のベクトルを読み取る時、3 Gの多いtxtファイルを選択しました。以前はワードベクトルを作る時にword 2 vecを使っていましたので、直接モデルを導入してindexwordでいいです。
これはtxt大ファイルなので、DataFrame、np.loadtxtなどを試しましたが、成功しませんでした。は、メモリ不足のmememeryerrorなどの問題が発生することなく、完全な大ファイルをどのように読み取りますか? は、読み取ったファイルをnpyファイル として保存する。語に基づいて対応するベクトルを見つける 解決策:
使用を試みるコード:
私の仮想マシンの中ではメモリが足りないです。実験室32 Gのホストを使って、idvecを得ることができます。ベクトルが得られないのです。エラーはまだmemory errorです。
もう一つの理由は、単語ベクトルをfloat形式に変換し、pythonにおいてstrが占めるメモリ>floatタイプが必要であり、コードによって示されているように、
dic=list>str>tuple>int>float
np.load().itemで元の辞書を復元できます。主に下記のファイルを参照してください。
そしてpythonの辞書を使って、単語のベクトルを遍歴して得ることができます。dic[vocab]
心得:
完全解決プロジェクトの問題まであと5~6の大きな関門がありますが、心を静かにして、一歩ずつやっていけば必ず突破します。
以上が本文の全部です。皆さんの勉強に役に立つように、私たちを応援してください。
これはtxt大ファイルなので、DataFrame、np.loadtxtなどを試しましたが、成功しませんでした。
使用を試みるコード:
1:
try:
lines=np.loadtxt(filepath)
catch:
,,,
print(ValueError)
, txt
2:
lines=[]
with open(filepath) as f:
for line in f:
lines.append(line)
np.save(filepath,lines)
3
def readEmbedFile(embedFile):
# embedId = {}
# input = open(embedFile,'r',encoding="utf-8")
# lines = []
# a=0
# for line in input:
# lines.append(line)
# a=a+1
# print(a)
# nwords = len(lines) - 1
# splits = lines[1].strip().split(' ') # ,
# dim = len(splits) - 1
# embeddings=[]
# # embeddings = [[0 for col in range(dim)] for row in range(nwords)]
# b=0
# for lineId in range(len(lines)):
# b=b+1
# print(b)
# splits = lines[lineId].split(' ')
# if len(splits) > 2:
# # embedId
# embedId[splits[0]] = lineId
# # embeddings
# emb = [float(splits[i]) for i in range(1, 300)]
# embeddings.append(emb)
# return embedId, embeddings
4:
def load_txt(filename):
lines=[]
vec_dict={}
with open(filename,r) as f:
for line in f:
list=line.strip()
lines.append(line)
for i, line in emuate(lines):
if i=0:
continue
line=line.split(" ")
wordID=line[0]
wordvec=[float line[i] for i in range(1,300)]
vec_dict[wordId]=np.array(wordvec)
return vec_dict
具体的なメモリ不足の主な原因は:私の仮想マシンの中ではメモリが足りないです。実験室32 Gのホストを使って、idvecを得ることができます。ベクトルが得られないのです。エラーはまだmemory errorです。
もう一つの理由は、単語ベクトルをfloat形式に変換し、pythonにおいてstrが占めるメモリ>floatタイプが必要であり、コードによって示されているように、
print("str",sys.getsizeof(""))
print("float",sys.getsizeof(1.1))
print("int",sys.getsizeof(1))
print("list",sys.getsizeof([]))
print("tuple",sys.getsizeof(()))
print("dic",sys.getsizeof([]))
str 49
float 24
int 28
list 64
tuple 48
dic 64
私のコンピュータでは、64ビットのオペレーティングシステム、64ビットのpython、メモリのサイズを並べ替えています。dic=list>str>tuple>int>float
np.load().itemで元の辞書を復元できます。主に下記のファイルを参照してください。
そしてpythonの辞書を使って、単語のベクトルを遍歴して得ることができます。dic[vocab]
心得:
完全解決プロジェクトの問題まであと5~6の大きな関門がありますが、心を静かにして、一歩ずつやっていけば必ず突破します。
以上が本文の全部です。皆さんの勉強に役に立つように、私たちを応援してください。