tenssorflow DataSetを使用して、テキスト入力を効率よくロードすることができます。
2469 ワード
DataSetはtenssorflowの1.3バージョンで、high-levelのアプリを発売しました。1.3バージョンはまだテスト段階にあります。1.4バージョンは正式に発売されました。
インターネットで検索したところ、DataSetを使ってテキストを読み込む資料が少ないことが分かりました。政府が挙げた例はcsv形式だけです。csvファイルの中のすべてのサンプルに同じ次元が必要です。つまり、paddingはcsvファイルを書き込む前に作らなければならないので、ファイルのサイズが大きくなります。
繰り返し試験を経て、ここではDataSet+TFRecordsが長くなるサンプルをロードする例を示します。
まず、長くなったデータをTFRecordsファイルに書き込みます。
以上の記事はtenssorflow DataSetを使って、効率的に長いテキストをロードして入力することを実現しました。小編集は皆さんに共有する内容です。参考にしてもらいたいです。どうぞよろしくお願いします。
インターネットで検索したところ、DataSetを使ってテキストを読み込む資料が少ないことが分かりました。政府が挙げた例はcsv形式だけです。csvファイルの中のすべてのサンプルに同じ次元が必要です。つまり、paddingはcsvファイルを書き込む前に作らなければならないので、ファイルのサイズが大きくなります。
繰り返し試験を経て、ここではDataSet+TFRecordsが長くなるサンプルをロードする例を示します。
まず、長くなったデータをTFRecordsファイルに書き込みます。
def writedata():
xlist = [[1,2,3],[4,5,6,8]]
ylist = [1,2]
# , 3 1, 4 2
writer = tf.python_io.TFRecordWriter("train.tfrecords")
for i in range(2):
x = xlist[i]
y = ylist[i]
example = tf.train.Example(features=tf.train.Features(feature={
"y": tf.train.Feature(int64_list=tf.train.Int64List(value=[y])),
'x': tf.train.Feature(int64_list=tf.train.Int64List(value=x))
}))
writer.write(example.SerializeToString())
writer.close()
次にDataSetで読み込みます。
feature_names = ['x']
def my_input_fn(file_path, perform_shuffle=False, repeat_count=1):
def parse(example_proto):
features = {"x": tf.VarLenFeature(tf.int64),
"y": tf.FixedLenFeature([1], tf.int64)}
parsed_features = tf.parse_single_example(example_proto, features)
x = tf.sparse_tensor_to_dense(parsed_features["x"])
x = tf.cast(x, tf.int32)
x = dict(zip(feature_names, [x]))
y = tf.cast(parsed_features["y"], tf.int32)
return x, y
dataset = (tf.contrib.data.TFRecordDataset(file_path)
.map(parse))
if perform_shuffle:
dataset = dataset.shuffle(buffer_size=256)
dataset = dataset.repeat(repeat_count)
dataset = dataset.padded_batch(2, padded_shapes=({'x':[6]},[1])) #batch size 2, x maxlen=6 padding
iterator = dataset.make_one_shot_iterator()
batch_features, batch_labels = iterator.get_next()
return batch_features, batch_labels
next_batch = my_input_fn('train.tfrecords', True)
init = tf.initialize_all_variables()
with tf.Session() as sess:
sess.run(init)
for i in range(1):
xs, y =sess.run(next_batch)
print(xs['x'])
print(y)
長くなるデータTFRecords解析はVarLenFeatureを使って、sparse_を使います。tensor_to_dense変換以上の記事はtenssorflow DataSetを使って、効率的に長いテキストをロードして入力することを実現しました。小編集は皆さんに共有する内容です。参考にしてもらいたいです。どうぞよろしくお願いします。