import pandas as pd
df = pd.read_csv("corona.csv")

column_list = ['研究開始時の研究の概要', '研究概要', '研究成果の概要', '研究実績の概要']
abstracts = []

for column in column_list:
    abstracts.extend(df[column].dropna().tolist())

from sklearn.model_selection import train_test_split
import codecs

train, test = train_test_split(abstracts, test_size = 0.1)

with codecs.open('train.txt', 'w', encoding='utf-8-sig') as f:
    for abstract in train:
        f.write("%s\n" % abstract)

with codecs.open('eval.txt', 'w', encoding='utf-8-sig') as f:
    for abstract in test:
        f.write("%s\n" % abstract)

# Google Driveをマウント
from google.colab import drive
drive.mount('/content/drive')

# transformersをコピーしてくる
!git clone https://github.com/huggingface/transformers.git -b v3.4.0 '/content/drive/My Drive/transformers'

# 環境構築
cd '/content/drive/My Drive/transformers'; pip install -e .

## 初回実行、まだチェックポイントが無い場合
!python ./examples/language-modeling/run_language_modeling.py \
    --output_dir=../GPT-2/output_gpt2 \
    --model_type=gpt2 \
    --model_name_or_path=gpt2 \
    --do_train \
    --train_data_file=../GPT-2/train.txt \
    --do_eval \
    --eval_data_file=../GPT-2/eval.txt \
    --per_device_train_batch_size=2 \
    --per_device_eval_batch_size=2 \
    --num_train_epochs=10 \
    --save_steps=5000 \
    --save_total_limit=3

!python ./examples/text-generation/run_generation.py \
    --model_type=gpt2 \
    --model_name_or_path=../GPT-2/output_gpt2 \
    --prompt "本研究では、以下の成果を得た。" \
    --seed=${RANDOM} \
    --length 500

=== GENERATED SEQUENCE 1 ===
本研究では、以下の成果を得た。
1.「気管呼吸」とされた「感情染晶磁性粒子の粒子血管膜の粒子量感染晶法」との関係、理論の基礎研究、世界の線数値シミュレーション研究、様々な本研究所本講演的な提案に基づく理論や心臓粒子の同定および解析研究所本講演の最適化
本研究では、3分散年齢の目標のデータを組み合わせる手法を開発し、以下の成果を得た。
1.「粒子の晶磁性粒子を持つ感染の粒子量感染晶法」により、細胞内の多くは生殖材料の研究と気管呼吸の原理に換えた場合、生殖材料の結合、それについて確立する解析を行った。
2.「アジアミング分散年齢の目標のデータ」によるデータは、生殖材料の会話、細胞内のそれ

=== GENERATED SEQUENCE 1 ===
本研究では、以下の成果を得た。
1.アルゴリズムの計算機、アルゴリズム等の地球面の影響について、アルゴリズム等の遺伝子は、ビーム、ヌス、トラボ、分子過程、データ等の影響がある。
2.これらの原理によるステラ等に関する最適像領域では、シースを精製して、再生に関する領域である。面の影響についても、ステラ領域では、分子横軌道を側面に入って、シースを側面で進化させ、電力、ビームが混合しているが、面経験では保存なステラ領域である。また、その経験ではステラ領域ではステラ領域では、最も種々の生成に依存している。
3.次世代者と他代者の構成に関する研究を実施した。
4.メッシュのステラ等に関する伝送排出を行い、動作による要因の電磁界値が高いと考えられる。
5.生体の観測研究では、二値のステラ関数を印加するため

=== GENERATED SEQUENCE 1 ===
本研究では、以下の成果を得た。
1.京都シート結果と双極端の相互作用シート法
シート結果は、双極端の相互作用シート法という主に近傍で、先端ずかに見られる原子エネルギーの構造を試みた。これまでにこのエネルギーの構造は、天然填麻磁鎖でも、精度の存在することが判明した。
2.ガスミッタ集合器の正学やラベル・アレイのモデルの開発
マルチディエンタンの非線形表面とラベルのセミナーションとの関連は、ネットワーク程度の測定で調べ、ディエンタンの研究により明らかにした。
3.レキュレーション機構の結果
平成30年度は、以下の成果を得た。
1.レキュレーション機構の結果
コンケール応用の実用化について、カベオリクス速度を持つチミュレーション効果を解析し、ナノチューブからの取り込まれる場合の運用を定量的に解析することができた。
2.ビジュールおよびビジュール基板・�

=== GENERATED SEQUENCE 1 ===
本 研究 で は 、 以下 の 成果 を 得 た 。 
( 1 ) シグナル 株 データ の 電気 流体力学 的 、 生体 的 な 実験 を 実施 し 、 実験 実験 によって 明らか に さ れ た 。 

本 研究 で は 明らか に する よう な コロナ質量放出 を 計測 する ため に 、 代表者 対象 における 放出 システム の 不断行論 的 手法 を 用い た 振動 実験 の 結果 、 外乱 部分 性 実験 用 の 製作 を 行い 、 放出 システム の 把握 を 行っ た 。 
また 、 放出 システム の 導出 を 実証 する こと で 検討 し た 。 
コロナ質量放出 分野 を 基本的 に する と 放出 システム の 双方 で の 実態 観測 を 目的 と し た 。 

本 研究 で は ， 空間 容器 において 放電 線 粒子 の 化学 計算 を 開発 する こ

=== GENERATED SEQUENCE 1 ===
本 研究 で は 、 以下 の 成果 を 得 た 。 
1 ) 超 微細 波 の 分離 により 多く の 異なる 、 分離 及び 静 電 界 の 活性化 を 示す もの と 、 同じ で ある 現象 が ある 。 
2 ) 電子 の 異常 の プロモート を 介し た 細胞 に 拡張 し た プロモート の ディスク トリポン が 多く 、 宇宙 発光 が 現れる こと が 示唆 さ れ た 。 
3 ) 昨年度 の 結果 を まとめ て 、 分離 及び 静 電 界 活性化 は 今後 の 実現 として 検討 さ れ て いる が 、 微細 波 の 企画 を 生成 し て 細胞内 へ 伸び 共同 さ れる 。 
4 ) 宇宙 発光 測定 により 宇宙 発光 時 の 不明 で ある ステルコロナリング と プロパノール 転写真 を 使用 し て いる 。 また 、 昨年度 に 通常 の 応用 に 基づき 、 電子 の 昨年度 に 調べ た 方法 は

=== GENERATED SEQUENCE 1 ===
本 研究 で は 、 以下 の 成果 を 得 た 。 
1. 単一 周波数 基盤 方式 の 適用 研究 の 国際 図 の 設計 値 を 評価 する ため に 、 成果 報告細胞 における 一方向 の 適用 研究 の 予想 と なる 設計 データ を 提案 し た 。 
2. 適用 研究 の 表面 地域 マウス を 加え た 適用 条件 を 進め て き た 。 また 、 適用 条件 の 重要性 を 明らか に し た 。 

本 研究 で は 、 正規模 の 情報 を 用い た 統計的 統計 的 相互作用 の 対象 を 図っ て 、 地下 観測 および 統計的 ・ 現在 、 地下 大気 による 接着 法 を 開発 し 、 地下 大気 面 と 編集 し た 場合 の 検討 の ため の 研究 を 行っ た 。 

本 研究 の 目的 は 、 新た に 研究