Pythonはデータベースから大量のデータを読み出してファイルに一括書き込む

マシンを使用してトレーニングデータを学習する場合、データ量が大きいと、一度にメモリにデータをロードできない可能性があります.この場合、データを前処理し、バッチでメモリにロードする必要があります.次のコードの役割は、データをデータベースから読み出してtxtテキストファイルにバッチで書き込むことであり、データの前処理と機械学習モデルの訓練を容易にすることができます.

#%%
import pymssql as MySQLdb  #   python3      python2.x  ，import MySQLdb
#       
hst = '188.10.34.18'
usr = 'sa'
passwd = 'p@ssw0rd'
db = 'HistoryTrace'

#      
allData = 1674333
#         
dataOfEach = 20000
#  
batch = ceil(allData/dataOfEach)

#   
global IDctrl 
IDctrl = 1
filename = str(IDctrl)+'.txt'

#     
conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)
cur=conn.cursor()

while IDctrl