小さな爬虫類
2003 ワード
注:私は初心者の一枚で、pythonを独学して、学習の過程で学んだことを記録して、自分で収穫があることを望みます。
__author__ = 'juehuan'
import requests
import json
import time
class cldata():
def __init__(self):
self.url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList'
self.header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'}
self.cookie = {
'Cookie': 'JSESSIONID=02EF275A008A3ADEE700B04B543AE18E; JSESSIONID=A7FC968A8F43B9DA2EABBA61D72602CC'}
self.f = open(' .txt', 'w', encoding='utf-8')
self.f.write(' | | | |
')
def get_cfda(self, page):
self.data = {
'on': True,
'page': page,
'pageSize': 15,
'productName': '',
'conditionType': 1,
'applyname': '',
'applysn': ''
}
self.html = requests.post(self.url, data=self.data, headers=self.header, cookies=self.cookie)
datas = self.html.json()
for i in datas['list']:
self.write_cfda(i)
def write_cfda(self, company):
try:
self.f.write('%s | %s | %s | %s | %s
' % (
company['EPS_NAME'], company['EPS_NAME'], company['QF_MANAGER_NAME'],
company['XK_DATE'], company['XC_DATE']))
except:
print(' ')
def close(self):
self.f.close()
if __name__ == '__main__':
start_time = time.time()
cfda = cldata()
for i in range(1, 271):
cfda.get_cfda(i)
cfda.close()
end_time = time.time()
print('total time :', end_time - start_time)
まとめ:対象(self)、爬虫類requests向けのpost方式、リストなどの知識点に関すること。