python実験任務1:教材の実例を参考にして、中国大学のランキング爬虫類を完成する
1439 ワード
直接コードに乗りましょう、登って取りますhttp://zuihaodaxue.cn/zuihaodaxuepaiming2018.htmlこのページは2018年までに20の各大学ランキングで
効果のスクリーンショット:
import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def fillUnivList(ulist, url):
soup = BeautifulSoup(url, 'html.parser')
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.Tag):
tds = tr('td')
ulist.append([tds[0].contents[0], tds[1].string, tds[3].string])
def printUnivList(ulist, num):
print("{:^10}\t{:^6}\t{:^10}".format(" ", " ", " "))
for i in range(num):
u = ulist[i]
print("{:^10}\t{:^6}\t{:^10}".format(u[0], u[1], u[2]))
def main():
uinfo = []
url = 'http://zuihaodaxue.cn/zuihaodaxuepaiming2018.html'
html = getHTMLText(url)
fillUnivList(uinfo, html)
printUnivList(uinfo, 20)
main()
効果のスクリーンショット: