一些话

我其实一直想要学习如何去写爬虫,我在高中毕业之后,就开始学习 python,但是我总是游离在外面,当去做一些东西的时候,我总是想要准备充分再去行动,但是就是一个简单的爬虫,我直到今天才学会,其实很简单,只是我一直躲在门外,不敢推开门。

我应该去实践,在我已经准备了五六成的时候,而不总是在百分百后再行动,那早已经为时已晚。

关键的包

其实就两个,一个是 requests,一个是 bs4,需要先 pip install 两个东西,就是 requests 以及 BeautifulSoup

需要的方法

最关键的是 request 真是进行了很好地封装,直接 request.get() 里面填个 url,再填个 header 就能应付大多情况了。

返回的东西需要注意的有 .status.text

这里我还犯了个特别蠢的事情,就是把 text 写成了 txt,我看了一遍又一遍,还以为自己没错呢。

接着就是用 bs4 进行解析了,这个主要得用到 F12,需要用浏览器去观察网页。