from bs4 import BeautifulSoup
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/117.0.0.0 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest', }
base_url = 'http://111.230.211.102:8080/static/tasks/djangogirl/'
def pages_parse(page):
page_url = base_url + 'content' + str(page) + '.html'
print(page_url)
res = requests.get(url=page_url, headers=headers)
html = res.text
soup = BeautifulSoup(html, 'html.parser')
text = soup.getText(separator='\n', strip=True)
with open('e:/PycharmProjects/自动化练习/爬取crossin教室的djangogirl的页面内容.txt', 'a+', encoding='utf-8') as file:
file.write(text)
print(text)
if __name__ == '__main__':
for page in range(18):
pages_parse(page)
该示例重点在于通过F12打开使用浏览器开发者工具,F5刷新页面,通过点击XHR过滤出来使用ajax的动态页面,选中页面后,通过右侧的标头选项卡里面的请求URL可以找到有实质页面内容的URL。之后就可以根据URL规律构造每页的URL字符串。然后循环爬取所有的页面。完成抓取。
该示例通过BeautifulSoup处理网页源代码中的标签。在码上行动答疑群咨询了Crossin老师,给出了以下的用法。通过调用soup对象的getText()方法,(getText()方法通过指定关键字参数separator='\n'、strip=True实现功能)成功去除了页面源代码中的所有html标签。
text = soup.getText(separator='\n', strip=True)