大数据之如何利用爬虫爬取数据做分析

目录

前言

爬虫概述

爬虫实现

1. 获取代理IP

2. 爬取数据

3. 多线程爬取

总结

---

前言

随着互联网和智能设备的普及，数据量逐年增长，数据分析和挖掘成为了热门领域，其中大数据分析技术和爬虫技术是重要的手段之一。本文主要介绍如何使用Python编写爬虫程序，通过代理IP，爬取数据进行分析。

爬虫概述

爬虫是指一种自动化获取并处理各种互联网信息的程序。爬虫程序可以根据特定的规则和算法，自动化地从互联网上抓取信息，支持对抓取到的信息进行自动化处理、筛选和分析等操作。

与普通的网页浏览器不同，爬虫可以批量自动获取特定网站的信息，且可以通过一定的方式绕开网站的禁止爬虫机制，支持对网站进行长期大量抓取。

爬虫实现

我们以爬取[豆瓣电影TOP250](https://movie.douban.com/top250)为例进行介绍。我们使用Python语言和requests、BeautifulSoup4等第三方库进行编写。

1. 获取代理IP

在爬取数据的过程中，我们需要使用多个代理IP来绕过网站的限制。我们可以通过以下代码获取免费代理IP：

import requests
from bs4 import BeautifulSoup

def get_proxies():
? ? url = 'https://www.zdaye.com/'
? ? headers = {
? ? ? ? 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
? ? r = requests.get(url, headers=headers)
? ? soup = BeautifulSoup(r.text, 'html.parser')
? ? trs = soup.find_all('tr')
? ? ips = []
? ? for tr in trs[1:]:
? ? ? ? tds = tr.find_all('td')
? ? ? ? ip = tds[1].text + ':' + tds[2].text
? ? ? ? ips.append(ip)
? ? return ips

该函数通过访问站大爷代理IP(https://www.zdaye.com/)获取代理IP，返回一个代理IP列表。

2. 爬取数据

为了防止被网站识别出爬虫的行为并限制我们的访问，我们需要设置一些请求头和代理IP。我们可以通过以下代码实现：

import requests
from bs4 import BeautifulSoup
import random
import time

headers_list = [{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'},
? ? ? ? ? ? ?{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36'},
? ? ? ? ? ? ?{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36'},
? ? ? ? ? ? ?{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.83 Safari/537.36'},
? ? ? ? ? ? ?{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'},
? ? ? ? ? ? ?{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; AS; rv:11.0) like Gecko'},
? ? ? ? ? ? ?{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36 Edge/16.16299'},
? ? ? ? ? ? ?{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'},
? ? ? ? ? ? ?{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; Trident/7.0; AS; rv:11.0) like Gecko'},]

def get_movie_info(url, proxies):
? ? headers = random.choice(headers_list)
? ? proxy = random.choice(proxies)
? ? proxies = {'http': 'http://' + proxy, 'https': 'https://' + proxy}
? ? try:
? ? ? ? r = requests.get(url, headers=headers, proxies=proxies, timeout=10)
? ? ? ? if r.status_code == 200:
? ? ? ? ? ? soup = BeautifulSoup(r.text, 'html.parser')
? ? ? ? ? ? title = soup.find('div', class_='title_wrapper').h1.text.strip()
? ? ? ? ? ? rating = soup.find('span', itemprop='ratingValue').text
? ? ? ? ? ? director = soup.find('h4', text='Director:').next_sibling.text.strip()
? ? ? ? ? ? actors = [a.text.strip() for a in soup.find_all('span', itemprop='name')]
? ? ? ? ? ? genre = [a.text.strip() for a in soup.find_all('span', itemprop='genre')]
? ? ? ? ? ? country = soup.find('h4', text='Country:').next_sibling.text.strip()
? ? ? ? ? ? language = soup.find('h4', text='Language:').next_sibling.text.strip()
? ? ? ? ? ? release_date = soup.find('h4', text='Release Date:').next_sibling.text.strip()
? ? ? ? ? ? return {'title': title, 'rating': rating, 'director': director, 'actors': actors, 'genre': genre, 'country': country, 'language': language, 'release_date': release_date}
? ? ? ? else:
? ? ? ? ? ? print('Request Failed ' + url)
? ? ? ? ? ? return None
? ? except:
? ? ? ? print('Request Failed ' + url)
? ? ? ? return None

该函数通过随机选择请求头和代理IP，获取特定电影的相关信息，并返回一个字典。

3. 多线程爬取

当我们需要爬取大量数据时，单线程爬取速度较慢，效率不高。我们可以使用多线程技术提高爬取效率。下面是一个实现多线程爬取的函数：

import threading
from queue import Queue

class CrawlerThread(threading.Thread):
? ? def __init__(self, crawler, url_queue, proxies):
? ? ? ? threading.Thread.__init__(self)
? ? ? ? self.crawler = crawler
? ? ? ? self.url_queue = url_queue
? ? ? ? self.proxies = proxies

? ? def run(self):
? ? ? ? while True:
? ? ? ? ? ? url = self.url_queue.get()
? ? ? ? ? ? if url is None:
? ? ? ? ? ? ? ? break
? ? ? ? ? ? movie_info = self.crawler(url, self.proxies)
? ? ? ? ? ? if movie_info is not None:
? ? ? ? ? ? ? ? print(movie_info)
? ? ? ? ? ? self.url_queue.task_done()

def crawler_worker(crawler, url_queue, proxies):
? ? for i in range(5):
? ? ? ? CrawlerThread(crawler, url_queue, proxies).start()

? ? url_queue.join()

? ? for i in range(5):
? ? ? ? url_queue.put(None)

def crawl_movies(crawler, urls, proxies):
? ? url_queue = Queue()
? ? for url in urls:
? ? ? ? url_queue.put(url)

? ? crawler_worker(crawler, url_queue, proxies)

该函数通过启动多个线程，实现多个爬虫同时爬取数据。我们可以通过以下代码调用该函数：

proxies = get_proxies()
urls = ['https://movie.douban.com/top250?start={}&filter='.format(i * 25) for i in range(10)]
crawl_movies(get_movie_info, urls, proxies)

总结

本文主要介绍了如何利用Python编写爬虫程序，通过代理IP，爬取数据进行分析。爬虫程序是一种重要的数据采集工具，具有高效、灵活、自动化等优点。在实际应用