【R语言爬虫】使用rvest包爬取豆瓣读书Top 250，仅需50行代码（速度挺快）

【R语言爬虫】使用rvest包爬取豆瓣读书Top 250，仅需50行代码（速度挺快）

爬取目标

书名，作者，出版社，时间，价格

https://book.douban.com/top250?start=0

发现需要爬取的内容就在<div class="pl2">和<p class="pl">中的文字里，这就简单了。

# 加载所需的包
library(rvest)
library(dplyr)

# 网址
url <- "https://book.douban.com/top250?start=0"

# 读取网页内容
webpage <- read_html(url)

# 使用CSS选择器获取<div class="pl2">和<p class="pl">中的文字
div_pl2 <- webpage %>% html_nodes("div.pl2") %>% html_text() %>% .[1:25]
p_pl <- webpage %>% html_nodes("p.pl") %>% html_text() %>% .[1:25]

# 打印结果
print(div_pl2)
print(p_pl)

优化一下，爬取250篇

分析页面特征，翻页其实就是top250?start=0最后的数字变了，这很简单，都是25的倍数。

最后再处理几种特殊情形，比如译者、少了作者、有多个价格等，参见完整代码：

# 加载所需的包
library(rvest)
library(dplyr)

douban_book_250 <- data.frame()
for(i in 0:9){
  url <- paste('https://book.douban.com/top250?start=',25*i,sep = "")
  # 爬多少篇，在这改就行
  books_num <- 25
  
  # 读取网页内容
  webpage <- read_html(url)
  # 使用CSS选择器获取<div class="pl2">和<p class="pl">中的文字
  title <- webpage %>% html_nodes("div.pl2") %>% html_text() %>% .[1:books_num]
  other_information <- webpage %>% html_nodes("p.pl") %>% html_text() %>% .[1:books_num]
  
  # 使用gsub函数删除div_pl2和p_pl中的空格和换行符
  title_clean <- data.frame(gsub("\\s", "", title))
  other_information_clean <- gsub("\\s", "", other_information)
  
  # 使用strsplit函数对列表中的每个元素进行分割
  split_list <- strsplit(other_information_clean, "/")
  # 因为有的书有译者，所以得删掉
  split_list <- lapply(split_list, function(x) {
    if(length(x) == 5) {
      
      x <- x[-2]
    }
    return(x)
  })
  # 有的好像有更多的，需要去掉
  split_list <- lapply(split_list, function(x) {
    # 福尔摩斯有两个价格
    # [1] "[英]阿·柯南道尔" "丁钟华等"        "群众出版社"      "1981-8"         
    # [5] "53.00元"         "68.00元"
    if(x[1]=='[英]阿·柯南道尔'){
      x <- x[-c(2,6)]
    }
    
    if(length(x) == 6) {
      # print(x)
      x <- x[-c(2,3)]
    }
    return(x)
  })
  # 有的没作者
  split_list <- lapply(split_list, function(x) {
    if(length(x) == 3) {
      x <- append(x, "佚名", after = 0)
      # print(x)
    }
    return(x)
  })
  
  # 使用do.call和rbind函数将结果合并为一个数据框
  other_information <- do.call(rbind, split_list)
  
  douban_book <- cbind(title_clean,other_information)
  colnames(douban_book) <- c("书名", "作者", "出版社", "时间", "价格")
  douban_book_250 <- rbind(douban_book_250, douban_book)
}

View(douban_book_250)
library(tidyverse)
write_excel_csv(douban_book_250,"D:/douban_book_250.csv")

结果

                 | 新世界出版社                       | 2004/1/1   | 38.00元   |

谢谢大家！