python爬取豆瓣读书《挪威的森林》书评

By | 2016-11-18

在豆瓣读书,同一本书的不同出版版本,短评是不同的,但是书评却是一样的。

在这个项目里面,爬取的是某一本书的书评,具体来说是爬取《挪威的森林》的书评。显然,可以方便的修改为你感兴趣的书籍。

下面是爬取结果

《挪威的森林》书评的入口地址(以下这两个地址,都是指向第一页)

该页面截图

可以看到,豆瓣读书里《挪威的森林》书评数为2826,为了简洁代码,设置一些参数如下

saveAddress保存书评文本的目录地址,successTot记录最终成功保存的书评数

主函数

获取每一页中的每一个书评的入口地址

保存书评到本地

以下是整个项目代码

 

发表评论

电子邮件地址不会被公开。