Scrapy提取数据有自己的一套机制。它们被称作选择器(seletors),他们通过特定的 XPath 或者 CSS 表达式来选择HTML文件中的某个部分。

XPath

XPath 是一门在 XML 文档中查找信息的语言,CSS 是一门将HTML文档样式化的语言,本文主要介绍 XPath

以一个图片为例子:

1
2
3
4
5
6
7
8
9
10
<?xml version="1.0" encoding="UTF-8"?>
<div class="item">
<table class="pic">
<a href="https://movie.douban.com/subject/1292052/">
<img alt="1" src="https://img3.doubanio.com/view/movie_poster_cover/ipst/public/p480747492.webp">
<img alt="2" src="https://img3.doubanio.com/view/movie_poster_cover/ipst/public/p2233971046.jpg">
<div>hello, world</div>
</a>
</table>
</div>

节点

在 XPath 中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及根节点。XML 文档是被作为节点树来对待的。树的根被称为根节点。

在上面例子中:

  • div:根节点
  • table:元素节点
  • href:属性节点

选取节点

Expression Alias
nodename 选取当前节点下所有子节点
/ 绝对路径
// 文档中所有该节点
. 当前节点
.. 父节点
@ 选取属性

是不是很眼熟呢?和命令行操作很类似

Expression Alias
div div下所有子节点
/div div根节点
div/table div子元素中所有table节点
//img 所有img节点
div//img div后代元素中所有table节点
//@src 名为src的所有属性

谓语

谓语用来查找某个特定的节点或者包含某个指定的值的节点

Expression Alias
//img[@alt=”1”] alt值为1的节点中src属性的值
//a/img[1] a中子元素的第一个img元素
//a/img[last()] a中子元素的最后一个img元素

获取值

Expression Alias
//img[@alt=”1”]/@src alt值为1的节点中src属性的值
/div/@class div根节点中class属性的值
//a/div/text() div节点中的hello, world
//a//text() div节点中子节点的所有文本

捷径

伟大的 chrome 已经提供了直接复制 XPath 功能,在开发者工具中右键节点选择 Copy -> Copy XPath,就可以获取到 XPath 的绝对路径

选择器

由于在response中使用XPath、CSS查询十分普遍,因此,Scrapy提供了两个实用的快捷方式:response.xpath()response.css()

标准选择器

1
2
# alt属性值为1的img元素
response.xpath('//img[@alt="1"]')

xpath()css() 返回 SelectorList 类的实例,这是一个新选择器的列表,SelectorList 类是内建 list 类的子类,并提供一些额外的方法

Method Alias
xpath(query) 结果为一个单一化的 SelectorList
css(query) 结果为一个单一化的 SelectorList
extract() 提取真实的原文数据,结果为单一化的unicode字符串列表
re() 通过正则表达式来提取数据,结果为单一化的unicode字符串列表
nonzero() 列表非空返回True,否则返回False

嵌套选择器

1
2
# 包含src属性,并且src属性值中包含doubanio字符串的img元素
response.xpath('//img[contains(@src, "doubanio")]')

带有正则的选择器

Selector 有一个 .re() 方法,可以用来通过正则表达式来提取数据,例如在 Scrapy学习笔记01-初窥 中:

1
2
# 获取 “12345评论” 中的12345
item['commentsNum'] = sel.xpath('div[2]/div[2]/div/span[4]/text()').re(r'[\d]+')[0]
  • 括号里面的第一个 r 表示字符串为非转义的原始字符串,强烈推荐不管有没有转义字符都加上