Scrapy学习笔记02-选择器

4月 28 2017 6 分钟读完 (约 865 字)

Scrapy提取数据有自己的一套机制。它们被称作选择器(seletors)，他们通过特定的 XPath 或者 CSS 表达式来选择HTML文件中的某个部分。

XPath

XPath 是一门在 XML 文档中查找信息的语言，CSS 是一门将HTML文档样式化的语言，本文主要介绍 XPath

以一个图片为例子：

<?xml version="1.0" encoding="UTF-8"?>
<div class="item">
    <table class="pic">
        <a href="https://movie.douban.com/subject/1292052/">
            <img alt="1" src="https://img3.doubanio.com/view/movie_poster_cover/ipst/public/p480747492.webp">
            <img alt="2" src="https://img3.doubanio.com/view/movie_poster_cover/ipst/public/p2233971046.jpg">
            <div>hello, world</div>
        </a>
    </table>
</div>

节点

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及根节点。XML 文档是被作为节点树来对待的。树的根被称为根节点。

在上面例子中：

div：根节点
table：元素节点
href：属性节点

选取节点

Expression	Alias
nodename	选取当前节点下所有子节点
/	绝对路径
//	文档中所有该节点
.	当前节点
..	父节点
@	选取属性

是不是很眼熟呢？和命令行操作很类似

Expression	Alias
div	div下所有子节点
/div	div根节点
div/table	div子元素中所有table节点
//img	所有img节点
div//img	div后代元素中所有table节点
//@src	名为src的所有属性

谓语

谓语用来查找某个特定的节点或者包含某个指定的值的节点

Expression	Alias
//img[@alt=”1”]	alt值为1的节点中src属性的值
//a/img[1]	a中子元素的第一个img元素
//a/img[last()]	a中子元素的最后一个img元素

获取值

Expression	Alias
//img[@alt=”1”]/@src	alt值为1的节点中src属性的值
/div/@class	div根节点中class属性的值
//a/div/text()	div节点中的hello, world
//a//text()	div节点中子节点的所有文本

捷径

伟大的 chrome 已经提供了直接复制 XPath 功能，在开发者工具中右键节点选择 Copy -> Copy XPath，就可以获取到 XPath 的绝对路径

选择器

由于在response中使用XPath、CSS查询十分普遍，因此，Scrapy提供了两个实用的快捷方式：response.xpath() 及 response.css()：

标准选择器

1 2	# alt属性值为1的img元素 response.xpath('//img[@alt="1"]')

xpath() 及 css() 返回 SelectorList 类的实例，这是一个新选择器的列表，SelectorList 类是内建 list 类的子类，并提供一些额外的方法

Method	Alias
xpath(query)	结果为一个单一化的 SelectorList
css(query)	结果为一个单一化的 SelectorList
extract()	提取真实的原文数据，结果为单一化的unicode字符串列表
re()	通过正则表达式来提取数据，结果为单一化的unicode字符串列表
nonzero()	列表非空返回True，否则返回False

嵌套选择器

1 2	# 包含src属性，并且src属性值中包含doubanio字符串的img元素 response.xpath('//img[contains(@src, "doubanio")]')

带有正则的选择器

Selector 有一个 .re() 方法，可以用来通过正则表达式来提取数据，例如在 Scrapy学习笔记01-初窥中：

1 2	# 获取 “12345评论” 中的12345 item['commentsNum'] = sel.xpath('div[2]/div[2]/div/span[4]/text()').re(r'[\d]+')[0]

括号里面的第一个 r 表示字符串为非转义的原始字符串，强烈推荐不管有没有转义字符都加上

#Python #[object Object]