爬虫 Scrapy 学习系列十六：数据统计
前言这是 Scrapy 系列学习文章之一，本章主要介绍 Stats Collection 的相关的内容；
本文为作者的原创作品，转载需注明出处；
简介Scrapy 通过键值对的方式来统计和收集统计数据，其中的值通常就是一个计数器；该设施被称作 Stats Collector，可以通过 Crawler
...
爬虫 Scrapy 学习系列十五：日志
前言这是 Scrapy 系列学习文章之一，本章主要介绍日志的相关的内容；
本文为作者的原创作品，转载需注明出处；
简介注意，scrapy.log已经被 deprecated 了，取而代之，通过使用 Python 的内置的标准 logging 的方式来调用； Scrapy Loggings 可以通过
...
爬虫 Scrapy 学习系列十四：Exceptions
前言这是 Scrapy 系列学习文章之一，本章主要介绍 Exceptions 的相关的内容；
本文为作者的原创作品，转载需注明出处；
内置 Exceptions 一览DropItem1exception scrapy.exceptions.DropItem
The exception that m
...
爬虫 Scrapy 学习系列十三：Settings
前言这是 Scrapy 系列学习文章之一，本章主要介绍 Settings 的相关的内容；
本文为作者的原创作品，转载需注明出处；
简介Scrapy settings 的设计目的就是允许你通过设置来自定义所有 Scrapy 组件的行为，包括 core、extensions、pipeline 以及 sp
...
爬虫 Scrapy 学习系列十二：Link Extractors
前言这是 Scrapy 系列学习文章之一，本章主要介绍 Requests 和 Responses 的相关的内容；
本文为作者的原创作品，转载需注明出处；
简介
Link extractors are objects whose only purpose is to extract links fro
...
爬虫 Scrapy 学习系列十一：Requests and Responses
前言这是 Scrapy 系列学习文章之一，本章主要介绍 Requests 和 Responses 的相关的内容；
本文为作者的原创作品，转载需注明出处；
简介Scrapy 使用 Request 和 Response 对象来对特定的网页进行爬去；
典型的，Request 对象是通过 spider 生成
...
爬虫 Scrapy 学习系列之十：Feed exports
前言这是 Scrapy 系列学习文章之一，本章主要介绍 feed exports 的相关的内容；
本文为作者的原创作品，转载需注明出处；
简介Feed exports 就是如何将爬取到的数据进行序列化并通过某种文件形式( 通过 URI 的方式，可以是本地文件系统，也可以远程文件系统 )进行存储；下面
...
爬虫 Scrapy 学习系列之九：Item Pipeline
前言这是 Scrapy 系列学习文章之一，本章主要介绍 Item Pipeline 的相关的内容；
本文为作者的原创作品，转载需注明出处；
简介当数据被 Scrapy 爬虫爬取并转换为 Item 以后，将会被送给 Item Pipeline 进一步处理，Item Pipeline 包含多个组件，这些
...
爬虫 Scrapy 学习系列之八：Scrapy Shell
前言这是 Scrapy 系列学习文章之一，本章主要介绍 Scrapy Shell 的相关的内容；
本文为作者的原创作品，转载需注明出处；
简介Scrapy Shell 可以在不启动你的 spider 的情况下，对你需要的爬取和提取逻辑进行快速的检查；对调试和开发 spider 有非常大的帮助，并且可
...
爬虫 Scrapy 学习系列之七：Item Loaders
前言这是 Scrapy 系列学习文章之一，本章主要介绍 Item Loaders 相关的内容；
本文为作者的原创作品，转载需注明出处；
简介Item Loaders 提供了一个便利的机制来帮助 populating(填充) scrapted Items；虽然，Items 可以通过它类似 dict A
...
爬虫 Scrapy 学习系列之六：Items
前言这是 Scrapy 系列学习文章之一，本章主要介绍 Items 相关的内容；
本文为作者的原创作品，转载需注明出处；
简介Scrapy 的核心目的就是从非结构化的网页中提取出结构化的数据；默认的，Scrapy 爬虫以 dicts 的形式返回格式化的数据；但是，这里有一个问题，就是 dicts 并
...
爬虫 Scrapy 学习系列之五：Selectors
前言这是 Scrapy 系列学习文章之一，本章主要介绍 Selectors 相关的内容；
本文为作者的原创作品，转载需注明出处；
简介Scrapy 定义了自己的提取数据的机制，该机制被称作 Selector，该 Selector 是根据 XPath 或者 CSS 标准语言进行定义的；
简而言之，XP
...
爬虫 Scrapy 学习系列之四：Spiders
前言这是 Scrapy 系列学习文章之一，本章主要介绍 Spiders 相关的内容；
本文为作者的原创作品，转载需注明出处；
SpidersSpiders 是一系列用来定义如何爬取特定网站的 classes，包括如何爬取，如何从它们的页面中提取结构化的数据；换句话说，Spiders 就是开发者用来对
...
爬虫 Scrapy 学习系列之三：Command Line Tool
前言这是 Scrapy 系列学习文章之一，本章主要介绍 Command Line Tool 相关的内容；
本文为作者的原创作品，转载需注明出处；
Command Line Tool 简介当前最新版本是 0.10；
Scrapy 是由 scrapy command-line tool 所控制的，也称作
...
Python 系列学习十七：descriptor 我的解读和总结
前言打算写一系列文章来记录自己学习 Python 3 的点滴；本章主要介绍 Python 面向对象编程中有关 descriptor 的自我解读和总结的相关内容；
本文为作者的原创作品，转载需注明出处；
问题在整理学完 相关内容以后，发现有一个问题；那就是类属性的调用规则根据类属性是方法还是对象的调用
...
Python 系列学习十六：descriptor 官文解读
前言打算写一系列文章来记录自己学习 Python 3 的点滴；本章主要介绍 Python 面向对象编程中有关 descriptor 的官方文档的相关内容；
正如在介绍类的相关定义的时候，我们知道了，类的定义中有 @staticmethod、@classmethod 以及实例方法，但是有个疑问是，@c
...
Python 系列学习十五：面向对象编程 - 元类（Metadata Class）
前言打算写一系列文章来记录自己学习 Python 3 的点滴；本章主要介绍 Python 面向对象编程中有关元类的相关内容；
本文为作者的原创作品，转载需注明出处；
type正如之前的文章中，查看类的类型 以及 查看实例的类型 所描述的那样，type()可以查看对象的类型，不管是类还是实例；不过ty
...