爬虫工具篇之 Postman

前言

此篇博文是笔者有关爬虫工具系列之一;

本文为作者的原创作品,转载需注明出处;

概述

本篇继续以 爬虫工具篇之 Chrome 开发工具 Networks 中的用例为例,使用 POSTMAN 对其进行剖析;

POSTMAN 功能简介

POSTMAN 的核心功能区域有,如下图所示,
postman overview.png

从左至右,从上至下总共有 5 个核心的区域;

  1. 连接请求
  2. 参数输入
  3. 发送请求
  4. 设置 Authorization、Headers、Body、等
  5. 反馈结果

POSTMAN 是一个非常完备的用来快速测试网络请求的工具,在构建爬虫请求的前期,对于做预备工作非常有效;下面,我们来看看如何对 爬虫工具篇之 Chrome 开发工具 Networks 中的请求进行验证;

用例

本篇继续以 爬虫工具篇之 Chrome 开发工具 Networks 中的用例为例,使用 POSTMAN 对其进行剖析;

发送请求

  1. 首先,这时一个 POST 请求,所以,我们要设置的是 POST 请求,如上图所示;
  2. 其次,设置参数,注意,POST 请求使用的是 form data,因此参数必须设置到 body 中,因此,这里我们要在 body 中设置相应的参数,如下图
    set the form data parameters.png
    要特别特别注意的是,不能在 Params 选项中进行参数设置,因为这里所设置的参数是跟在 URL 后面的链接参数,不是 form data;
  3. 再次,设置必要的 headers 信息,不过大部分必要信息 Postman 都已经帮我们设置好了,笔者也就没有进行额外的设置,不过可以根据需要定制并覆盖默认设置;
  4. 最后点击 Send 发送此 POST 请求

请求响应

postman response.png
如图,请求响应主要分为两大部分,返回的结果和返回的状态信息,可见返回状态码是 200,成功返回,下面我们重点来看看请求返回的内容,
post response formats.png
可见 postman 给我们提供了多种查看返回结果的格式,默认是以 HTML 的格式来查看,同样还提供了 JSON、XML、TEXT 等格式用来查看返回结果;下面来看看笔者认为最吸引笔者的地方,就是以 Pretty JSON 的格式来查看返回的结果,
postman response formats - pretty json.png

特色功能 - 直接生成其它语言的请求代码

这时 POSTMAN 目前独一无二的地方,可以根据 POSTMAN 的参数配置直接生成对应语言环境的可执行代码,

  1. 入口,如图点击 Code
    generate code entrance.png
  2. 生成你想要的各种各样的代码
    Java 代码
    generate code - java.png
    Python 代码
    generate code - python.png

总结

Postman 是做爬虫必备的利器,如果要开发爬虫,这是必备的工具;能够帮助你以最快的方式进行调试;