七叶笔记 » golang编程 » Power Query 中使用POST方法进行网络抓取的尝试

Power Query 中使用POST方法进行网络抓取的尝试

之前我写过很多篇的Power Query的网络抓取的教程,如果按照网络数据传递的方式来说,那些文章中的抓取方式都是GET方法的抓取,那么POST与GET方法有什么区别呢?

这是W3C官网上的内容,大家参阅:

GET、POST两种方法都可以用来向服务器发起请求,至于服务器支持哪种方法,我们要通过谷歌浏览器来查看一下:

像这样在浏览器地址中提交查询条件的就是GET方法:

GET方法下面通常是查询的条件字符串Query String Parameters:

这样的URL很标准,没有各种问号等号连字符的,通常就是POST方法:

POST方法下面是表单Form Data:

很多时候网站是同时支持两种查询方法:

上面这个网站就是两种方法都支持的网站。

最后GET、POST两种方法在传递数据时最大的区别就是 编码 方式不同:

  • GET:使用TextEncoding.Ascii编码传递查询条件
  • POST:使用BinaryEncoding.Base64编码传递表单内容

我们回到Power Query抓取上来,我之前也是不明白要怎么才能实现POST提交数据抓取,看了几篇文章,基本上都是用一个函数实现GET、POST两种抓取的,唯一的区别在于HEADER这个 头文件 的书写,以及查询条件的编码方式。

GET方法查询:

上面这段代码可以适用在大部分的GET方法的站点,其中:

  • url:站点网址,不包括?号后面的部分
  • headers:头文件,如果不是登录密码的方式查询,可以省略
  • query:Query String Parameters这个上面截图是View Parsed格式码,下面的截图是View Source源码,网络抓取的时候用的是这个源码:

  • web:在执行抓取时是使用的参数抓取,注意下面这句中没有做任何的编码,其实就是使用的普通文本发送的查询请求:

Web.Contents(url,[Headers=headers,Query=query])

当然了,我们很多时候,匿名抓取数据时,就不用登录不用cookie,也就不用写头部文件,直接在一长串的url中添加页码等查询条件,就省略掉了Web.Contents函数的第二参数,这就是我为什么说之前的那些一句话查询都是GET查询。

POST查询:

我们主要讲的就是这个POST方法的抓取,与GET方法最大的不同,就是不能省略头文件Headers,因此也就必须使用Web.Contents函数的第二参数,我们就通过一个示例来说明怎么来写代码执行POST请求:

第一步:还是要做网站分析

首先我们确定这个网站是可以用POST方法抓取数据的:

然后要看头文件中的关键字:

其实我没有用用户名密码登录网站,所以这个cookie是可以不用的,但是这个:

Content-Type: application/x-www-form-urlencoded; charset =UTF-8

是POST方法中必须要使用的,划上重点符号。

再然后我们要看表单的内容:

我们需要向服务器提交上面几个查询条件,然后才能返回查询结果,上面的格式是为了方便查看,大家可以理解成是一个记录Record格式的样子,你按下View Source就会显示出源码:

我画线的部分就是“离婚登记数”,正常的URI编码形式好多百分号的汉字。

通过这些分析我们可以开始下一步了。

第二步:试抓

先把代码丢上来,然后再一行一行的来说:

let

url=”#34;,

headers=[#”Content-Type”=”application/x-www-form-urlencoded; charset=UTF-8″],

content=Text.ToBinary(“XjCode=xj35&Type=level&FullIndicate=%E7%A6%BB%E5%A9%9A%E7%99%BB%E8%AE%B0%E6%95%B0&FullIndicateCode=YI0116&Time=2016&pagesize=500”),

web=Web.Contents(url,[Headers=headers,Content=content])

in

web

  • url:网址,就是网站分析中的第一行那个网址;
  • headers:注意内容就是我们之前复制的那段内容,注意书写格式,#号以及引号的位置;
  • content:就是Form Data表单内同的源码,要注意的是使用了Text.ToBinary函数转换成了BinaryEncoding.Base64编码;
  • web:使用了第二参数,正常的书写就行了

与GET方法相比,主要的区别在于,headers、content的写法,

  • GET:header可有可无,POST:必须有headers;
  • GET:query无需编码,POST:content必须用Text.ToBinary转编码格式;

我们看查询的结果:

是个二进制文件,我们用 JSON 格式分析:

这样就证明了我们的POST方法成功了,当然我们肯定不满足,只抓取一年的数据,一个离婚登记数据,接下来就是要定义函数了,其实单个抓取成功,并展开表格到这一步就可以了,不要做过多的整理,避免抓取不同类别数据时出现冲突,导致函数的通用性降低。

第三步:自定义函数

我们需要通过三个参数来实现更多数据抓取:

  • y:年,对应content中的time=2016,我们用y代替2016,当然最好是直接用数值2016,那么就要写成Text.From(y),这样即使是数值也不会出错。
  • f:关键字,对应着content中的FullIndicate=%E7%A6%BB%E5%A9%9A%E7%99%BB%E8%AE%B0%E6%95%B0,我们用Uri.BuildQueryString([FullIndicate=f])来生成这样一段内容
  • c:代码,对应着content中的FullIndicateCode=YI0116,这里面的YI0116是随着关键字变化的,如果是”结婚登记数“,对应的是FullIndicateCode=YI0114。

我们把三个参数带到自定义函数中:

接下来我们要来做个多年的结婚登记数抓取测试。

第四步:数据抓取

展开表格就可得到2000-2017年的结婚登记数据了。

当然今天这个抓取是一行字符串式的数据传递相对容易一些,有的用记录方式传递,有的用JSON格式,无非就是几种格式之间的转换。只要了解了基本的POST操作的过程,那么用户名密码登录抓取也不是什么难办到的事情了。

相关文章