广告合作
  • 今日头条

    今日头条

  • 百度一下

    百度一下,你就知道

  • 新浪网

    新浪网 - 提供新闻线索,重大新闻爆料

  • 搜狐

    搜狐

  • 豆瓣

    豆瓣

  • 百度贴吧

    百度贴吧——全球领先的中文社区

  • 首页 尚未审核订阅工具 订阅

    爬取数据链接不在源码里怎么处理

    来源:网络收集  点击:  时间:2024-09-08
    【导读】:
    网站为了保护自己的数据或者网站架构原因,会把一部分数据藏起来,并不直接展示在源码中,但这部分数据真实存在。隐藏的链接通常存在于js或者json等文件中。我们只要分析出这部分文件所在的位置,通过正则等方式提取就可以。工具/原料morefiddler浏览器方法/步骤1/4分步阅读

    下载fiddler安装包,安装fiddler。我这是直接从安装包中打开fiddler.exe文件,及fiddler首次打开后的样子。

    2/4

    可以绑定fidder与一个特定的浏览器,防止正常请求响应太慢。这里以火狐浏览器为例,通过:设置》选项》代理设置进入火狐代理设置页面,将火狐与fiddler绑定,使得每次火狐请求的服务器返回的响应经过fiddler。具体设置信息见第二张图。

    3/4

    在火狐浏览器中打开目标网站,打开fiddler,fiddler左侧双击打开fiddler中的json文件、js文件等文件,右侧查看响应返回的内容。图中,如,左侧打开某个网站返回的205号json文件,右侧row中查看这个文件中的包含了一系列的json数据,对比分析返回的json数据是否包含目标数据,如不包含,则继续打开其他链接可能存在的文件,找到为止。

    4/4

    在找到数据存在的文件后,在fiddler左侧文件位置右键,复制文件的url,获取url中的目标数据信息即可。

    本文关键词:

    版权声明:

    1、本文系转载,版权归原作者所有,旨在传递信息,不代表看本站的观点和立场。

    2、本站仅提供信息发布平台,不承担相关法律责任。

    3、若侵犯您的版权或隐私,请联系本站管理员删除。

    4、文章链接:http://www.1haoku.cn/art_1200215.html

    相关资讯

    ©2019-2020 http://www.1haoku.cn/ 国ICP备20009186号05-07 02:19:48  耗时:0.026
    0.0256s