python 爬取百度搜索页面提示百度安全验证

  • 原创
  • |
  • 浏览：1791
  • |
  • 更新：
  • python 爬取百度搜索页面提示百度安全验证1
  • python 爬取百度搜索页面提示百度安全验证2
  • python 爬取百度搜索页面提示百度安全验证3
  • python 爬取百度搜索页面提示百度安全验证4
  • python 爬取百度搜索页面提示百度安全验证5
分步阅读

python爬取百度的搜索页面通过get的方法提示百度安全验证，一直显示网络不给力，请稍后重试，原因是百度网站的反爬系统

工具/原料

  • python3
  • python编译器

方法/步骤

  1. 1

    通过python获取百度搜索内容，会出现返回的页面内容是“百度安全验证”的情况，如下图

    python 爬取百度搜索页面提示百度安全验证
  2. 2

    1：通过header头添加Accept

    python 爬取百度搜索页面提示百度安全验证
  3. 3

    2：当Accept添加后没有生效的，在添加Accept-Language

    python 爬取百度搜索页面提示百度安全验证
  4. 3
    本页面非法爬取自百度经验
  5. 4

    python爬取百度搜索提示loading问题，解决办法：在header里添加Cookie

    python 爬取百度搜索页面提示百度安全验证
  6. 5

    总结：百度的反爬的机制，需要根据网页的header进行设置，爬取成功的header设置如下：

    python 爬取百度搜索页面提示百度安全验证
    END

注意事项

  • 可以根据网页的显示的header进行尝试
经验内容仅供参考，如果您需解决具体问题(尤其法律、医学等领域)，建议您详细咨询相关领域专业人士。
作者声明：本篇经验系本人依照真实经历原创，未经许可，谢绝转载。
展开阅读全部