微信登录

抓取过程 - 百度抓取过程

表现 意思 修改思路
提交url超过1个月,没有蜘蛛来爬 <html lang="">设置错误 修改正确的
爬虫来首页,不爬内容 没有a标签 首页增加a标签
爆发式蜘蛛来袭 没有错误 不管
只爬1篇 正常 不管
site有收录几天又没了 内容不行 修改内容
每小时稳定来爬1、2条
每小时稳定来爬n条
每天稳定来爬1、2条
确认式爬行一篇文章3次(不会4次) 慢慢放出 👏