lincanbin avatar

必应的Spider无法识别没有urlencode的链接

🕓 by lincanbin

访问日志出现了大量“锟斤拷” 可见支持不好,因为在@ 人的时候 member/ 后对应的参数需要进行urlencode处理,否则Bing会捕捉到404,影响收录

💘 相关文章

评论

共2条关于"必应的Spider无法识别没有urlencode的链接"的评论

lincanbin avatar
#1 lincanbin 回复

含中文参数需要urlencode,不知道是不是个例,我反正访问日志(我补充的一个记录Spider爬行的程序,当返回404时会记录)出现了大量的404返回

lincanbin avatar
#2 lincanbin 回复

海量含中文路径无法爬行,BING DDOS式地爬了一天,出现了四千多个404,第二天就只爬了几百页

写一条评论

Based on Golang + fastHTTP + sdb | go1.17.1 Processed in 0ms