含中文参数需要urlencode,不知道是不是个例,我反正访问日志(我补充的一个记录Spider爬行的程序,当返回404时会记录)出现了大量的404返回

lincanbin at 2014-02-16 23:23
1

海量含中文路径无法爬行,BING DDOS式地爬了一天,出现了四千多个404,第二天就只爬了几百页

lincanbin at 2014-02-16 23:27
2
登录 后发表评论