添加 Sitemap 和自动把网址提交到 Baidu 和 Bing
添加了自动生成 Sitemap 功能,顺便把自动提交到百度、必应的功能添上,前些日子测试了一下,发现主动提交还是有点效果,从个人本站测试看,百度有时来有时不来,必应提交后秒来且秒收。
Google 呢
也测试了 Google, 跟百度一样,没有定数,但如果Google 不来,可以到 https://search.google.com/search-console 后台去检查网址并重新请求加入 Google 索引,但这也是提高优先抓取队列。
主动提交的功能是第一时间让搜索引擎收录,一般搜索引擎对每篇300字左右+几张图片的文章很欢迎,尤其是原创度较高的图文。
百度
在百度搜索资源平台注册 https://ziyuan.baidu.com/
路径 站点管理 > 选择对应网址 > 链接提交,看到下图:
把 接口调用地址
整串填到配置文件 config/config.yaml
的 BaiduSubUrl
项。
Bing
必应也类似,到他的站长平台 https://www.bing.com/toolbox/webmaster/ 注册,生成 API 密钥
把你的密钥填入下面网址
https://ssl.bing.com/webmaster/api.svc/json/SubmitUrl?apikey=[你的Bing API 密钥]
再填到配置文件 config/config.yaml
的 BingSubUrl
项。
两个填好后如下图:
为什么没有 Google
Google 的管理员工具很复杂,配置麻烦,而且国内访问不了,还是不放上去了,要添加,光装 go 的依赖库就头大。
如果很在意Google 自己的文章质量很高怕被采集,可以在web 界面提交以加快加入索引。
1
看看蜘蛛🕷️们的表现
程序请求的时间顺序是: 百度、Bing、Google
蜘蛛来的顺序是:Bing、Google 、(log显示百度是来了,是例行公事,只爬他想爬的,没爬刚刚提交的)
Google 顺带爬文章下面的 tag 链接,优秀👍😄
上图太小,放大点的图片
这个功能上到开源版了吗?
@冒烟的蘑菇 #2 已开源
每分钟提交一次????
@冒烟的蘑菇 #4 每1分钟轮询看有没有需要提交的