youbbs
youbbs
14333 5 1

添加 Sitemap 和自动把网址提交到 Baidu 和 Bing

添加了自动生成 Sitemap 功能,顺便把自动提交到百度、必应的功能添上,前些日子测试了一下,发现主动提交还是有点效果,从个人本站测试看,百度有时来有时不来,必应提交后秒来且秒收。

Google 呢

也测试了 Google, 跟百度一样,没有定数,但如果Google 不来,可以到 https://search.google.com/search-console 后台去检查网址并重新请求加入 Google 索引,但这也是提高优先抓取队列。

主动提交的功能是第一时间让搜索引擎收录,一般搜索引擎对每篇300字左右+几张图片的文章很欢迎,尤其是原创度较高的图文。

百度

在百度搜索资源平台注册 https://ziyuan.baidu.com/

路径 站点管理 > 选择对应网址 > 链接提交,看到下图:

接口调用地址 整串填到配置文件 config/config.yamlBaiduSubUrl 项。

Bing

必应也类似,到他的站长平台 https://www.bing.com/toolbox/webmaster/ 注册,生成 API 密钥

把你的密钥填入下面网址

https://ssl.bing.com/webmaster/api.svc/json/SubmitUrl?apikey=[你的Bing API 密钥]

再填到配置文件 config/config.yamlBingSubUrl 项。

两个填好后如下图:

为什么没有 Google

Google 的管理员工具很复杂,配置麻烦,而且国内访问不了,还是不放上去了,要添加,光装 go 的依赖库就头大。

如果很在意Google 自己的文章质量很高怕被采集,可以在web 界面提交以加快加入索引。

1

See Also

Nearby


Discussion (5)

youbbs
youbbs 2020-03-04 15:18

看看蜘蛛🕷️们的表现

程序请求的时间顺序是: 百度、Bing、Google

蜘蛛来的顺序是:Bing、Google 、(log显示百度是来了,是例行公事,只爬他想爬的,没爬刚刚提交的)

Google 顺带爬文章下面的 tag 链接,优秀👍😄

上图太小,放大点的图片

0
冒烟的蘑菇
冒烟的蘑菇 2020-03-14 11:53

这个功能上到开源版了吗?

0
youbbs
youbbs 2020-03-14 12:23

@冒烟的蘑菇 #2 已开源

0
冒烟的蘑菇
冒烟的蘑菇 2020-03-18 03:43

每分钟提交一次????

tick5 := time.Tick(1 * time.Minute)
0
youbbs
youbbs 2020-03-18 03:59

@冒烟的蘑菇 #4 每1分钟轮询看有没有需要提交的

0
Login Topics