Colly: Golang编写的简单而强大的Web爬虫框架
Colly 特性：
清晰的API
快速（单个内核上的请求数大于1k）
管理每个域的请求延迟和最大并发数
自动cookie 和会话处理
同步/异步/并行抓取
高速缓存
自动处理非Unicode的编码
Robots.txt 支持
Google App Engine 支持
func main() {
c := colly.NewCollector()
// Find and visit all links
c.OnHTML("a", func(e *colly.HTMLElement) {
e.Request.Visit(e.Attr("href"))
})
c.OnRequest(func(r *colly.Request) {
fmt.Println("Visiting", r.URL)
})
c.Visit("http://go-colly.org/")
}
0
See Also
- 一款新的 Golang IDE —— CodePerfect
- aLiLua:一个lua web 框架
- Go 的两个web 框架推荐
- Golang 编程马拉松
- 用Golang快速、安全、可靠的做系统备份，只需几分钟即可完成设置
Nearby
- 上一篇 › 发帖支持语法高亮吗？
- 下一篇 › 为什么我安装的YouBBS找不到删除帖子的功能