不懂真人 avatar

推荐个python的爬虫教程?

🕞 by 不懂真人

@admin 看站长在研究python,求推荐个简单爬虫框架吧,要求最好是异步gevent,请求requests,解析 随意,队列redis这种形式。

个人说明: 以前基于scrapy写过几个爬虫,不过都是写的xpath规则,对爬虫背后的原理,只是知道,但是没有自己动手写过。 自己也基于requests写过简单的爬虫,就是写个函数,发送request;beautifiulsoup解析相应的内容。

现在自己想在这方面好好学一下,没找到很好的教程,看好像用到的方法手段都不太一样。自己对这些东西,只是有个概念,没有一个编程思想在里面。

另:python也接触一段时间了,可是老感觉自己还停留在语法上面,没有自己的编程思想,这个怎么破?所以我才想着从爬虫入手,一步一步学习这些东西。

求指导...

💘 相关文章

评论

共2条关于"推荐个python的爬虫教程?"的评论

admin avatar
#1 admin 回复

现成的哪有那么完全合乎自己的,可以到github 搜索(python spider)开源项目,看看别人的实现方法

https://github.com/search?q=python+spider&type=Repositories&ref=searchresults

最好的方法应该是实践,给自己一个任务,也当作一个项目来做,选择有点小意义的来做,在做的过程中遇到问题找G哥解决。硬着头皮做完一个较复杂的项目可学到很多东西。python 就是边学边用。

不懂真人 avatar
#2 不懂真人 回复

@admin 是的了 实践是最好的方法. 这个慢慢看了,python的正在看《dive into python》,里面还是有很多不理解。 慢慢来了...

写一条评论

Based on Golang + fastHTTP + sdb | go1.16.3 Processed in 1ms