不懂真人
不懂真人
4904 2 0

推荐个python的爬虫教程?

@admin
看站长在研究python,求推荐个简单爬虫框架吧,要求最好是异步gevent,请求requests,解析 随意,队列redis这种形式。

个人说明:
以前基于scrapy写过几个爬虫,不过都是写的xpath规则,对爬虫背后的原理,只是知道,但是没有自己动手写过。
自己也基于requests写过简单的爬虫,就是写个函数,发送request;beautifiulsoup解析相应的内容。

现在自己想在这方面好好学一下,没找到很好的教程,看好像用到的方法手段都不太一样。自己对这些东西,只是有个概念,没有一个编程思想在里面。

另:python也接触一段时间了,可是老感觉自己还停留在语法上面,没有自己的编程思想,这个怎么破?所以我才想着从爬虫入手,一步一步学习这些东西。

求指导...

0

See Also

Nearby


Discussion (2)

admin
admin 2013-10-08 15:50

现成的哪有那么完全合乎自己的,可以到github 搜索(python spider)开源项目,看看别人的实现方法

https://github.com/search?q=python+spider&type=Repositories&ref=searchresults

最好的方法应该是实践,给自己一个任务,也当作一个项目来做,选择有点小意义的来做,在做的过程中遇到问题找G哥解决。硬着头皮做完一个较复杂的项目可学到很多东西。python 就是边学边用。

0
不懂真人
不懂真人 2013-10-08 16:04

@admin
是的了 实践是最好的方法.
这个慢慢看了,python的正在看《dive into python》,里面还是有很多不理解。
慢慢来了...

0
Login Topics