1 爬虫入门
| 项目名称 | 项目介绍 |
|---|---|
| python爬虫入门教程 | 这里主要介绍了一些爬虫的入门教程，非常适合小白入手 |
2 爬虫登录
| 项目名称 | 项目介绍 |
|---|---|
| login-model | 这是爬虫中的登录模块演示 |
3 用户代理（User-Agent）
| 项目名称 | 项目介绍 |
|---|---|
| fake-useragent | 这里面有很多的用户代理（浏览器），防止被服务器监测到是机器人 |
4 代理池
这里主要是一些HTTP Proxy代理项目，可以用于爬虫代理服务
| 项目名称 |
|---|
| mitmproxy |
| haipproxy |
| scylla |
| getproxy |
5 爬虫项目
| 项目名称 | 项目介绍 |
|---|---|
| awesome-spider | 这里介绍了很多的爬虫小项目，主要语言用的是python |
| Scrapy | 一个股票数据爬虫，可以通过pip进行安装使用 |
| ruia | 一个异步爬虫框架，可以实现高速爬取 |
| weixin_crawler | 一个微信公众号爬虫项目，可以爬取一些公众号的文章 |
| WechatSogou | 一个微信搜狗搜索的API接口 |
6 爬虫框架
| 项目名称 | 项目介绍 |
|---|---|
| PSpider | 一个简单的web爬虫框架 |
| Scrapy | Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架 |
7 python其他
| 项目名称 | 项目介绍 |
|---|---|
| wtfpython | 这里主要介绍了一些比较不常见的python代码，可以帮助我们减少平时写代码的时候进行debug调试 |
| awesome-python-applications | 这里介绍了很多的特别棒的用python语言写的一些项目代码 |
写在最后
欢迎大家关注鄙人的公众号【麦田里的守望者zhg】，让我们一起成长，谢谢。
All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.
wechat
alipay
bitcoin
Related Articles
Comment
