精心挑选了几个爬虫,给大家在学Scrapy框架之前打基础。
该项目仅限学习交流,请勿用于商业用途,如有侵权,请联系删除。
| 运行环境 |
项目使用版本 |
| python |
3.7.9 |
| NodeJS |
14.6.0 |
| 程序依赖 |
安装指令 |
项目使用版本 |
| lxml |
pip install lxml |
4.6.2 |
| aiohttp |
pip install aiohttp |
3.7.4 |
| requests |
pip install requests |
2.25.1 |
| PyExecJS |
pip install PyExecJS |
1.5.1 |
| sqlalchemy |
pip install sqlalchemy |
1.3.23 |
| beautifulsoup4 |
pip install beautifulsoup4 |
4.9.3 |
| mysqlconnector |
pip install mysql-connector-python |
8.0.23 |
| qrcode |
pip install qrcode |
7.3 |
| opencv-python |
pip install opencv-python |
4.5.3.56 |
| m3u8 |
pip install m3u8 |
0.9.0 |
| mitmproxy |
pip install mitmproxy |
5.3.0 |
| selenium |
pip install selenium |
3.141.0 |
| pycryptodome |
pip install pycryptodome |
3.10.1 |