test · haishiniu/PythonSpiderNotes@8b5c5f9 · GitHub
Skip to content

Commit 8b5c5f9

Browse files
lining0806lining0806
committed
test
1 parent 5df9c92 commit 8b5c5f9

28 files changed

Lines changed: 498 additions & 20 deletions

File tree

‎Captcha1/ReadMe.md‎

Lines changed: 17 additions & 10 deletions

‎NewsSpider/ReadMe.md‎

Lines changed: 4 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,6 +1,9 @@
11
### 网络爬虫之最基本的爬虫：爬取[网易新闻排行榜](http://news.163.com/rank/)
22

3-
一些说明：
3+
**一些说明：**
4+
45
* 使用urllib2或requests包来爬取页面。
6+
57
* 使用正则表达式分析一级页面，使用Xpath来分析二级页面。
8+
69
* 将得到的标题和链接，保存为本地文件。

‎QunarSpider/ReadMe.md‎

Lines changed: 4 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,6 +1,9 @@
11
### 网络爬虫之Selenium使用代理登陆：爬取[去哪儿](http://flight.qunar.com/)网站
22

3-
一些说明：
3+
**一些说明：**
4+
45
* 使用selenium模拟浏览器登陆，获取翻页操作。
6+
57
* 代理可以存入一个文件，程序读取并使用。
8+
69
* 支持多进程抓取。

‎ReadMe.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -224,7 +224,7 @@ Selenium是一款自动化测试工具。它能实现操纵浏览器，包括字
224224

225225
可以利用开源的Tesseract-OCR系统进行验证码图片的下载及识别，将识别的字符传到爬虫系统进行模拟登陆。当然也可以将验证码图片上传到打码平台上进行识别。如果不成功，可以再次更新验证码识别，直到成功为止。
226226

227-
参考项目：[Captcha1](https://github.com/lining0806/PythonSpiderNotes/tree/master/Captcha1)
227+
参考项目：[验证码识别项目第一版：Captcha1](https://github.com/lining0806/PythonSpiderNotes/tree/master/Captcha1)
228228

229229
**爬取有两个需要注意的问题：**
230230

‎Spider_Java/README.md‎

Lines changed: 4 additions & 2 deletions

Spider_Java/.classpath renamed to Spider_Java/Spider_Java1/.classpath

File renamed without changes.

Spider_Java/.project renamed to Spider_Java/Spider_Java1/.project

File renamed without changes.

Spider_Java/bin/synchronizetest/Booth.class renamed to Spider_Java/Spider_Java1/bin/synchronizetest/Booth.class

File renamed without changes.

Spider_Java/bin/synchronizetest/Reservoir.class renamed to Spider_Java/Spider_Java1/bin/synchronizetest/Reservoir.class

File renamed without changes.

Spider_Java/bin/synchronizetest/Test.class renamed to Spider_Java/Spider_Java1/bin/synchronizetest/Test.class

File renamed without changes.

0 commit comments

Comments
 (0)