spider topic questions introduce

lgy · lgy · commit fe903e73e6d3 · 2017-09-29T16:10:53.000+08:00
diff --git a/codeNLP/README.md b/codeNLP/README.md
@@ -18,7 +18,11 @@ SentenceSimilarly : &#20027;&#35201;&#28041;&#21450;&#21477;&#23376;&#30340;&#30456;&#20284;&#24230;&#38382;&#39064;&#65292;&#35299;&#20915;query &#27867;&#21270;&#21644;
 Spider : &#24341;&#29992;&#32593;&#19978;&#30340;&#24494;&#21338;&#35780;&#35770;&#29228;&#21462;&#30340;code
 		Login.py &#30693;&#20046;&#27169;&#25311;&#30331;&#38470;&#33050;&#26412;&#65292;&#36824;&#26377;&#39564;&#35777;&#30721;&#35782;&#21035;&#33050;&#26412;&#65292;&#20294;&#22240;&#20934;&#30830;&#29575;&#38382;&#39064;&#65292;&#22312;&#35843;&#35797;&#20013;
 		SpiderTopicData.py &#29228;&#21462;&#30693;&#20046;topic &#25968;&#25454;&#65292;&#20197;&#21450;topic &#26641;&#20851;&#31995;
-		SpiderTopicQuestions.py &#29228;&#21462;topic &#19979;&#30340;questions &#25968;&#25454;&#65292;&#24320;&#21457;&#20013; &#12290;&#12290;&#12290; &#12290;&#12290;&#12290;
+		SpiderTopicQuestions.py &#29228;&#21462;topic &#19979;&#30340;questions &#25968;&#25454;&#65292;&#21487;&#20197;&#37197;&#32622;&#33719;&#21462;question &#30340;&#25968;&#37327;&#65292;&#23384;&#20648;&#20301;&#32622;
+        SpiderData.py &#29228;&#21462; &#25209;&#37327; topic&#30340;&#25209;&#37327;&#38382;&#39064;&#65292;&#38656;&#35201;&#35774;&#32622;topic SpiderTopicData &#29228;&#21462;&#30340;&#25968;&#25454;topic&mdash;&mdash;link&#25968;&#25454;&#35299;&#26512;&#20986;&#21494;&#23376;&#35805;&#39064;&#65292;code&#20013;&#26102;&#33719;&#21462;&#20174;&#26681;&#35805;&#39064;&#31639;&#36215;&#30340;&#31532;&#19977;&#32423;&#35805;&#39064;
+        TopicTree.py &#26377;&#26681;&#25454;SpiderTopicData.py&#29228;&#21462;&#30340;topic&#25968;&#25454;&#26500;&#24314;&#35805;&#39064;&#26641;
+        &#27880;&#65306;&#35805;&#39064;&#20013;&#26410;&#24517;&#35805;&#39064;&#29228;&#21462;&#26102;&#30340;&#23553;&#21495;&#25110;&#23553;IP&#38382;&#39064;&#37319;&#29992;&#38543;&#26426;&#23450;&#26102;&#38388;&#38548;&#29228;&#21462;&#36830;&#25509;&#30340;&#26041;&#27861;&#65292;&#25928;&#29575;&#21487;&#33021;&#26377;&#28857;&#24930;&#65292;&#21487;&#26681;&#25454;&#38656;&#35201;&#20462;&#25913;&#65307;
+        &#20026;&#20445;&#38505;&#36215;&#35265;&#26368;&#22909;&#20445;&#30041;&#65292;&#20197;&#36991;&#20813;&#23553;&#21495;&#25110;&#23553;IP&#30340;&#38382;&#39064;
 		
 
 

-Original file line number
+Diff line change
 Spider : 引用网上的微博评论爬取的code
 		Login.py 知乎模拟登陆脚本，还有验证码识别脚本，但因准确率问题，在调试中
 		SpiderTopicData.py 爬取知乎topic 数据，以及topic 树关系
 -		SpiderTopicQuestions.py 爬取topic 下的questions 数据，开发中 。。。 。。。
 +		SpiderTopicQuestions.py 爬取topic 下的questions 数据，可以配置获取question 的数量，存储位置
 +        SpiderData.py 爬取 批量 topic的批量问题，需要设置topic SpiderTopicData 爬取的数据topic——link数据解析出叶子话题，code中时获取从根话题算起的第三级话题
 +        TopicTree.py 有根据SpiderTopicData.py爬取的topic数据构建话题树
 +        注：话题中未必话题爬取时的封号或封IP问题采用随机定时间隔爬取连接的方法，效率可能有点慢，可根据需要修改；
 +        为保险起见最好保留，以避免封号或封IP的问题