close
[life]最近的生活 wretch crawler & lottery crawler

最近有點不務正業，
上次到了pycon趁著空閒時間了寫了 樂透 爬蟲跟擬定了一些算牌的模型
最近看個幾期再研究一下。

這周三四之後主要就抽空寫了wretch crawler，
現在yahoo 的服務前端大概都走YTS (Yahoo traffic server )做cache，
所以現在的wretch大圖是有帶cache 的session值的，
已經不是像之前改改refere就可以直接抓了。

寫完multi thread version後，
又把他改成 web service。

我說身為做搜尋引擎研究的人，寫寫crawler應該很正常吧XDDD




arrow
arrow
    全站熱搜

    peicheng 發表在 痞客邦 留言(0) 人氣()

    E-mail轉寄