爬虫职业规划

1.職業生命週期
Python開發者(90%)(庫的使用,網絡請求,網頁文本解析,數據存儲)>>> 入門 >>> 初級(團隊合作)>>> 中級 >>>
(無明確)高級 >>> 逆向,前端開發,信息安全,數據分析,深度學習 >>> 转岗

必經之坑(綜合):
JavaScript,APP,深度學習(加殼,驗證碼,加密)【滑動驗證碼,扭曲字體,人工軌跡】
工作(北京)
初級:10K 中級:16K 高級:27K 逆向,深度學習:≤35K2.定位和日常
大廳+卡座(動態增刪卡座,方便交流)
MacBook Pro:好公司(開發較方便)

類型:
數據驅動 {地位較高}(頭條,股票分析,體育競賽)
非數據驅動 (金融,監控變動)

需求甲方爸爸>>>整理需求>>>展現數據>>>參加大量無關的會議>>>寫代碼>>>熬夜加班

3.職業規劃
誘惑:後端工程師,人工智能分析師,物聯網工程師,前段工程師,數據分析師
要先扎根垂直領域(起碼到高級爬蟲工程師再轉)

特點:綜合技術,門檻低,資料多,有挑戰,有新鮮感4.短時間入門
《Python爬蟲開發 從入門到實戰(微課版)>>>
《Python3 網絡爬蟲開發實戰>>>(大部分時間,用到中級)
《Python3 反爬蟲原理與繞過實戰>>>

4.如何堅持?
拆分長期目標,加入社群,保持學習,減少重複回顧

5.快速成長和技巧
輸入>>>輸出:讀源碼,翻文檔,造輪子(工具庫),寫文章
記得做筆記!!!

6.法律問題
Robots協議
(X 個人隱私,非公開VIP數據,企業詳細信息,商業用途,機密,版權,爬蟲頻率{一定要小於總請求的1/3!},破解類,逆向)
《網絡安全法>>> 《刑法>>> 《反不正當競爭法>>> 《侵權責任法>>> 7.第二職業
跨界合作,不適合創業/自營,IT轉崗
(知識付費,聯手電商)Q&A
1.密碼學與爬蟲有強聯繫(參數/編碼/對稱加密)
2.深度學習與爬蟲有強聯繫(扭曲彩色文字,圖像識別>99%,填補缺口)
3.不懂源碼,問作者,查文獻,調試+注釋,列邏輯,改參數,造輪子
4.無實戰/項目經驗:內推,上傳作品