崗位職責:
1. 負責移動客戶端數據采集、識別與正確解析。
2. 負責移動端爬蟲架構設計(包括基礎資源,如移動設備群集技術、代理池技術、反反爬技術、移動設備群控技術等等)與核心技術研發。
3. 負責移動端數據的特征挖掘,主要對移動設備數據請求協議、移動端交互數據、資源變化趨勢等進行數據抓取、分析和特征建模。
4. 設計策略和算法,提升數據抓取的效率和質量,進一步解決系統的網頁排重、垃圾控制、資源劃分等問題 。
5. 分析爬蟲系統的技術缺陷,對策略架構做出合理地調整和改進。
任職要求:
1. 精通Java/C++/Python語言編程,熟悉linux平臺開發與部署。
2. 熟悉HTTP、XML、JSON、SOAP、tcp/ip、網絡代理等網絡協議。
3. 熟悉APK反編譯、IDA、Android Studio等常用客戶端逆向分析工具,熟悉客戶端動態調試技術。
4. 熟悉常見的移動端反爬機制及對應的應對措施,如ua、cookie識別。
5. 精通隊列通信、分布式、多線程開發技術。
6. 有較強的數據分析與建模能力。
7. 有開源網頁爬蟲開發經驗者優先。