崗位職責:
1、設計和開發分布式網絡爬蟲系統,對接三方平臺 API 以及進行網頁數據爬取。
2、參與數據平臺的搭建,優化數據處理流程;
3、搭建系統開發環境,完成系統框架與核心代碼開發;
4、參與搭建內部數據倉庫,定義并開發業務核心指標數據。
任職要求:
1、大學本科學歷,計算機相關專業,熟悉 python 語言服務端開發,3 年以上開發經驗,有數據爬蟲開發經驗;
2、熟悉 Flask,Django 等常見 Web 框架;
3、熟悉 MySQL、NoSQL 等常見數據庫;
4、熟悉常見存儲引擎的原理、特點以及主從復制原理和實踐;
5、具有良好的編程思想、溝通、團隊合作精神、優秀的分析問題和解決問題的能力;
6、有 Hive,Spark 等大數據開發經驗者優先。