大數據架構師32-38萬
公司名稱:長沙某網絡科技公司
工作地點:長沙
崗位職責:
1. 參與規劃和實施公司數據平臺的搭建以滿足未來1-2年的數據分析要求;
2. 參與公司CDP平臺的整體數據架構設計,完成從業務模型到數據模型的設計工作 ;
3. 負責基于Spark的數據平臺研發工作(包擴離線計算,數據倉庫存儲和處理等);
4. 對業務開發團隊提供技術支持,協助方案規劃;
5. 維持線上服務高效穩定,支撐業務和數據量的快速擴張。
崗位要求:
1. 有java開發基礎,熟悉Spark相關技術,至少有3年以上的大數據開發經驗(有過帶教經驗優先考慮,本崗往Leader方向培養);
2. 熟悉流式計算平臺的搭建,例如使用Flink / Spark Streaming和kafka結合的實時數據處理系統,實現數據實時大屏;
3. 理解離線和實時數據倉庫的治理方法和分層邏輯;
4. 熟悉Scala語言,對Scala原理、底層技術有深入研究者優先;
5. 深入理解MapReduce工作原理,HDFS分布式文件系統架構;
6. 熟練掌握Hadoop/Hive/HBASE的運維和調優方法;
6. 熟悉mysql, ElasticSearch, Redis等關系型或NoSQL數據庫,了解應用場景和使用限制,有實際調優經驗者更佳;
7. 熟悉Linux/Unix操作系統,會寫Shell,會使用Git;
8. 了解大數據組件的使用限制和應用場景,包括但不僅限于: hdfs, yarn, hbase, hive, flume, kafka, zookeeper, kylin, kudu, ElasticSearch, Storm, MongoDB等;
9. 了解掌握TensorFlow者優先;
10. 熟練的英文技術文檔閱讀能力