名數(shù)據(jù)特征工程師/數(shù)據(jù)開發(fā)工程師面議
發(fā)布人：
高邦獵頭 發(fā)布時(shí)間:2023-03-10
公司名稱：某IT公司
工作地點(diǎn)：廈門
任職資格：
1、熟悉SQL的編寫
2、精通Spark streaming并有大型項(xiàng)目經(jīng)驗(yàn)，熟悉Spark架構(gòu)及內(nèi)部實(shí)現(xiàn)，至少了解Spark shuffle機(jī)制，內(nèi)存管理，任務(wù)調(diào)度, 有二次開發(fā)經(jīng)驗(yàn)尤佳
3、熟悉 Scala, Python語言及parquet文件存儲格式
4、熟悉流處理中常用算法和數(shù)據(jù)結(jié)構(gòu)
5、3年以上相關(guān)工作經(jīng)驗(yàn)
6、良好的溝通能力和學(xué)習(xí)能力，能獨(dú)立解決問題
7、有R, Julia語言或者Flink 項(xiàng)目經(jīng)驗(yàn)尤佳
加分項(xiàng)：
● 有時(shí)間序列，圖形數(shù)據(jù)庫經(jīng)驗(yàn)優(yōu)先
崗位要求
1、負(fù)責(zé)實(shí)時(shí)指標(biāo)的加工及算法實(shí)現(xiàn)
2、主動從各種數(shù)據(jù)集中發(fā)現(xiàn)有價(jià)值的指標(biāo)并加以實(shí)現(xiàn)
3、根據(jù)業(yè)務(wù)需求能夠快速設(shè)計(jì)和實(shí)現(xiàn)合理的短期、中期、長期解決方案：
4、 負(fù)責(zé)數(shù)據(jù)結(jié)構(gòu)及算法的設(shè)計(jì)和實(shí)現(xiàn)
5、用戶畫像：如同一家庭用戶的識別，去重
6、地理位置數(shù)據(jù)相關(guān)指標(biāo)的實(shí)時(shí)采集、分析、加工
7、H3 Geo Hex Cluster metrics
8、其他數(shù)據(jù)分析挖掘模型算法的設(shè)計(jì)實(shí)施
9、流計(jì)算框架
10、開發(fā)基于Spark, Kafka ,HDInsight的大數(shù)據(jù)項(xiàng)目系統(tǒng)
11、研究Flink, Dataflow, Materialize等.
12、協(xié)助 Data scientist實(shí)現(xiàn)ML模型
13、編寫相關(guān)文檔等
