職位描述:
1、設計和實現推理引擎SDK,提升推理性能、易用性和產品穩定性。
2、開發推理引擎的AI編譯。包括圖融合、各類圖優化、算子優化以及自動化調優等;
3、開發推理引擎的運行時系統。包括內存管理以及資源管理等等;
4、熟悉類CUDA/ROCm Runtime和Driver API及其底層實現,理解常用機制如異步launch,事件event,進程隔離/調度;
5、參與大模型的推理優化。基于推理引擎,研發和應用大模型推理優化的技術。
職位要求
1、計算機相關學科碩士及以上學歷;
2、熟悉 C++、Python 等編程語言,3年以上C++的開發經驗;//有開發經驗即可,組內已經有兩個資深工程師;
3、熟悉深度學習框架,如Tensorflow,Pytorch,至少熟悉一種推理引擎;
4、具有使用TVM / MLIR / IREE 進行AI模型編譯和優化的經驗 加分項;
5、有很好的團隊協作能力與溝通能力,對技術和代碼品質有追求。