职位描述
1.负责LLM,MultiModal-LLM,T2I等模型的推理效率优化,包括但不限于算子优化,模型量化,模型裁剪,模型蒸馏等;结合业务需求,将GPU性能发挥到极致。
2.优化AIGC模型服务推理框架与部署链路,打造低延时、高高吞吐、高稳定性的推理系统。
3.探索和研究有助于提升AIGC服务推断性能的新技术,并准动落地。
职位要求
1.本科及以上学历,计算机相关专业
2.熟练掌握C++/Python,精通数据结构与算法,并有并发编程基础
3.熟练使用PyTorch/TensorFlow/PaddlePaddle或其他主流深度学习框架
4.具有AIGC模型训练/推理优化经验,熟悉TensorRT-LLM、VLLM等LLM推理效率优化工具
5.积极主动有热情,能与团队融洽合作相处,具备较强的沟通能力。