深度学习应用工程师
深度学习应用工程师
双栏 · 无照片
深度学习优化工程师
个人总结
5年深度学习推理优化经验，专注GPU算子与图编译优化，熟悉TensorRT、CUDA及PyTorch生态。主导大模型推理加速项目，将端到端时延降低45%、单卡吞吐提升2.1倍。具备扎实的体系结构与并行计算功底，擅长定位性能瓶颈并落地工程化方案。
工作经历
北京
北京智算科技有限公司
AI基础设施大模型
深度学习优化工程师
推理优化CUDA
2022年9月 - 至今
- 负责大模型推理引擎优化，通过算子融合与KV Cache改造，将7B模型首token时延降低45%。
- 主导TensorRT-LLM量化部署方案落地，INT8量化后单卡吞吐提升2.1倍，精度损失控制在0.5%以内。
- 搭建自动化性能回归平台，覆盖30余个模型基准，版本性能回退问题定位时间由2天缩短至4小时。
上海
上海云图智能科技有限公司
计算机视觉智能硬件
算法工程师（推理方向）
TensorRT模型压缩
2020年7月 - 2022年8月
- 负责CV模型端侧部署优化，基于TensorRT完成剪枝与量化，推理速度提升1.8倍。
- 参与训练框架算子开发，新增12个高性能CUDA算子，训练吞吐平均提升15%。
项目经验
2024年3月 - 2024年5月
大语言模型推理加速平台 - 优化负责人
- 设计PagedAttention与连续批处理调度方案，长文本场景显存占用降低38%，并发能力提升2.5倍。
- 完成多卡张量并行推理适配，支持4卡部署，单机吞吐达到每秒1200 token。
2022年12月 - 2023年2月
端侧目标检测模型轻量化 - 核心开发
- 采用结构化剪枝与INT8量化联合优化，模型体积压缩至原1/4，精度仅下降0.8个百分点。
- 在嵌入式GPU平台完成部署，单帧推理耗时由35ms降至14ms，满足实时性要求。
技能
CUDA / GPU编程
TensorRT / TensorRT-LLM
PyTorch
模型量化与剪枝
C++ / Python
分布式并行推理
教育背景
武汉
华中科技大学
985双一流
计算机科学与技术 硕士
2019年8月 - 2021年5月
研究方向为高性能计算与深度学习系统；GPA 3.7/4.0。
武汉
武汉理工大学
211双一流
软件工程 本科
2016年8月 - 2020年5月
主修数据结构、操作系统、计算机体系结构；CET-6。
主要成就
推理性能突破
主导的推理优化方案上线后，公司大模型服务单卡成本下降约40%，支撑日均千万级调用。
技术专利
作为第一发明人申请推理调度相关发明专利2项，均已进入实质审查阶段。
团队认可
连续两年获评部门年度优秀员工，主导的性能优化专项获公司技术创新奖。
证书与认证
NVIDIA深度学习推理工程师认证 - NVIDIA
2023年6月
证明TensorRT推理部署与优化能力。
系统架构设计师（软考高级） - 工业和信息化部
2021年11月
证明系统架构设计与技术方案能力。
就从这份模板开始
模板会复制到你的账户里，每一句话、每个板块和颜色都能改，改好再下载 PDF。