hadoop大数据开发工程师
hadoop大数据开发工程师
双栏 · 无照片
Hadoop人工智能工程师
个人总结
5年大数据与人工智能工程经验，深耕Hadoop生态与机器学习平台建设，主导过PB级数据仓库与推荐系统落地。熟悉HDFS、YARN、Spark、Flink及TensorFlow，具备从数据采集到模型上线的全链路能力。曾将离线任务耗时降低45%，支撑日均百亿级特征计算。
工作经历
杭州云智数据科技有限公司
杭州
大数据人工智能
大数据算法工程师
2022年9月 - 至今
Hadoop机器学习
- 负责Hadoop集群与Spark离线计算平台优化，任务平均耗时降低45%，日均处理数据量提升至80TB。
- 搭建特征工程与模型训练流水线，支撑推荐模型迭代周期由7天缩短至2天，线上CTR提升6.8%。
- 主导YARN资源队列治理，集群资源利用率由58%提升至79%，年度计算成本节省约120万元。
上海数联信息技术有限公司
上海
互联网数据服务
数据开发工程师
2020年7月 - 2022年8月
Hive数据仓库
- 基于Hive与MapReduce构建企业级数据仓库，完成30余条核心数据链路开发，数据准确率达99.5%。
- 参与用户画像标签体系建设，累计产出800+标签，支撑精准营销活动转化率提升12%。
- 编写Sqoop与Flume采集脚本，实现多源异构数据日增20TB的稳定接入，故障率下降60%。
项目经验
基于Hadoop的智能推荐平台
2024年3月 - 2024年5月
技术负责人
- 设计HDFS分层存储与Spark特征计算架构，支撑千万级用户实时推荐，P99响应时间控制在200ms内。
- 引入TensorFlow训练深度排序模型并部署至在线服务，推荐点击率提升9.2%，人均停留时长增加15%。
- 建立模型监控与A/B实验体系，累计完成20余组实验，推动推荐策略月均迭代3次。
PB级离线数仓性能优化
2022年12月 - 2023年2月
核心开发
- 针对Hive小文件与数据倾斜问题重构分区与分桶策略，核心报表产出时间由4小时缩短至1.5小时。
- 优化YARN与HDFS参数配置，集群吞吐提升35%，支撑业务方日均查询量增长2倍。
主要成就
集群效率显著提升
主导YARN资源治理，集群利用率提升21个百分点，年节省成本超百万元。
模型迭代提速
搭建自动化特征与训练流水线，模型上线周期由7天压缩至2天。
推荐效果突破
深度排序模型上线后CTR提升9.2%，获公司年度技术创新奖。
证书与认证
阿里云大数据工程师认证（ACP） - 阿里云
2023年8月
证明云上大数据平台建设与分析能力。
机器学习工程师（中级） - 工业和信息化部教育与考试中心
2022年5月
证明机器学习工程化与模型部署能力。
教育背景
浙江工业大学
双一流
计算机科学与技术 硕士
杭州2019年8月 - 2021年5月
研究方向为分布式计算与机器学习，参与省级大数据科研项目1项。
杭州电子科技大学
一本
软件工程 本科
杭州2016年8月 - 2020年5月
主修数据结构、数据库原理与操作系统，GPA 3.6/4.0。
技能
Hadoop生态（HDFS/YARN/Hive）
Spark / Flink
Python / Scala
TensorFlow / PyTorch
SQL与数据仓库建模
Linux与Shell
荣誉奖项
浙江省大数据创新应用大赛二等奖
校级优秀毕业生
更多Hadoop模板
同一职位，不同的版式和写法。点开任意一份即可查看大图。
Hadoop平台开发工程师
Hadoop平台开发工程师
单栏 · 有照片
hadoop大数据运维
hadoop大数据运维
双栏 · 有照片
Hadoop集群管理工程师
Hadoop集群管理工程师
双栏 · 无照片
hadoop运维工程师
hadoop运维工程师
双栏 · 无照片
Hadoop云平台开发工程师
Hadoop云平台开发工程师
双栏 · 无照片
hadoop开发
hadoop开发
双栏 · 有照片
Hadoop数据分析师
Hadoop数据分析师
双栏 · 无照片
就从这份模板开始
模板会复制到你的账户里，每一句话、每个板块和颜色都能改，改好再下载 PDF。