运维数据采集分析师
运维数据采集分析师
双栏 · 有照片
大数据采集运维工程师
教育背景
浙江工业大学
省重点双一流
计算机科学与技术 本科
杭州2016年9月 - 2020年6月
相关课程：数据库系统、计算机网络、Linux系统管理。
技能
Linux与Shell运维
Flume/Kafka采集
Python运维脚本
DataX数据同步
Zabbix/Prometheus监控
SQL与MySQL
荣誉奖项
校级一等奖学金
浙江省大学生程序设计竞赛二等奖
个人总结
4年大数据采集与运维经验，熟悉Flume、Kafka、DataX等采集组件及Linux、Shell、Python运维脚本开发。负责过日均8TB数据采集链路的部署、监控与故障处理，擅长采集任务调优与稳定性保障。具备较强的排障与自动化运维能力，能快速定位并解决数据断流问题。
工作经历
杭州云脉数据科技有限公司
杭州
大数据服务民营科技
大数据采集运维工程师
2022年7月 - 至今
数据采集运维监控
- 负责日均8TB日志与业务数据采集链路的部署、监控与日常运维，保障采集任务稳定运行。
- 优化Flume与Kafka参数配置，采集延迟由15分钟降至3分钟，任务失败率降至0.6%。
- 编写Shell与Python巡检脚本，实现异常自动告警与重试，每月节省人工运维约40小时。
杭州数维信息技术有限公司
杭州
数据服务创业公司
运维工程师
2020年7月 - 2022年6月
Linux运维数据同步
- 参与业务库数据同步平台建设，使用DataX完成12个业务库增量同步配置。
- 负责服务器与采集组件日常巡检，处理数据断流、积压等故障，平均响应时间控制在15分钟内。
项目经验
多源日志采集链路优化
2023年6月 - 2024年4月
采集运维负责人
- 负责Flume与Kafka采集链路重构，优化批量与并发参数，采集延迟由15分钟降至3分钟。
- 搭建采集任务监控告警体系，覆盖200+任务，故障平均响应时间缩短至10分钟内。
业务库数据同步平台建设
2022年10月 - 2023年3月
运维开发
- 使用DataX完成12个业务库的增量同步配置，日均同步数据量约3TB。
- 编写Shell巡检脚本与异常重试机制，同步任务成功率提升至99.5%。
主要成就
采集稳定性提升
将采集任务失败率从3.2%降至0.6%，日均处理数据量提升至8TB。
运维自动化落地
通过脚本化巡检替代人工值守，每月节省运维工时约40小时。
其他信息
到岗时间:
可接受短期出差与轮班值守，两周内到岗。
语言能力:
CET-4，可阅读英文技术文档。
证书与认证
阿里云大数据工程师认证（ACP） - 阿里云
2024年3月
证明云上大数据平台部署与运维能力。
数据库系统工程师（软考中级） - 工业和信息化部
2023年11月
证明数据库系统设计与运维能力。
更多数据采集模板
同一职位，不同的版式和写法。点开任意一份即可查看大图。
数据采集安全DBA
数据采集安全DBA
单栏 · 有照片
分布式数据采集运维
分布式数据采集运维
双栏 · 有照片
数据采集监控运维
数据采集监控运维
单栏 · 无照片
数据采集助理
数据采集助理
单栏 · 无照片
数据采集日志管理DBA
数据采集日志管理DBA
单栏 · 无照片
数据采集自动化DBA
数据采集自动化DBA
双栏 · 有照片
数据采集存储运维
数据采集存储运维
单栏 · 无照片
就从这份模板开始
模板会复制到你的账户里，每一句话、每个板块和颜色都能改，改好再下载 PDF。