运维数据采集分析师
运维数据采集分析师
双栏 · 有照片
数据采集
个人简历
展现专业实力，创造职场价值。
个人总结
6年数据采集与数据工程经验，专注多源网页与接口数据抓取、清洗入库及质量监控。熟练使用 Python、Scrapy、SQL 与代理池方案，累计支撑日均千万级数据采集任务。曾主导采集链路重构，将任务成功率提升至99%以上。
工作经历
杭州云数信息技术有限公司
杭州
大数据服务互联网
数据采集工程师
2021年3月 - 至今
Python数据采集
- 负责电商与舆情类站点数据采集，维护300余个采集任务，日均入库数据约800万条。
- 设计代理池与请求调度策略，将目标站点封禁率从18%降至4%以内。
- 搭建采集质量监控看板，异常任务平均发现时间由4小时缩短至30分钟。
浙江智联网络科技有限公司
杭州
企业服务SaaS
数据开发工程师
2018年7月 - 2021年2月
ScrapyETL
- 使用 Scrapy 开发多站点采集框架，统一解析与去重逻辑，新站点接入周期由5天缩短至2天。
- 完成历史数据清洗与结构化入库，累计处理约2亿条记录，数据完整率提升至98%。
项目经验
多源数据采集平台重构
2023年9月 - 2024年6月
数据采集负责人
- 主导采集链路重构，引入分布式调度与断点续采，任务成功率由92%提升至99.3%。
- 优化存储与去重方案，单日采集成本下降约25%。
电商价格监控采集项目
2022年3月 - 2022年12月
核心开发
- 针对目标站点设计动态渲染与验证码识别方案，采集覆盖率由70%提升至95%。
- 建立字段校验规则，脏数据比例由6%降至1.5%以下。
主要成就
年度优秀员工
连续两年采集任务可用性达99%以上，获部门年度优秀员工。
采集规范沉淀
沉淀采集规范与代码模板，被团队3个项目复用。
证书与认证
数据库系统工程师（软考中级） - 工业和信息化部
2023年11月
证明数据库设计与管理能力。
阿里云大数据工程师认证（ACP） - 阿里云
2022年6月
证明云上数据采集与处理能力。
语言能力
英语（CET-6）可阅读英文技术文档
教育背景
浙江工业大学
省重点双一流学科
计算机科学与技术 本科
杭州2014年9月 - 2018年6月
相关课程：数据库系统、Python程序设计、网络爬虫与数据获取。
技能
Python 爬虫开发
Scrapy / Requests
SQL 与数据清洗
反爬策略与代理池
Linux 与 Shell
MongoDB / Redis
更多数据采集模板
同一职位，不同的版式和写法。点开任意一份即可查看大图。
数据采集安全DBA
数据采集安全DBA
单栏 · 有照片
分布式数据采集运维
分布式数据采集运维
双栏 · 有照片
数据采集监控运维
数据采集监控运维
单栏 · 无照片
数据采集助理
数据采集助理
单栏 · 无照片
数据采集日志管理DBA
数据采集日志管理DBA
单栏 · 无照片
数据采集自动化DBA
数据采集自动化DBA
双栏 · 有照片
数据采集存储运维
数据采集存储运维
单栏 · 无照片
就从这份模板开始
模板会复制到你的账户里，每一句话、每个板块和颜色都能改，改好再下载 PDF。