爬虫数据工程师
爬虫数据工程师
单栏 · 有照片
自动化爬虫工程师
教育背景
浙江工业大学
省重点双一流学科
计算机科学与技术 本科
杭州2016年9月 - 2020年6月
主修数据结构、计算机网络、数据库系统；毕业设计为分布式网页采集系统。
技能
Python / Scrapy
Playwright / Selenium
反爬对抗与代理池
MySQL / MongoDB
Redis / Kafka
Docker / Linux
荣誉奖项
校级优秀毕业生
全国大学生软件设计大赛省级二等奖
个人总结
5年Python自动化爬虫与数据采集经验，擅长分布式爬虫架构、反爬对抗与数据清洗入库。主导过日均千万级页面的采集系统建设，通过代理池与调度优化将采集成功率提升至98%以上。熟悉Scrapy、Playwright与Kafka，具备合规采集与风控应对实战经验。
工作经历
杭州云数信息技术有限公司
杭州
大数据服务互联网
高级爬虫工程师
2022年7月 - 至今
分布式爬虫反爬对抗
- 负责电商与舆情数据采集系统开发，日均采集页面800万级，稳定运行可用率达99.5%。
- 设计代理池与请求调度策略，将目标站点封禁率从18%降至3%以内。
- 搭建数据清洗与入库流水线，采集数据可直接供下游分析使用，人工校验量减少60%。
杭州智联网络科技有限公司
杭州
企业服务SaaS
Python爬虫工程师
2020年7月 - 2022年6月
Scrapy数据采集
- 使用Scrapy与Redis构建分布式采集框架，支撑20余个数据源并行采集。
- 开发验证码识别与登录态维护模块，采集成功率由82%提升至95%。
- 编写采集监控与告警脚本，异常任务平均发现时间缩短至5分钟内。
项目经验
千万级分布式数据采集平台
2023年3月 - 2024年5月
爬虫架构负责人
- 基于Scrapy-Redis与Kafka搭建分布式采集调度，单日峰值采集1200万页面。
- 引入动态渲染与指纹伪装方案，突破目标站点反爬限制，数据完整率提升至97%。
电商价格监控采集系统
2022年8月 - 2022年12月
核心开发
- 开发多平台商品价格与评论采集任务，覆盖30余个电商站点。
- 设计增量采集与去重机制，重复数据率降至1%以下，存储成本下降约35%。
主要成就
采集成功率提升
通过调度与代理池优化，使核心采集任务成功率长期稳定在98%以上。
合规采集零事故
推动采集流程标准化与合规审查机制落地，全年无违规采集事件。
证书与认证
Python程序设计（软考中级） - 工业和信息化部
2023年9月
证明Python开发与数据处理能力。
阿里云大数据工程师认证（ACP） - 阿里云
2024年6月
证明云上数据采集与存储方案设计能力。
更多爬虫工程师模板
同一职位，不同的版式和写法。点开任意一份即可查看大图。
爬虫优化工程师
爬虫优化工程师
单栏 · 有照片
AI辅助爬虫工程师
AI辅助爬虫工程师
单栏 · 无照片
爬虫工程师
爬虫工程师
单栏 · 无照片
大数据爬虫工程师
大数据爬虫工程师
双栏 · 有照片
python爬虫工程师
python爬虫工程师
单栏 · 有照片
爬虫架构师
爬虫架构师
单栏 · 有照片
python爬虫工程师实习生
python爬虫工程师实习生
单栏 · 无照片
就从这份模板开始
模板会复制到你的账户里，每一句话、每个板块和颜色都能改，改好再下载 PDF。