爬虫数据工程师
爬虫数据工程师
单栏 · 有照片
Java爬虫工程师
教育背景
武汉理工大学
211双一流
计算机科学与技术 本科
武汉2017年9月 - 2021年6月
主修数据结构、数据库系统与计算机网络，毕业设计为分布式网页采集系统。
技能
Java / Spring Boot
Jsoup / WebMagic
反爬对抗与代理池
Kafka / Redis
MySQL / MongoDB
Python 辅助脚本
荣誉奖项
公司年度技术之星
校一等奖学金
志愿服务经历
数据采集志愿者
杭州公益数据志愿小组
杭州2024年3月 - 至今
- 为社区公益组织搭建数据采集与统计脚本，每月自动汇总捐赠数据，节省人工统计约8小时。
课外活动
校计算机协会
校计算机协会/技术部部长
武汉2019年9月 - 2021年5月
- 组织技术分享会12场，带领8人小组完成校园信息聚合爬虫项目。
个人总结
5年Java后端开发经验，其中3年专注分布式爬虫与数据采集方向，熟悉反爬对抗、代理池与验证码识别方案。主导过亿级页面采集平台建设，日均稳定采集500万条数据，可用率保持99%以上。熟练使用Java、Spring Boot、Scrapy、Kafka与MySQL，能独立完成采集到入库的全链路设计。
工作经历
杭州云数信息技术有限公司
杭州
大数据服务互联网
Java爬虫工程师
2022年9月 - 至今
分布式爬虫反爬对抗
- 负责电商价格监控爬虫平台开发，覆盖300余个目标站点，日均采集数据500万条，任务成功率稳定在99.2%。
- 设计代理IP池与请求调度策略，将封禁率从18%降至3%以内，单机采集效率提升约40%。
- 使用Kafka解耦采集与清洗链路，支撑下游数据仓库每日增量入库，故障恢复时间缩短至10分钟内。
杭州智联网络科技有限公司
杭州
企业服务SaaS
Java开发工程师
2020年7月 - 2022年8月
Java后端数据采集
- 参与企业舆情采集系统开发，基于Spring Boot与Jsoup实现多源新闻抓取，日均处理页面80万条。
- 优化URL去重与增量抓取逻辑，重复采集量下降60%，存储成本每月节省约1.2万元。
项目经验
亿级网页分布式采集平台
2024年2月 - 2025年6月
核心开发
- 基于Spring Boot与Kafka搭建采集调度平台，支持动态配置站点与并发限流。
- 引入验证码识别与请求指纹伪装，目标站点封禁率下降约65%。
电商比价数据采集系统
2022年3月 - 2022年12月
开发负责人
- 开发电商价格监控采集任务，每日抓取商品数据20万条并入库MySQL。
- 设计增量采集与去重机制，数据重复率控制在1%以内。
主要成就
平台稳定性保障
采集平台连续12个月稳定运行，可用率保持99%以上。
采集成本优化
通过调度与代理策略优化，整体采集成本下降约30%。
证书与认证
软件设计师（软考中级） - 工业和信息化部
2024年5月
证明Java后端开发与系统设计能力。
阿里云大数据工程师认证（ACP） - 阿里云
2023年9月
证明云上数据采集与存储能力。
其他信息
到岗时间:
可接受短期出差，一周内到岗。
作品集:
个人GitHub维护爬虫工具与反爬方案示例代码。
更多爬虫工程师模板
同一职位，不同的版式和写法。点开任意一份即可查看大图。
爬虫优化工程师
爬虫优化工程师
单栏 · 有照片
AI辅助爬虫工程师
AI辅助爬虫工程师
单栏 · 无照片
爬虫工程师
爬虫工程师
单栏 · 无照片
大数据爬虫工程师
大数据爬虫工程师
双栏 · 有照片
python爬虫工程师
python爬虫工程师
单栏 · 有照片
爬虫架构师
爬虫架构师
单栏 · 有照片
python爬虫工程师实习生
python爬虫工程师实习生
单栏 · 无照片
就从这份模板开始
模板会复制到你的账户里，每一句话、每个板块和颜色都能改，改好再下载 PDF。