爬虫数据工程师
爬虫数据工程师
单栏 · 有照片
智能爬虫工程师
教育背景
武汉理工大学
211双一流
计算机科学与技术 本科
武汉2014年9月 - 2018年6月
相关课程：数据结构、计算机网络、数据库系统、操作系统。
华中科技大学
985211
软件工程 硕士
武汉2018年9月 - 2021年6月
研究方向：网络数据采集与分布式系统，参与实验室爬虫平台建设。
技能
Python / Scrapy-Redis
Playwright / Selenium
反爬对抗与验证码识别
Kafka / ClickHouse
MySQL / Redis
Docker / Linux 运维
荣誉奖项
国家奖学金
全国大学生信息安全竞赛二等奖
个人总结
5年Python爬虫与数据采集开发经验，专注大规模分布式爬虫、反爬对抗与数据清洗链路建设。熟练使用Scrapy-Redis、Playwright、Kafka与ClickHouse，主导过日均千万级页面的采集平台。擅长验证码识别、代理池调度与增量抓取，保障采集稳定率长期保持在99%以上。
工作经历
杭州数聚网络科技有限公司
杭州
大数据服务互联网
智能爬虫工程师
2021年7月 - 至今
分布式爬虫反爬对抗
- 负责电商与舆情类分布式爬虫平台开发，日均采集页面超800万，稳定率保持99.2%。
- 设计代理池与请求调度策略，突破主流站点反爬限制，采集成功率提升35%。
- 搭建Kafka+ClickHouse数据入库链路，将数据落地延迟从小时级压缩至5分钟内。
武汉云图信息技术有限公司
武汉
软件服务数据采集
Python开发工程师（爬虫方向）
2020年7月 - 2021年6月
Python数据清洗
- 参与企业级数据采集系统开发，独立完成12个目标站点的爬虫适配与维护。
- 优化去重与增量抓取逻辑，重复数据率由8%降至1%以下，节省存储成本约20%。
项目经验
千万级电商数据采集平台
2023年3月 - 2024年8月
爬虫开发负责人
- 基于Scrapy-Redis搭建多节点采集集群，支持动态扩缩容，峰值QPS达1200。
- 引入OCR与滑块轨迹模拟方案，验证码通过率提升至92%，人工介入量下降70%。
舆情监测数据采集系统
2022年2月 - 2023年1月
核心开发
- 设计站点模板化配置与自动解析规则，新站点接入周期由3天缩短至半天。
- 建立采集质量监控看板，异常告警响应时间控制在10分钟内。
主要成就
采集平台可用率99.5%
主导采集平台稳定性治理，全年任务可用率达99.5%，支撑公司3条数据产品线交付。
团队带教与知识沉淀
沉淀反爬对抗与代理调度内部文档，带教2名初级工程师独立承接采集需求。
证书与认证
数据库系统工程师（软考中级） - 工业和信息化部
2023年11月
证明数据库设计与管理能力。
阿里云大数据工程师认证（ACP） - 阿里云
2022年6月
证明云上数据采集与处理能力。
更多爬虫工程师模板
同一职位，不同的版式和写法。点开任意一份即可查看大图。
爬虫优化工程师
爬虫优化工程师
单栏 · 有照片
AI辅助爬虫工程师
AI辅助爬虫工程师
单栏 · 无照片
爬虫工程师
爬虫工程师
单栏 · 无照片
大数据爬虫工程师
大数据爬虫工程师
双栏 · 有照片
python爬虫工程师
python爬虫工程师
单栏 · 有照片
爬虫架构师
爬虫架构师
单栏 · 有照片
python爬虫工程师实习生
python爬虫工程师实习生
单栏 · 无照片
就从这份模板开始
模板会复制到你的账户里，每一句话、每个板块和颜色都能改，改好再下载 PDF。