爬虫数据工程师
爬虫数据工程师
单栏 · 有照片
社交网络爬虫工程师
教育背景
浙江工业大学
省重点双一流学科
计算机科学与技术 本科
杭州2016年9月 - 2020年6月
主修课程：数据结构、计算机网络、数据库系统、信息安全基础。
技能
Python / Scrapy
Playwright / 逆向分析
代理IP池与验证码识别
MySQL / MongoDB
Redis / Kafka
Docker / Linux 运维
个人总结
5年Python爬虫开发经验，专注社交网络平台数据采集与反爬对抗，熟悉微博、小红书、抖音等平台接口与风控机制。主导过日均千万级请求的分布式采集系统建设，采集成功率稳定在95%以上。熟练使用Scrapy、Playwright、代理IP池与验证码识别方案，具备扎实的数据合规意识。
工作经历
杭州云数信息技术有限公司
杭州
大数据服务舆情监测
爬虫工程师
2022年9月 - 至今
Scrapy反爬对抗
- 负责社交平台数据采集系统开发，日均请求量提升至800万次，采集成功率稳定在95%以上。
- 搭建代理IP池与账号池调度体系，单日可用IP规模达5万，封禁率下降约60%。
- 优化Scrapy-Redis分布式架构与去重策略，任务处理效率提升约40%。
杭州智联网络科技有限公司
杭州
互联网数据服务
Python开发工程师
2020年7月 - 2022年8月
Python数据采集
- 参与资讯与论坛类站点采集开发，累计接入站点120余个，日均入库数据约300万条。
- 使用Playwright处理动态渲染页面，配合验证码识别方案，页面解析成功率提升至92%。
项目经验
社交平台多源数据采集系统
2023年3月 - 2024年6月
爬虫开发负责人
- 设计微博、小红书多平台采集链路，覆盖用户、内容、评论三类数据，日均采集量约500万条。
- 引入设备指纹模拟与请求频率自适应策略，账号存活周期由3天延长至15天以上。
代理IP池与验证码识别平台
2022年10月 - 2023年2月
核心开发
- 搭建代理IP池自动检测与评分机制，可用率从70%提升至93%，支撑全公司采集业务。
- 对接打码平台与OCR识别，验证码通过率提升至88%，人工介入量下降约70%。
主要成就
采集性能大幅提升
主导采集系统架构升级，单机吞吐提升3倍，年度服务器成本节约约18万元。
数据合规零事故
建立采集合规审核流程，明确robots协议与授权边界，全年零合规事故。
其他信息
到岗时间:
可接受出差，离职状态可一周内到岗。
作品集:
GitHub 有爬虫框架与反爬对抗相关开源项目。
证书与认证
数据库系统工程师（软考中级） - 工业和信息化部
2023年11月
证明数据库设计与管理能力。
阿里云大数据工程师认证（ACP） - 阿里云
2024年5月
证明云上数据采集与处理能力。
语言能力
英语（CET-6）可阅读英文技术文档，CET-6
更多爬虫工程师模板
同一职位，不同的版式和写法。点开任意一份即可查看大图。
爬虫优化工程师
爬虫优化工程师
单栏 · 有照片
AI辅助爬虫工程师
AI辅助爬虫工程师
单栏 · 无照片
爬虫工程师
爬虫工程师
单栏 · 无照片
大数据爬虫工程师
大数据爬虫工程师
双栏 · 有照片
python爬虫工程师
python爬虫工程师
单栏 · 有照片
爬虫架构师
爬虫架构师
单栏 · 有照片
python爬虫工程师实习生
python爬虫工程师实习生
单栏 · 无照片
就从这份模板开始
模板会复制到你的账户里，每一句话、每个板块和颜色都能改，改好再下载 PDF。