爬虫数据工程师
爬虫数据工程师
单栏 · 有照片
大数据爬虫工程师
个人总结
5年大数据爬虫与数据采集开发经验，擅长Scrapy-Redis分布式架构、JS逆向与反爬对抗。主导过亿级日增量的采集平台建设，采集成功率达98%以上，具备Kafka、Hive、ClickHouse数据链路落地经验。熟悉国内主流平台合规采集要求，能独立完成从需求拆解到上线监控的全流程。
工作经历
杭州数澜信息技术有限公司
杭州
大数据服务互联网
大数据爬虫工程师
2022年4月 - 至今
Scrapy-Redis反爬对抗
- 负责舆情数据采集平台开发与维护，日采集量由300万条提升至800万条，稳定支撑8个业务方数据需求。
- 主导反爬对抗与JS逆向方案，采集成功率提升至98.5%，人工补采工时每月减少约60小时。
- 优化Kafka到Hive数据链路与调度任务，入仓延迟由20分钟降至5分钟内，下游报表产出提前1小时。
杭州云集数据科技有限公司
杭州
数据服务电商
Python爬虫开发工程师
2019年7月 - 2022年3月
Python数据清洗
- 参与电商数据采集系统开发，负责20余个站点的商品与评论采集，日均入库约500万条。
- 设计增量采集与去重策略，重复数据率由12%降至1.5%，存储成本下降约30%。
- 编写Linux Shell运维脚本并接入监控告警，采集任务异常平均10分钟内响应。
项目经验
多平台舆情数据采集平台
2023年3月 - 2024年10月
爬虫开发负责人
- 基于Scrapy-Redis与Playwright搭建分布式采集集群，日采集量达800万条，支持断点续爬与动态限速。
- 针对JS加密参数完成逆向还原，结合代理池与UA指纹轮换，采集成功率稳定在98%以上。
- 通过Kafka对接Hive数据仓库，采集到入仓延迟控制在5分钟内，支撑下游舆情分析实时性要求。
电商商品评论采集系统
2021年6月 - 2023年2月
核心开发
- 负责电商商品评论与价格数据采集，覆盖20余个站点，日均入库数据约500万条。
- 设计增量采集与去重策略，重复数据率由12%降至1.5%，存储成本下降约30%。
- 搭建Prometheus采集监控与告警，任务异常平均10分钟内响应，保障数据按时交付。
主要成就
采集稳定性提升
设计代理池与指纹随机化方案，目标站点采集成功率由76%提升至98.5%。
数据质量治理
牵头建设采集数据质量监控看板，异常数据定位时间从半天缩短至30分钟。
核心系统落地
以核心成员身份完成电商评论采集系统，支撑公司舆情产品日均2000万条数据供应。
证书与认证
阿里云大数据工程师认证（ACP） - 阿里云
2024年6月
证明大数据平台组件开发与运维能力。
软件设计师（软考中级） - 工业和信息化部
2023年5月
证明软件工程与项目开发能力。
专业技能
爬虫与采集
Scrapy-RedisPlaywrightSeleniumAppiumCharles/Fiddler 抓包
数据工程与存储
PythonSQLHiveClickHouseMySQL
调度与部署
AirflowKafkaDockerKubernetesLinux Shell
教育背景
武汉理工大学
211双一流
软件工程 本科
武汉2014年9月 - 2018年6月
相关课程：数据结构、数据库系统、计算机网络、分布式系统；通过CET-6。
更多爬虫工程师模板
同一职位，不同的版式和写法。点开任意一份即可查看大图。
爬虫优化工程师
爬虫优化工程师
单栏 · 有照片
AI辅助爬虫工程师
AI辅助爬虫工程师
单栏 · 无照片
爬虫工程师
爬虫工程师
单栏 · 无照片
python爬虫工程师
python爬虫工程师
单栏 · 有照片
爬虫架构师
爬虫架构师
单栏 · 有照片
python爬虫工程师实习生
python爬虫工程师实习生
单栏 · 无照片
社交网络爬虫工程师
社交网络爬虫工程师
双栏 · 有照片
就从这份模板开始
模板会复制到你的账户里，每一句话、每个板块和颜色都能改，改好再下载 PDF。