爬虫数据工程师简历模板

• 负责电商价格监控采集平台，日均请求量提升至800万次，采集成功率稳定在98.5%。
• 设计代理IP池与请求调度策略，将封禁率从12%降至2%以内，单机吞吐提升约40%。
• 搭建数据清洗与去重流程，脏数据占比由8%降至1.5%，下游报表时效提前2小时。

• 使用 Scrapy 开发多站点采集任务，覆盖30余个数据源，月均入库数据约2000万条。
• 引入 Redis 去重与断点续爬机制，任务失败重跑率下降60%，运维人力节省约1人。

• 基于 Scrapy-Redis 搭建分布式采集集群，支持50个节点并行，日均采集新闻与社媒数据300万条。
• 接入 Playwright 处理动态渲染页面，动态站点采集覆盖率由55%提升至92%。
• 通过 Kafka 对接下游数仓，端到端数据延迟控制在10分钟以内。

• 开发多城市职位采集任务，累计入库有效职位数据约500万条，字段完整率达96%。
• 设计薪资解析与去重规则，重复数据率降至1%以下，支撑业务方职位分析报表。

主修数据库系统、数据结构与算法、计算机网络；CET-6。