AI辅助爬虫工程师简历模板

• 负责电商与资讯类站点采集架构设计，搭建Scrapy-Redis分布式集群，日均采集量从80万提升至300万条。
• 引入大模型辅助页面结构解析与验证码识别，目标站点解析成功率由75%提升至92%，人工维护成本下降约40%。
• 建立采集任务监控与告警体系，任务异常平均响应时间从2小时缩短至20分钟，保障数据交付稳定性。

• 使用Python与Requests开发多站点数据采集脚本，支撑运营竞品监控需求，单项目覆盖站点30余个。
• 优化代理池与请求调度策略，采集封禁率降低约35%，日均有效数据量提升50%。
• 参与数据清洗与入库流程开发，基于MySQL与MongoDB完成结构化存储，数据准确率保持在98%以上。

• 设计基于Playwright的渲染采集与LLM解析方案，解决动态页面与异构模板识别难题，覆盖主流电商平台12个。
• 搭建任务调度与数据质量校验模块，价格数据日更新时效由24小时缩短至4小时，支撑比价业务上线。
• 制定采集频率与robots协议合规策略，项目运行期间未发生目标站点封禁与合规投诉。

• 基于Scrapy-Redis与Docker构建分布式采集平台，支持50个节点并行调度，采集效率提升约3倍。
• 开发代理IP池与请求重试机制，任务成功率由82%提升至96%，为数据团队提供稳定数据源。

主修课程：数据结构、数据库系统、计算机网络、Python程序设计；通过CET-6。