Adversarial self-review before…

# Scrapy当当网童书爬虫审查清单

一、异常处理审查（重点）

请求层异常

• 超时与重试：确认 DOWNLOAD_TIMEOUT 已设置，Scrapy默认重试中间件对超时/HTTP错误自动重试，但需检查 RetryMiddleware 配置是否合理（重试次数建议2-3次区间）
• HTTP状态码处理：在 parse 方法开头判断 response.status，对403/404/重定向到验证页的情况单独处理，避免解析空页面
• 反爬拦截：当当对高频请求可能返回验证页或空数据，建议在解析时校验关键节点是否存在，缺失时记录日志并考虑触发限速

解析层异常

• 选择器空值：每个 response.css/xpath 提取后用 or 默认值或 get(default='') 兜底，避免 None.strip() 报错
• 数据类型转换：价格如"¥29.90"、评分可能带"分”或百分比符号，float() 转换必须包裹 try/except，脏数据返回None而非崩溃
• 评分缺失：当当部分商品无评分或“暂无评价”，需显式处理，不能假设字段总存在
• 分页边界：第200条截断逻辑确认准确（避免多抓或少抓），翻页最后一页的“下一页”不存在时正常结束

Item管道层

• 字段校验：ItemLoader或 item 中用 scrapy.Field 的校验（或pydantic），必填字段缺失时决定丢弃还是补默认值
• 数据库/文件写入异常：Pipeline的 process_item 中数据库连接失败、文件写入权限问题需捕获，失败item可落盘重试

全局兜底

• errback：Request需配置 errback 回调，捕获DNS失败、连接拒绝等请求彻底失败的情况并记录
• 日志：self.logger 分级记录，ERROR不能静默吞掉（except: pass 是红线）

二、其他交付前检查

• 合规性：robots协议（ROBOTSTXT_OBEY）、抓取频率（DOWNLOAD_DELAY建议1-3秒区间）+ AUTOTHROTTLE 开启
• 去重：商品详情页重复出现的去重逻辑
• 数据完整性：跑完后核对item数量是否≈200，缺口部分日志能否定位原因
• 编码：确认书名含特殊字符时UTF-8输出无乱码
• 可维护性：选择器抽成类常量，页面改版时好修改

三、常见遗漏Top3

1. errback未配置——请求级失败无感知

2. 价格/评分转float无try包裹——一条脏数据中断整个爬取

3. 反爬验证页未识别——抓回200条“空壳”数据不自知

建议按此清单逐项自查，重点跑一次真实采集验证脏数据表现。