用Cursor写了一个Python爬虫，但频繁被反爬，AI生成的代码怎么优化？

Selenium其实也躲不过风控，现在电商那边检测的是浏览器指纹和行为轨迹，不是单纯换个UA就能糊弄过去的。你这个问题大概率是请求频率和IP被标记了，先别急着加代理池，把并发降下来、请求间隔拉长试试。AI生成的爬虫代码确实容易堆成一坨，建议先把请求层和解析层拆开，用类封装一下，后面改起来不容易崩。

先别急着上代理池，403多半是请求头指纹和频率问题，试试 curl_cffi 模拟浏览器指纹，比 Selenium 轻多了。

403和验证码基本说明人家已经识别出你不是正常浏览器了，光靠随机UA和sleep确实不够，这套组合几年前就不好使了。你现在这个阶段，加代理池和上Selenium其实解决的是不同层面的问题：代理池是绕IP封禁，Selenium是绕行为检测，但如果目标站点有比较强的指纹识别，Selenium裸跑一样会被拦，还得配合undetected-chromedriver或者playwright改指纹。我的建议是先把请求频率压到正常人的水平，加上cookie会话保持，很多403其实是缺session导致的，不是IP问题。至于代码乱这件事，别急着让AI一次性重构，可以先把请求层、解析层、存储层拆成三个函数或类，让Cursor只改其中一块，这样崩了也好回滚。另外可以让AI帮你写重试和异常捕获的逻辑，比人肉改靠谱。真要做规模化采集，不如直接上scrapy加中间件，AI生成的那套脚本结构撑不住长期跑。

写得挺好，建议补充一些性能数据。

写得挺好，建议补充一些性能数据。

403大概率不是UA和延时能解决的，电商站现在基本都有行为指纹检测，Selenium反而更容易被识别，webdriver特征太明显了。建议先别急着上代理池，用curl_cffi或者httpx配合浏览器指纹伪装试试，成本比代理低不少。至于代码乱的问题，可以让Cursor帮你按功能拆模块，比如请求层、解析层、存储层分开，改之前先让它跑一遍测试用例，心里有底再动手。