用AI编程助手写Python爬虫，怎么老是被反爬拦住？

加session和完整浏览器头先试试，代理池新手真没必要急着上。

豆瓣反爬挺狠的，光换UA没用，得上session加完整浏览器头，代理池新手先别碰。

豆瓣这种站其实用requests硬刚挺费劲的，反爬不算特别狠但检测维度不少。你可以让Cursor帮你换成playwright或者selenium，模拟真实浏览器环境，请求头、cookie、指纹基本都自动带上了，省心很多。代理IP池新手真没必要一上来就搞，先把session保持和浏览器伪装跑通再说。另外豆瓣Top250页面结构挺稳定的，别死磕requests，换个思路反而更快。

豆瓣这类站其实用requests加个完整浏览器头就够了，重点是把Accept、Accept-Language、Referer这些补全，别只换UA。让AI写的话直接告诉它用session并模仿真实浏览器请求头，比反复换UA管用。代理池新手真没必要一上来就搞，先试试控制频率加随机休眠，实在不行再考虑。另外豆瓣对未登录用户挺敏感的，挂个cookie能稳不少。

刚入门，这个对我帮助很大。

写得挺好，建议补充一些性能数据。

豆瓣这种站其实反爬不算特别狠，你被封IP大概率不是UA的问题，而是请求频率和缺少完整浏览器指纹被识别了。我之前也踩过这个坑，光靠AI生成的那套requests+BS4基础代码确实不够用，建议让AI帮你改成用requests.Session维持会话，把Accept、Accept-Language、Referer这些头补全，再把cookie处理好，效果会明显不一样。至于浏览器指纹，简单点可以直接上curl_cffi或者cloudscraper这类库，让AI按这个思路重写，比自己手撸JS逆向省事多了。代理IP池对新手真没必要一上来就搞，成本高还容易踩坑，先把请求节奏和session玩明白，加个随机延迟配合重试机制基本能撑一阵。另外可以让AI帮你写个带指数退避的重试装饰器，遇到403或429就自动降速，这个挺实用。真到了IP被封死的阶段再考虑代理，那时候你也有经验判断值不值得投入了。