最近在做一个课程作业，需要爬取豆瓣电影Top250的数据。我用了GitHub Copilot辅助写代码，发现它生成的requests请求部分经常缺少headers，导致被反爬拦截返回418。手动补上User-Agent后能跑通，但换个网站又出问题。想问问大家，AI编程工具生成爬虫代码时，是不是对反爬场景理解不够？你们一般怎么调教它写出更健壮的请求代码？还是说这类任务最好自己手写核心逻辑，AI只用来补全辅助函数？