首页
191问答库
>
访问被拒绝爬虫发起抓取,httpcode返回码是403
访问被拒绝爬虫发起抓取,httpcode返回码是403
怎么解决详细步骤 每天都是这个样子，自从网站开通以后就这样
2025-05-16 23:43:28
推荐回答（2个）
回答1：
自己写的爬虫不必理会robots.txt.
检查你的 curl 里的user agent。
一些server 会检查合格的user agent.
回答2：
是因为权限问题，你看一下你的robots.txt文件
相关问答
网站能正常访问，但是百度与360抓取诊断错误，可是搜狗抓取诊...
服务器错误：爬虫发起抓取，httpcode返回码是5XX
百度站长中服务器错误 爬虫发起抓取，httpcode返回码是...
爬虫返回403，但是网页却可以访问，怎么伪装爬虫
Python爬虫采集遇到403问题怎么办？
网站抓取异常。请大神帮忙解决。
最新问答
谁有微信筛子，六点的。每次筛的都不一样的那种
急!Linux下能禁止某个用户使用SFTP吗?如果能,怎么操作呢? 还有就是如何限制某个用户SFTP下载及下载的速率
福成机场怎么到涠洲岛
王者荣耀真实伤害可以暴击吗 真实伤害是什么意思
大连钧斯贸易发展有限公司怎么样？
有个电影主角叫张煜龙 中间有一段是他去割包皮 旁边还有个人叫许武
想买十万左右的小车，请指点，谢谢！
冠状沟发炎，很痛，包皮红肿，尿尿也痛，怎么办
英语作文翻译为中文
人流后19天和男友带套同房了，需要吃什么消炎药吗
