爬虫
| 标识 |
释义 |
状态 |
原因 |
| Bytespider | 字节跳动旗下爬虫 | 拦截 | 无视协议高频抓取 |
|---|
| Amazonbot | Amazon 的 AI 爬虫 | 严控中 | AI 爬虫流量 |
|---|
| bingbot | 微软必应搜索爬虫 | 放行 | 守规矩 |
|---|
| MJ12bot | Majestic-12 Web Crawler | 拦截 | 无视协议高频抓取 |
|---|
| adidxbot | 微软必应搜索爬虫 | 严控中 | 流量占用 |
|---|
| SemrushBot | Semrush SEO Bot | 拦截 | 无效请求占用带宽 |
|---|
| ICC-Crawler | NICT 的 AI 爬虫 | 严控中 | AI 爬虫流量 |
|---|
| PetalBot | Huawei(新加坡)Search | 拦截 | 无视协议高频抓取 |
|---|
| Meta-ExternalAgent | Meta 的AI爬虫 | 严控中 | AI 爬虫流量 |
|---|
| DuckDuckBot | DuckDuckGo 的AI爬虫 | 拦截 | AI 爬虫流量 |
|---|
| PerplexityBot | Perplexity 的AI爬虫 | 严控中 | AI 爬虫流量 |
|---|
| YandexBot | Yandex Search Robot | 拦截 | 恶意爬取敏感目录 |
|---|
| ChatGPT LLM | OpenAI 的AI爬虫 | 严控中 | AI 爬虫流量 |
|---|
| Applebot | Apple 的AI爬虫 | 严控中 | AI 爬虫流量 |
|---|
| AhrefsBot | Ahrefs Site Explorer | 严控中 | 频率超出合理范围 |
|---|
| DotBot | Moz DotBot | 严控中 | 频率超出合理范围 |
|---|
