大类
9
UA 分类维度
子类
16
细分爬虫类型
UA 总数
917
Crawler/Ai/CLi/SEO
全表覆盖
独家
2026/09/04
UA 大类分布（柱状图，按数量降序）
浏览之前的说明
16 类全表合计 917 条（占比 = 该类数量 / 917）；现实中部分 UA 兼具多类特征
| 类别 | 数量 | 建议 | 占比 |
|---|---|---|---|
| AI 训练 / 数据集采集 | 44 | 筛选封禁 |
|
| AI 搜索 / 助手类（可能回流训练数据） | 30 | 视服务器性能 |
|
| 命令行工具(CLI) | 4 | 视业务自行取舍 |
|
| 漏洞扫描 / 渗透攻击工具 | 81 | 建议直接封禁 |
|
| HTTP 客户端库 / 编程语言 SDK | 37 | 视业务自行取舍 |
|
| 采集框架 / 脚本工具 | 21 | 视业务自行取舍 |
|
| 浏览器自动化 / 无头浏览器 | 21 | 视业务自行取舍 |
|
| 安全测绘 / 证书验证 / 合规审计类 | 18 | 视服务器性能 |
|
| SEO 工具型爬虫 | 142 | 无价值流量大 |
|
| 常见垃圾爬虫 | 11 | 建议直接封禁 |
|
| 国际主流搜索引擎 | 37 | 放行 |
|
| 中文 / 亚洲搜索引擎 | 8 | 放行 |
|
| 垂直搜索引擎 | 137 | 放行 |
|
| 广告爬虫 | 83 | 无价值流量大 |
|
| 学术爬虫 | 32 | 放行 |
|
| 网站监控 / 可用性检测 | 211 | 视服务器性能 |
|
| 合计 | 917 | 16 类总计 100.00% | |