Ahrefs 爬虫

IP 地址

我们从公开发布的 IP 范围中抓取数据。您可以获取我们的 IP 地址作为 IP 范围或单个 IP。有关如何将我们的 IP 地址加入白名单的信息，请参阅帮助文章。

反向 DNS

这些 IP 地址主机名的反向 DNS 后缀始终为 ahrefs.com 或 ahrefs.net。

网站状态

您可以查看您的网站在我们爬虫眼中的状态，以及是否允许被抓取：

AhrefsBot 会索引有关网站及其内容的最新准确信息，同时分析它们之间的链接关系。这些数据极具价值，可通过多种方式加以利用：

• AhrefsBot powers Yep—an independent, privacy-focused search engine. Being included in Yep’s index helps site owners reach a new audience.
• AhrefsBot feeds data into Ahrefs toolset. Website owners can create a free Ahrefs webmaster account and verify domain ownership to unlock site analytics, including access to in-depth backlink data, website performance metrics, and content change monitoring. Ahrefs also offers a suite of free SEO tools that anyone can use without creating an account.
• AhrefsSiteAudit powers our Site Audit tool. Site Audit checks websites for technical and on-page issues such as broken links, slow performance, security misconfigurations, and SEO pitfalls. By crawling and rendering pages, we help identify improvements that can boost visibility, loading speed, and overall user experience. Ahrefs also provides the option to run Site Audit for free on verified websites, helping site owners discover and fix technical issues, all without incurring any charges

遵循 robots.txt

两款爬虫均严格遵循 robots.txt 文件中的 disallow 和 allow 规则，以及 crawl-delay 指令。只有经过验证的网站所有者才能授权 AhrefsSiteAudit 爬虫忽略其网站上的 robots.txt 规则，以便检查通常禁止抓取的网站部分是否存在问题。

在请求 HTML 页面时，我们严格遵守爬取延迟设置，确保不超出规定的速率限制。但在渲染 JavaScript 时则无法遵循此规则。当我们的爬虫渲染页面时，可能会同时请求多个资源（如图片、脚本、样式表），这可能导致服务器日志中显示的请求频率超出抓取延迟设置的允许范围。这种行为模拟了真实用户的访问体验，因为现代网页通常需要同时加载多个资源才能实现正常渲染和运行。

缓存资源

在抓取过程中，我们会缓存频繁请求的文件（如图片、CSS、JS）以减少重复抓取，从而降低带宽消耗并减轻服务器负载。

负载管理

如果遇到非 200 状态代码（尤其是 4xx 或 5xx 错误），我们会自动降低该站点的抓取速度，从而确保对可能出现故障或高服务器负载的网站施加的压力最小化。

透明的运作方式

我们深知主机服务商、CDN 服务商和 CMS 平台可能希望管控爬虫与其客户网站之间的交互。我们公开的 IP 地址和用户代理字符串可让您或您的服务提供商快速验证 Ahrefs 的合法流量。我们始终致力于保持抓取行为的透明性，以建立信任并促进合作。如有任何疑问，请发送邮件至 [email protected]，我们将竭诚为您提供帮助。