外贸网站建设屏蔽AI抓取,防止流量大增导致服务器卡顿
第一步:robots.txt 配置User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: anthropic-ai Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: /这表示:GPTBot(OpenAI)禁止访问ClaudeBot(Anthropic)禁止访问anthropic-ai(Cla...