User-Agent: Baiduspider
Disallow: /about/
Disallow: /search/*


# ==========================
# 屏蔽 Sogou 爬虫（你日志里刷得最多的）
# ==========================
User-agent: Sogou web spider
Disallow: /

# ==========================
# 屏蔽 Amazonbot
# ==========================
User-agent: Amazonbot
Disallow: /

# ==========================
# 屏蔽 newsai/1.0 这类 AI/资讯爬虫
# （它 UA 名叫 newsai/1.0，前面是伪装成 Chrome）
# ==========================
User-agent: newsai
Disallow: /

# ==========================
# 可选：对 Bing 温柔一点（只限速，不封）
# ==========================
User-agent: bingbot
Crawl-delay: 5
# 例如不想它抓产品列表翻页，可以：
# Disallow: /products/microscope/*page