User-agent: *
Allow: /

# 主要页面
Allow: /
Allow: /fortune
Allow: /meihua
Allow: /qimen
Allow: /life-book/main
Allow: /life-book/fortune
Allow: /life-book/fortune/monthly
Allow: /life-book/fortune/yearly
Allow: /life-book/fortune/major-luck
Allow: /fortune-face
Allow: /fortune-palm
Allow: /membership
Allow: /partner
Allow: /partner-program
Allow: /blog
Allow: /search
Allow: /tools
Allow: /topics
Allow: /clusters
Allow: /seo
Allow: /glossary
Allow: /faq
Allow: /about
Allow: /authors
Allow: /methodology
Allow: /examples
Allow: /case-studies
Allow: /compare

# 静态资源
Allow: /images/
Allow: /icons/
Allow: /_next/static/
Allow: /_next/image
Allow: /favicon.ico
Allow: /favicon.png
Allow: /favicon.svg
Allow: /favicon-16x16.png
Allow: /favicon-32x32.png
Allow: /apple-touch-icon.png
Allow: /safari-pinned-tab.svg
Allow: /icon-192.png
Allow: /icon-512.png
Allow: /manifest.json
Allow: /site.webmanifest
Allow: /feed.xml
Allow: /atom.xml
Allow: /feed.json
Allow: /opensearch.xml
Allow: /site-map
Allow: /llms.txt
Allow: /llms-full.txt
Allow: /.well-known/security.txt

# 不允许爬取的页面
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Disallow: /404
Disallow: /500

# 网站地图
Sitemap: https://www.6yao.ai/sitemap.xml

# 爬取延迟（毫秒）
Crawl-delay: 1

# 特定搜索引擎规则
User-agent: Googlebot
Allow: /
Crawl-delay: 0

User-agent: Bingbot
Allow: /
Crawl-delay: 1

User-agent: Baiduspider
Allow: /
Crawl-delay: 2