# d-3.ooo の robots.txt
#
# 方針：すべてのクローラーに全ページを許可する（下の User-agent: * のみ）。
# 個別の User-agent グループは置かない。置くと、そのクローラーには * の規則が効かなくなるため。
# 下のコメントは、主なクローラーを「検索用」と「学習用」に分けて、許可する理由を記録したもの。
# 各社の用途説明は 2026-09-26 に公式ドキュメントで確認した。
# Cloudflare 側（WAF、AI bots のブロック設定）で止めていないことは README の点検欄で確認する。
#
# ── 検索用（検索結果・AI の回答に出典として表示される）─────────────
# 許可する理由：検索や AI の回答でサイトが表示・引用され、リンクから訪問してもらうため。
#
# Googlebot        Google 検索（ウェブ、画像、動画、ニュース、Discover）の索引を作る。
#                  https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers
# Bingbot          Bing 検索の索引を作る。Bing の AI 回答（Copilot 等）での利用はメタタグ（nocache／noarchive）で制御する仕組みで、専用の User-agent は無い。
#                  https://blogs.bing.com/webmaster/september-2023/Announcing-new-options-for-webmasters-to-control-usage-of-their-content-in-Bing-Chat
# OAI-SearchBot    ChatGPT の検索機能で、サイトを検索結果に表示するために使う。
#                  https://developers.openai.com/api/docs/bots
# Claude-SearchBot Claude の検索結果の質を高めるために索引を作る。止めると検索結果に表示されにくくなる。
# Claude-User      Claude の利用者の質問に応じて、ページを取得する。止めると利用者の検索で表示されにくくなる。
#                  https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
# PerplexityBot    Perplexity の検索結果にサイトを表示し、リンクするために使う。基盤モデルの学習には使わないとされている。
#                  https://docs.perplexity.ai/guides/bots
#
# ── 学習用（生成 AI モデルの学習に使われ得る）─────────────────────
# 許可する理由：公開している内容は、事業の考え方とサービスの説明で、秘匿する情報を含まない。
# モデルが D-THREE の事業内容を正しく知っていることは、AI の回答で言及される前提になると考える。
# 学習用を止めても、上の検索用クローラーによる表示には影響しない（各社とも設定は独立）。
#
# GPTBot           OpenAI の生成 AI 基盤モデルの学習に使われ得る内容を取得する。
#                  https://developers.openai.com/api/docs/bots
# ClaudeBot        Anthropic の生成 AI モデルの学習に使われ得る内容を取得する。
#                  https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
# Google-Extended  Gemini の将来のモデルの学習と、Gemini アプリ・Vertex AI でのグラウンディングへの利用を制御する robots.txt 上の名前。
#                  専用の User-agent 文字列は無く、取得は既存の Google のクローラーが行う。Google 検索への掲載や順位には影響しない。
#                  https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers
#
# 方針を変えて学習用だけ止める場合は、次のように個別のグループを足す（検索用は * の許可のまま）。
#   User-agent: GPTBot
#   Disallow: /

User-agent: *
Allow: /

Sitemap: https://d-3.ooo/sitemap-index.xml