llms.txt

調査時点: 2026-04。クローラー実測値・採用数・標準化の進捗はその時点のもの。

一言で#

Jeremy Howard(Answer.AI)が 2024-09-03 に提案した、サイトのルートに置く Markdown ファイル。「このサイトの何をどの順で読めばよいか」を LLM に渡すための目次で、仕様ページは https://llmstxt.org/。提案時点では標準団体への提出はなく、バージョン番号もない慣習(de facto convention)として広まった。

フォーマット#

順序は固定で、必須は H1 だけ。

# プロジェクト名(H1、唯一の必須要素)
> 要約(ブロッククォート)
見出しなしの本文段落・リスト
H2 セクション: [名前](URL): 注釈 形式のリンク一覧
## Optional: コンテキストを削るときにスキップしてよいリンク

1
# Acme Docs
2

3
> API toolkit for building payment flows.
4

5
## Core
6

7
- [Quickstart](https://example.com/docs/start): Getting started guide
8
- [API Reference](https://example.com/docs/api): Full endpoint list
9

10
## Optional
11

12
- [Changelog](https://example.com/changelog): Release history

併設提案として、HTML ページと同じ URL に .md 拡張子で Markdown 版を置く形がある。

llms.txt と llms-full.txt#

	llms.txt	llms-full.txt
内容	ページへのリンクと 1 行注釈	全ページ本文を連結した Markdown
用途	目次・ナビゲーション	全文をワンショットで渡す
サイズ例(Anthropic、2026-04)	約 8,000 トークン	約 48 万トークン
サイズ例(Cloudflare、同)	軽量	約 370 万トークン

llms-full.txt は元の提案にはなく、Mintlify が Anthropic と協働して後から足した。GitBook の計測では llms-full.txt のアクセス数が llms.txt の 2 倍超。

生成の仕方#

決まった 1 パターンはなく、3 系統が並立する。

ビルド時に静的生成: Astro なら src/pages/llms.txt.ts を APIRoute にして getCollection() で全コンテンツを列挙する。サードパーティの integration(astro-llms-generate など)もあるが公式 @astrojs スコープのものはない。
ドキュメント基盤が自動生成: Mintlify、Fern(frontmatter の description から生成)、GitBook。
手書き: 小規模サイトは public/llms.txt に手で書いて置く。

出す側の採用(2026-04 時点)#

主要 AI ベンダー・技術系企業は軒並み自社ドキュメントに置いている。

組織	場所	備考
Anthropic	`platform.claude.com/docs/llms.txt`	11 言語、英語で 1,136 ページ分
OpenAI	`platform.openai.com/docs/llms.txt`
Perplexity	`docs.perplexity.ai/llms-full.txt`
Cloudflare	`developers.cloudflare.com/llms.txt`	8 カテゴリ構造。各プロダクトにも個別の llms.txt

ほかに Vercel、Stripe、Astro(llms-small.txt も配信)が実装済み。BuiltWith は 2025-10 時点で 84 万サイト超としているが、高トラフィックサイトの採用率(8.27%)は中規模(10.54%)より低く、採用の中心は小規模サイト。

読む側の実態#

ここが最大のポイントで、主要 AI 検索は「自社では出すが他社のものを読む」とコミットしていない。

Flavio Longato が 2025-08 に 1,000 ドメイン・30 日の CDN ログを監査した結果。

ボット	llms.txt の取得
ClaudeBot	0 件
GPTBot	0 件(個別に 15 分毎ヒットの報告もあり挙動不一致)
OAI-SearchBot	10 件(1.1%)
BingBot	7 件
GoogleBot	ヒットの 94.9%。通常の HTML ページとして取得

ベンダーの立場も同じ方向を向いている。Google の John Mueller は 2025-06 に「現在どの AI システムも llms.txt を使っていない」と発言し、Gary Illyes も同年に非対応を明言した。OpenAI は robots.txt で OAI-SearchBot を許可することだけを推奨している。Anthropic / Perplexity / Meta / Mistral は自社ドキュメントに置くが、他社サイトから読む約束はしていない。

ChatGPT や Claude に URL を貼れば読めるが、それはユーザーが明示的に渡しているのであって、クローラーの自律取得ではない。

現実的な価値#

AI 検索の引用を伸ばす手段にはならない(2026-04 時点)。SE Ranking は「llms.txt の有無と AI 引用数に相関なし」とした。
開発者向けツール(Cursor、Continue、Aider、各種 RAG フレームワーク)は llms.txt を読む。
置くコストが低いので「開発者文脈で引用されやすくしておく」狙いなら有効。
「llms.txt を置けば AI に選ばれる」という記述は誤り。

批判と位置づけ#

読まれていない(上の実測)。
Schema.org や XML サイトマップと機能が重なる(Ahrefs)。
検証手段がなく、虚偽を書いてもチェックされない。meta keywords と同じ道をたどるという見方。
モデルが直接 HTML を読めるようになり、専用ファイルの必要性が下がっている。

robots.txt との違い: robots.txt はクロールの許可・禁止を指令する業界標準で、主要クローラーが従う。llms.txt はコンテキストの提案にすぎず、アクセス制御には使えない。

代替として、Astro のドキュメントは llms.txt 系を配信しつつ、トークン消費の少ない MCP サーバー(https://mcp.docs.astro.build/mcp)を第一推奨にしている。

標準化の動き#

IETF で 2026 年初にワーキンググループがチャーターされた。standards-track 仕様は 2026-04、BCP(ベストプラクティス文書)は 2026-08 を目標としていた(2026-04 時点の予定)。

更新履歴#

2026-04-19: 初版(ローカル調査ノート)
2026-10-17: Wiki へ移植、概念ページとして再構成。ai/ と seo/ に分かれていた 2 ページを統合