AMS（エーエムエス）使い方マニュアル

クローラー設定上級者向け

robots.txtとは

robots.txtとは、検索エンジンのクローラー（ボット）に対して、ウェブサイト内のどのページにアクセスしてよいかを指示するためのテキストファイルです。

以下のような役割があります。

クロールの制御

重要度の低いページや自動生成される重複ページへのアクセスを防ぎ、サーバーの負荷を軽減します。

クロールバジェットの最適化

大規模サイトで重要なページが優先的に巡回されるように促します。

AIクローラー対策

AI学習用のボットなど、特定のクローラーのアクセスを制限するためにも使用されます。

llms.txt設定上級者向け

llms.txtとは

llms.txtとは、大規模言語モデル（LLM）やAIエージェントにウェブサイトの情報を効率よく伝えるための、Markdown形式で作られたテキストファイルのことです。

目的

AIがサイトの構造や主要なコンテンツを素早く把握できるようにする。

robots.txtとの違い

robots.txt：検索エンジンのクローラーに対して「クロールしてよいか」を制御する（プレーンテキスト）。

llms.txt：AIエージェントやLLMに向けて「重要なコンテンツやロードマップ」を提示する（Markdown形式）。