検索エンジンボットがサイト上のどのパスをクロールできるか、できないかを設定します。
数秒でサイトマップ参照とカスタムDisallowルールを追加できます。
WebマスターとSEOスペシャリスト向けのダウンロード可能なrobots.txt出力です。