robots.txt

robots.txtロボッツドットテキスト書き方

robots.txtの目的 ロボッツドットテキストと読みます。 サイト内において、クローリングして欲しくないページやディレクトリがある場合、robots.txtに書き込んで検索エンジンクローラーへ通知します。 開発中のページはもちろん、問い合わせ完了後のサンキューページなどはインデックスして欲しくないですよね。 モビライズではソフトウェア上で簡単にrobots.txtを設定できます。マニュアルで設 […]