どの方法を使用してクローラをブロックすればよいですか?
場合によって変わります。つまり、それぞれの方法に長所があります。 * **robots.txt**: コンテンツのクロールによってサーバーで問題が発生する場合に使用します。たとえば、無限カレンダー スクリプトをクロールさせないような場合です。非公開コンテンツのブロックや正規化の処理には robots.txt を使用しないでください(非公開コンテンツのブロックにはサーバー側での認証を使用してください)。URL をインデックスに登録しないようにする必要がある場合は、robots メタタグまたは `X-Robots-Tag` HTTP ヘッダーを使用します。 * **robots メタタグ**: 個別の HTML ページの検索結果での表示方法を制御する必要がある場合(またはページが表示されないようにする場合)に使用します。 * **`X-Robots-Tag` HTTP ヘッダー**: 検索結果での非 HTML コンテンツの表示方法を制御する必要がある場合(またはページが表示されないようにする場合)に使用します。