デフォルトでは、このクローラは、自動クロールを設定したほうがよいページについて、ウェブ サーバーの推奨値に従います。この推奨値以外の値を使用するには、[目的のサイトのロボット排除プロトコルに従う] チェック ボックスをオフにします。
一般に、このような推奨値を設定することで、不要なコンテンツがポータルに取り込まれないようにすることができます。ただし、一部のサイトでは厳密な推奨値が設定されています。クローラがサイトからコンテンツをインポートしない場合は、このオプションをオフにしてください。
デフォルトでは、このクローラはウェブ サイトのソースで使用される場合、インポートされたウェブ ページの URL を保存します。URL を小文字に変換するには、[すべての URL を小文字に変換] を選択します。
あるウェブ サイトのエリアからコンテンツをインポートしないようにする、または特定のページをインポートしないようにするには:
コンテンツをインポートしないエリアを指定するには、
[除外の追加] をクリックします。次に、インポートしないウェブ サイトのエリアへの URL を入力します。
ワイルドカード記号 (*) を使用すると、この除外をより広範囲に実行することができます。たとえば、あるサイトからセールス情報を取り込まないようにするには、「http://mycompany.com*sales」と入力します。すると、このクローラには mycompany.com から、URL に "sales" が含まれるページがインポートされなくなります。
注意: ワイルドカードは、該当するテキストの前または後に付けます。たとえば、「sales」と指定した場合、クローラは、URL 内に "sales" が含まれるターゲット URL でアクセス可能な いかなるサイトからもページをインポートしません。
重要: 除外と挿入をリストした場合、除外は挿入ページにのみ適用されます。たとえば、sales を除外し、http://mycompany.com を含める場合、クローラは URL 内に "sales" が含まれるページを除くすべてのページを、http://mycompany.com からインポートします。除外を削除するには、削除する除外のチェック ボックスをオンにして、
をクリックします。 除外のチェック ボックスをすべてオンまたはオフにするには、[除外] の左側にあるチェック ボックスをオンまたはオフにします。
デフォルトで、このクローラは除外で指定されたページのクロールまたはインポートを行いません。クローラで、除外されたページのリンクから、除外されておらず、ページをインポートする必要があるページを選択する場合は、[除外されたページをクロールするが、インポートしない] を選択します。
クロールの対象をあるウェブ サイトのエリアまたは特定のページに制限するには:
クロール対象を指定するには、
[挿入の追加] をクリックします。次に、クロールを制限するウェブ サイトのエリアへの URL を入力します。ウェブ サイトには他のサイトへのリンクを含めることができます。クローラを特定のサイトに設定するには挿入を使用することができます。その他のサイトをクロールしないようにするには、クロール対象とするサイトの基本 URL (例: http://mycompany.com) を挿入リストに追加します。
ワイルドカード記号 (*) を使用すると、この挿入をより広範囲に実行することができます。たとえば、シングル サインオン (SSO) の情報だけをクロールする場合は「http://mycompany.com*sso」と指定します。すると、このクローラは mycompany.com から、URL に "sso" が含まれるページだけをインポートするようになります。
注意: ワイルドカードは、該当するテキストの前または後に付けます。たとえば、「sso」と指定した場合、URL 内に "sso" が含まれるターゲット URL でアクセス可能なすべてのサイトからページをインポートします。
重要: 除外と挿入をリストした場合、除外は挿入ページにのみ適用されます。たとえば、http://mycompany.com を含め、sso を除外した場合、クローラは URL 内に "sso" が含まれるページを除くすべてのページを、http://mycompany.com からインポートします。挿入を削除するには、削除する挿入のチェック ボックスをオンにして、
をクリックします。挿入のチェック ボックスをすべてオンまたはオフにするには、[挿入] の左側にあるチェック ボックスをオンまたはオフにします。