De forma predeterminada, el rastreador sigue las
recomendaciones del servidor Web sobre las páginas que pueden resultar
valiosas para los rastreadores automáticos. Si desea omitir estas recomendaciones,
desactive la casilla de verificación Obedecer
los protocolos de exclusión de robots del sitio de destino.
En general, estas recomendaciones contribuyen a limitar el contenido
no deseado que se rastrea en el portal. Sin embargo, algunos sitios ofrecen
unas recomendaciones muy estrictas. Si el rastreador no importa ningún
contenido de un sitio, intente desactivar esta opción.
De forma predeterminada, el rastreador guarda las direcciones URL a las páginas Web importadas con las mayúsculas y minúsculas utilizadas en el sitio Web fuente. Para cambiar las direcciones URL a minúsculas, seleccione Convertir todas las direcciones URL a minúsculas.
Para evitar la importación de contenido de un área de un sitio Web o la importación de determinadas páginas:
Para especificar un área que se excluirá, haga clic en
Agregar
exclusión; a continuación, en el cuadro de texto, escriba la URL
al área del sitio Web que desea evitar.
Puede utilizar la notación de caracteres comodín (*) para que la exclusión sea más general. Por ejemplo, para evitar el rastreo de información de ventas de un sitio, podría escribir http://miEmpresa.com*ventas. Como resultado, el rastreador no importará las páginas de miEmpresa.com que tengan “ventas” en cualquier parte de la URL.
Nota: los caracteres comodín se supone que están en algún lado del texto. Por ejemplo, si escribe ventas, el rastreador no importará páginas de ningún sitio al que se pueda acceder desde la URL de destino y tenga “ventas” en cualquier parte de la URL.
Importante: si indica exclusiones e inclusiones, las exclusiones sólo se aplicarán a las páginas incluidas. Por ejemplo, si excluye ventas e incluye http://miEmpresa.com, el rastreador importará todas las páginas de http://miEmpresa.com excepto las que tengan “ventas” en cualquier parte de la URL.Para quitar una exclusión, selecciónela y haga clic en
.Para activar o desactivar todas las casillas de verificación de exclusiones, active o desactive la casilla situada a la izquierda de Exclusiones.
De forma predeterminada, el rastreador no rastrea ni importa las páginas especificadas en las exclusiones. Si el rastreador va a acceder desde un vínculo de una página excluida a una página que no está excluida y se debe importar, elija Rastrear páginas excluidas, pero no importarlas.
Para limitar el rastreo a un área de un sitio Web o a determinadas páginas:
Para especificar dónde puede rastrear este rastreador, haga clic en
Agregar inclusión; a continuación, en el cuadro de
texto, escriba la URL al área del sitio Web a la que desea restringir
el rastreo. Como los sitios Web pueden contener vínculos a otros sitios,
puede utilizar inclusiones para mantener el rastreador en un determinado
sitio. Para evitar el rastreo de otros sitios, agregue la URL base del
sitio que desea rastrear a la lista de inclusiones; por ejemplo, http://miEmpresa.com.
Puede utilizar la notación de caracteres comodín (*) para que la inclusión sea más general. Por ejemplo, si desea rastrear únicamente información sobre el inicio de sesión único (SSO), puede escribir http://miEmpresa.com*sso. Como resultado, el rastreador importará las páginas de miEmpresa.com que tengan “sso” en cualquier parte de la URL.
Nota: se suponen caracteres comodín a ambos lados del texto. Por ejemplo, si escribe sso, el rastreador no importará ninguna página de ningún sitio al que se pueda acceder desde la URL de destino que tenga “sso” en la URL.
Importante: si indica inclusiones y exclusiones, las exclusiones sólo se aplicarán a las páginas incluidas. Por ejemplo, si incluye http://miEmpresa.com y excluye sso, el rastreador importará todas las páginas de http://miEmpresa.com excepto las que tengan “sso” en cualquier parte de la URL.Para quitar una inclusión, selecciónela y haga clic en
.Para activar o desactivar todas las casillas de verificación de inclusiones, active o desactive la casilla situada a la izquierda de Inclusiones.