Web Invisible
¿Que es una red invisible?
es lo que se ve en las páginas resultantes de los motores de búsqueda generales de la web.
Base de datos con opción de búsqueda...
La mayoría de la web invisible está
compuesta de contenidos de miles de bases de datos especializadas con opción de
búsqueda que se pueden buscar vía la web.
Páginas excluídas...
hay algunos tipos de páginas que las compañías de motores de búsqueda excluyen por política.
¿Cómo Encontrar la Web Invisible?
Es posible encontrar bases de datos con opción de búsqueda y otras cosas de la web invisible en el transcurso de búsquedas rutinarias en los directorios web más generales.
Los de valor particular en
investigación académica son:
-Librarians Index
AcademicInfo
Infomine
Los mejores directorios y listas de
bases de datos con opción de búsqueda en la web general...
Direct Search
Elaborada por un bibliotecario
académico con la investigación en
mente.
The Invisible WebCatalog
Búsqueda rápida de conceptos o
tópicos. Búsqueda avanzada
permite Boolean y otras
búsquedas.
Internets
Busca un concepto o tópico.
Mantener las búsquedas amplias.
IncyWincy
Colección de páginas web,
directorios y algunas bases de
datos con opción de búsqueda
obtenidas del "DMOZ Open
Directory".
Complete Planet
Búsquedas utilizando frases,
operadores Boolean y Stems.
1. Barreras técnicas:
Si la única manera de acceder
páginas web requiere que se mecanografíe algo o se examine una página y se
seleccione una combinación de opciones, los motores de búsqueda son incapaces
de proceder.
¿Por que?
Las bases de datos de los motores de búsqueda son creadas por programas robot llamados spiders (arañas), programas robot de computación que se
arrastran por la web buscando el contenido de los motores de búsqueda.
Categoría 1...
el contenido de bases de datos especializadas con opción de
búsqueda puede ser enteramente o parcialmente invisible o visible, dependiendo de cuánto está contenido en páginas estáticas con enlaces.
Ejemplos...
de sitios con bases de datos con opción de búsqueda incluyen a la mayoría de los motores de búsqueda como Google o Northern Light o
AltaVista.
categoria 2...
Spiders de los motores de búsqueda debido a que requieren mecanografiar algo que los spiders no
pueden "saber".
Utilice Google y otros motores de búsqueda para localizar bases de datos con opción de
búsqueda, utilizando un término que defina un tema y la palabra "database".
Yahoo
Yahoo! Utiliza el término para describir las bases de datos con opción de búsqueda en sus listados.
Ejemplos de Yahoo y Google...
plane crash database
languages database
toxic chemicals database
¿Por qué Algunas Páginas son Invisibles?
Hay dos razones por las cuales un motor de búsqueda no contiene una página.
1._ barreras
técnicas que prohiben el acceso.
2.-escogencias o decisiones para excluirla.
Páginas que el motor de búsqueda escoge excluir:
Formato de la página...
Los motores de búsqueda pueden escoger no incluir
páginas porque el formato del documento sería buscado raras veces o sin éxito por los usuarios del motor de búsqueda.
¿Por que?
Las bases de datos y spiders de los motores de búsqueda están optimizados para "leer" HTML, el lenguaje básico de la Web.
Categoria 3...
Las páginas formateadas en PDF y otras páginas escritas
utilizando muy poco o nada de texto HTML
Excepciones...
Google ahora tiene la habilidad de buscar el texto completo de muchos archivos PDF convirtiendo estos archivos a texto, y colocando el texto en
HTML de manera que pueda trabajar como una página web ordinaria en la base de datos de Google
Páginas basadas en SCRIPT...
Un script es un tipo de lenguaje de programación que puede ser utilizado para traer ir mostrar páginas web. Hay muchos tipos y usos de scripts en la Web.
Ellos pueden ser utilizados para crear toda o parte de una página web, y para comunicarse con bases de datos con
opción de búsqueda.
¿Por que?
Si los spiders encuentran un ? en una URL o enlace, están
programados para retirarse.
Ellos pobremente encuentran script escrito o "trampas
de araña" intencionales diseñadas para atrapar spiders (arañas).
Categoria 4...
Páginas basadas en script, que llevan un "chivato", en su
URL
Ejemplos...
bases de datos cuyos contenidos son generados
completamente en script: Google.
Un ejemplo...
un sitio que utiliza parcialmente scripts es Librarians'
Index.
La Ambigüedad Inherente a la Web Invisible...
Es muy difícil predecir qué sitios o tipos de sitios o porciones de sitios serán o no parte de la Web Invisible.
Hay variosfactores involucrados...
Cuáles sitios replican algunos de sus contenidos en páginas estáticas (híbridos de visible e invisible en alguna combinación).
- Cuáles replican todo (visible en los motores de búsqueda si se construye una búsqueda que coincida con la página).
- Cuáles no replican nada y deben ser buscadas directamente (totalmente invisible).
- A menudo no sabes si una página tiene un ? en su URL hasta después que la has encontrado de alguna manera (excluída por política).
- Los motores de búsqueda pueden cambiar sus políticas sobre qué excluir y qué incluir.
Saber Más Acerca de la Web Invisible...
Presentación clara de los aspectos básicos con bibliografía: Invisible Web de Liane Luckman.
Una discusión inteligente puede encontrarse en: Robert J. Lackie, Those Dark Hiding Places: The "Invisible Web" Revealed
Otros links de posible interés sobre la Web Invisible están disponibles bajo este tópico en About.com