El món ocult de la Deep Web

El web profund (originalment en anglès: deep web) és tot aquell contingut de la xarxa que no forma part de l'Internet superficial, és a dir, de les pàgines indexades pels motors de cerca de la xarxa. Aquest fet es deu a les limitacions que té la xarxa per a accedir a totes les pàgines web.

És, doncs, la impossibilitat dels motors de cerca de trobar o indexar gran part de la informació que hi ha a Internet.

No hi ha una xifra exacta de tota la informació que hi ha darrere la xarxa, però es creu que és 500 vegades superior a la que hi ha per davant, i a la qual tenim accés. Alguns dels motius pels quals el cercadors no són capaços d'indexar la informació de el web profund són:

Documents en formats no indexables

Enciclopèdies, diccionaris o revistes en què per a accedir a la informació es necessita estar registrat a la base de dades, com per exemple, la de la RAE.

Web contextual: el contingut d'aquestes pàgines depèn del context, per exemple, l'adreça IP o la seqüència de navegació.

Contingut dinàmic: aquelles pàgines que apareixen com a resposta a determinats paràmetres, com enquestes i formularis, o es generen en consultar una base de dades.

Contingut d'accés limitat o privat: pàgines que limiten el seu contingut a través de CAPTCHA o que requereixen contrasenya.

Contingut no HTML: contingut textual codificat en arxius multimèdia no suportats pels motors de cerca.

Software: contingut intencionadament amagat de la web superficial, només accessible a través de programes especials, com TOR o I2P.

Pàgines no enllaçades: com que no tenen enllaços des d'altres pàgines, impedeix que els web crawlers hi accedeixin.

Pàgines arxivades: aquelles que s'han tornat inaccessibles amb el temps, com per exemple les antigues versions de Youtube o Google, però que han estat emmagatzemades.

El contingut de la web profunda inclou recursos molt comuns com ara el correu electrònic, bancs en línia i els serveis que els usuaris han de pagar i que estan protegits per un paywall, com els vídeos sota demanda (per exemple Netflix, Hulu, o Prime Video) o revistes i diaris en línia, entre altres.

El contingut de la Deep Web es pot localitzar i accedir mitjançant una adreça URL o adreça IP directa, i és possible que es necessiti una contrasenya o un altre accés de seguretat que no són necessaris a les pàgines públiques.

A Migdia a COPE Catalunya hem parlat del tema amb el director de Community Internet, empresa digital afincada a Barcelona, Enrique Sanjuan (àudio).