Det synliga Internet bara toppen av isberget

Sökmotorn Google hittar ungefär 1,4 miljarder webbsidor och 900 miljoner bilder. Det är mycket. Men Internet innehåller betydligt mer än de flesta – inklusive Google – tror. Förmodligen 500 gånger mer, över 700 miljarder webbsidor!

Enligt sökmotorexperter på kanadensiska Metamend är denna ”djupa webb” i själva verket den del av Internet som växer snabbast. Dessutom är dess innehåll ofta högst relevant och fokuserat.

Och det handlar inte om lösenordsskyddade, dolda sidor. De räknas inte hit. Det är helt andra saker som lurar sökmotorerna. Det finns till exempel rätt många webbplatser som aldrig är anmälda till sökmotorer eller andra index och inte heller har några länkar till sig. De kan växa hur stora som helst utan att sökmotorerna hittar dem. Det finns också sidor som inte alls vill bli indexerade och blockerar sökrobotarnas nosande.

Lika svårt har sökrobotarna för helt grafiska sidor, helt byggda i Flash eller med allt innehåll i ”frames”. Sidor som bara nås via javascript-länkar. Och sidor som kräver ”cookies” för att alls visas – sökrobotarna accepterar nämligen inte cookies.

Ett växande problem är också ”dynamiska” sidor, där innehållet hämtas ur en databas och bara ”finns” just när någon tittar på det. När sökmotorerna indexerar nya sidor vill de nämligen dubbelkolla att sidan verkligen finns där – men när webbadressen ändras tolkar sökroboten det som att något var fel, och lämnar sidan åt sitt osökbara öde.

Här döljer sig till exempel stora delar av statistikdatabaser som SCB, dynamiskt uppdaterade sportsajter och många nya typer av forum – alltså webbplatser som kan ha högst seriös och aktuell information.

Å andra sidan är det kanske lika bra att denna typ av sidor inte indexeras fullt ut. Och att en sökning på ”statistik Sverige” pekar mot många olika källor och inte dränks av miljoner sidor från en enda jättedatabas…

Michael Nordvall

frilansjournalist

redaktionen@realtid.se