Um 85 milljarðar vefsíðna

Ég bendi áhugafólki um vefinn (og afritun hans) að kíkja á The Internet Archive. Þetta er frábært verkefni sem Brewster Kahle setti á koppinn árið 1996. Kahle þessi hafði hagnast nokkuð á sölu fyrirtækja og þótti við hæfi að setja á laggirnar þjónustu sem safnaði saman 'öllu' efni netsins, þ.e. markmiðið var að taka afrit af Internetinu :) svona frómt frá sagt. Þetta metnaðarfulla markmið náðist auðvitað aldrei, en það er líka allt í lagi að setja markið hátt.

Síðustu magntölur segja að árið 2006 hafi gagnamagnið numið 2 petabætum og fitnað um 20 terabæti mánaðarlega. Til samanburðar fitnaði grunnurinn um 12 terabæti mánaðarlega árið 2003. Í grunninum er að finna afrit af 85 milljörðum vefsíðna ásamt megninu af tengdri grafík. Það má jafnvel finna gamlar kvikmyndir í fullri lengd þarna. Þess má geta að árið 2002 fóru forráðamenn IA að kröfu lögmanna Vísindakirkjunnar og fjarlægðu mikinn fjölda vefsíðna sem fjölluðu um kirkjuna, iðulega í óþökk eigenda þeirra og höfunda. Þannig hefur starfsemin ekki verið algjörlega óumdeild, en reynt hefur verið að gæta þess að innihald gagnageymslur IA gefi sem réttasta mynd af efni Netsins á hverjum tíma.

IA er frá upphafi verið skilgreint sem bókasafn og stendur nú fræðimönnum til boða án endurgjalds, sem og netverjum öllum. Ég skora á lesanda þessa bloggs að hverfa aftur í tímann og kíkja á eftirfarandi heimildir úr hirzlum IA:

• mbl.is
• visir.is
• fjolnet.is
• torg.is
• google.com (25 milljón vefsíður!)
• apple.com
• microsoft.com
• fyrstu vefþreifingar skrifara :)

Respice, adspice, prospice :)

Landsbókasafn hefur safnað .is-vefefni

Athugasemdir

[Þórhildur Daðadóttir, 13.6.2008 kl. 10:20]

Þetta er afskaplega göfugt markmið. Því afhverju ætti internetið ekki að vera til á safni líka?

Fróðlegur pistill og mjög gagnalegur.

[Morten Lange, 13.6.2008 kl. 17:20]

web.archive.org er snilld.  Stundum er samt of mikið álag á vefþjónunum eða kerfinu , og notagildidð tímabundið takmarkað.  Svo kemur fyrir að síður sem fyrst virðist vera til staðar ekki eru tiltækar.

Gott að heyra þetta sem þú segir um að IA ekki eyða neinu, ibwolf.  En ég reikni með að þeir sem vilja "verja sér", og stjórna eigin vefþjónana   nota einfaldlega robots.txt   til að stoppa leitarvélar og IA eftir sínu höfði.