Archivio » 2004 » febbraio » mercoledì 18 »

Il crawler di Yahoo ha cominciato a lavorare

Scritto da Luigi Gavazzi

Il robot Slurp (eredità Inktomi) setaccia il Web e crea un nuovo indice della Rete. Intanto la ricerca di Yahoo.com ha definitivamente abbandonato la tecnologia di Google. Questa risponde aumentando ancore le pagine indicizzate e raddoppiando le immagini

Dopo che se ne è parlato a lungo, Yahoo ha messo in moto il suo nuovo motore di ricerca.

L’azienda, che intende guadagnare rapidamente terreno nel mercato dei search engine, ha infatti cominciato questa settimana a setacciare la rete con un nuovo robot di indicizzazione, chiamato Yahoo! *Slurp*, stesso nome del crawler di Inktomi, società acquistata lo scorso anno proprio per inquadrare Google nel mirino.

Super motori » Il meglio sulla ricerca

Come viene precisato nella pagina di Yahoo dedicata a Slurp, il crawler sta ispezionando i documenti presenti sul Web per creare l’indice che verrà usato per i servizi del motore di ricerca di Yahoo. Quindi, il tanto atteso index di Yahoo comincia a formarsi.

Slurp crea anche una sistema di cache delle pagine (aggirabile dal metatag “noarchive”), simile a quello a cui ci ha abituati Google. Il crawler rispetta gli standard “Robot Exclusion” quando si vuole evitare che il sito o alcune directory siano indicizzate. Mentre per escludere singole pagine dall’indicizzazione, si usa il metatag “noindex”.

Martedì 17 febbraio intanto, è stato il gran giorno del passaggio, almeno per il sito americano, della ricerca di Yahoo dalla tecnologia Google a quella propria, Inktomi. Gli utenti possono dunque già valutare le prestazioni del nuovo sistema. Per le varie versioni nazionali del portale il passaggio avverrà nelle prossime settimane.

Già martedì pomeriggio alcuni siti specializzati hanno cominciato a monitorare la fase di test del passaggio a Inktomi, evidenziando le differenze nei risultati fra il nuovo sistema e quelli restituiti da Yahoo con l’uso del “vecchio” Google.

Yahoo aveva annunciato lo scorso 19 gennaio l’avvio delle attività dei Yahoo Research Labs, guidati da Gary William Flake, il fondatore di Overture Research, l’unità di ricerca di Overture, anch’essa parte del portafoglio di Yahoo.

Nel frattempo, Google non sta certo a guardare. E per non lasciare tutta la scena alle novità di Yahoo, proprio in questi giorni ha annunciato l’ulteriore espansione dell’indice. Adesso i numeri sono: 4,28 miliardi di pagine web, 880 milioni di immagini, 845 milioni di messaggi Usenet, oltre alle pagine sul servizio collegato ai libri, [site:print.google.com].

In particolare, Sergey Brinn, ha segnalato l’incremento dell’indice delle immagini, ora raddoppiato, e, secondo il fondatore di Google, con una maggiore qualità nei risultati della ricerca e un’interfaccia leggermente più funzionale.