Definizione di Web Spidering e Web Crawler

I ragni sono programmi (o script automatizzati) che 'eseguono la scansione' attraverso il Web in cerca di dati. I ragni passano attraverso gli URL del sito web e possono trarre dati da pagine web come indirizzi e-mail. I ragni sono usati anche per alimentare le informazioni contenute nei siti web ai motori di ricerca.

I ragni, chiamati anche "web crawler", cercano il Web e non tutti sono amichevoli nel loro intento.

Spammers Siti Web per raccogliere informazioni

Google, Yahoo!

e altri motori di ricerca non sono gli unici interessati a eseguire la scansione di siti web - così sono truffatori e spammer.

Spider e altri strumenti automatizzati vengono utilizzati dagli spammer per trovare indirizzi e-mail (su Internet questa pratica viene spesso indicata come "raccolta") sui siti web e quindi utilizzata per creare elenchi di spam.

I ragni sono anche uno strumento utilizzato dai motori di ricerca per scoprire ulteriori informazioni sul tuo sito web ma lasciato indistrato; un sito web senza istruzioni (o "autorizzazioni") su come eseguire la scansione del tuo sito può presentare importanti rischi di sicurezza delle informazioni. I ragni passano seguendo i link e sono molto abili a trovare i collegamenti a database, file di programma e altre informazioni a cui non si desidera che abbiano accesso.

I webmaster possono visualizzare i log per vedere quali sono i ragni e gli altri robot che hanno visitato i loro siti. Queste informazioni aiuta i webmaster a sapere chi indica il loro sito e quanto spesso.

Queste informazioni sono utili perché permettono ai webmaster di ottimizzare il loro SEO e l'aggiornamento del robot. txt per impedire a determinati robot di eseguire la scansione del loro sito in futuro.

Consigli per proteggere il tuo sito web dai robot crawler indesiderati

C'è un modo piuttosto semplice per mantenere i crawler indesiderati dal tuo sito web. Anche se non siete preoccupati per i ragni dannosi che eseguono la scansione del tuo sito (obfuscando l'indirizzo email non ti proteggerà dalla maggior parte dei crawler), dovresti ancora fornire i motori di ricerca con importanti istruzioni.

Tutti i siti web devono avere un file situato nella directory principale chiamata un robot. txt file. Questo file ti permette di istruire i crawler web dove si desidera che guardino alle pagine di indice (salvo diversamente indicato in metadati di una pagina specifica per non essere indicizzati) se sono un motore di ricerca.

Proprio come puoi dire i crawler desiderati in cui vuoi che sfogliate, puoi anche dire loro dove non possono andare e bloccare anche i crawler specifici da tutto il tuo sito web.

È importante tenere a mente che un pozzo mette insieme i robot. Il file txt avrà un valore enorme per i motori di ricerca e potrebbe anche essere un elemento chiave per migliorare le prestazioni del tuo sito web, ma alcuni robot crawler ignoreranno le istruzioni. Per questo motivo, è importante mantenere sempre aggiornato tutto il software, i plugin e le applicazioni.

Articoli e informazioni correlate

A causa della prevalenza della raccolta di informazioni utilizzate a scopi aggressivi (spam), nel 2003 è stata adottata una legislazione per rendere illegali determinate pratiche. Queste leggi sulla protezione dei consumatori rientrano nell'ambito del CAN-SPAM Act del 2003.

È importante prendere tempo per leggere la legge CAN-SPAM se la tua attività è impegnata in qualsiasi mailing di massa o raccolta di informazioni.

Ulteriori informazioni sulle leggi antispam e su come affrontare gli spammer e ciò che tu come proprietario di un business non può fare, leggendo i seguenti articoli:

• CAN-SPAM Act 2003
• CAN- Regole di SPAM per i nonprofit
• 5 CAN-SPAM Regole per i proprietari di piccole imprese devono comprendere