Innehållsförteckning:
Definition - Vad betyder Spider?
I samband med Internet är en spindel en specialiserad programvara utformad för att systematiskt genomsöka och surfa på webben vanligtvis i syfte att indexera webbsidor för att ge dem som sökresultat för användarsökfrågor. Den mest kända av sådana spindlar är Googlebot, Googles viktigaste sökrobot, som hjälper till att se till att relevanta resultat returneras för sökfrågor.
Spindlar är också kända som webbsökare, sökbots eller helt enkelt bots.
Techopedia förklarar Spider
En spindel är i huvudsak ett program som används för att skörda information från World Wide Web. Den kryper genom sidorna på webbplatser som extraherar information och indexerar den för senare användning, vanligtvis för sökmotorsresultat. Spindeln besöker webbplatser och deras sidor genom de olika länkarna till och från sidorna, så en sida utan att en enda länk går till den kommer att vara svår att indexera och kan rankas riktigt lågt på sökresultatsidan. Och om det finns många länkar som pekar på en sida, skulle det innebära att sidan är populär och att den skulle se högre upp i sökresultaten.
Steg som är involverade i webbsökning:
- Spindeln hittar en webbplats och börjar genomsöka sina sidor.
- Spindeln indexerar webbplatsens ord och innehåll.
- Spindeln besöker länkarna på webbplatsen.
Spindlar eller webcrawlers är bara program och som sådana följer de systematiska regler som fastställts av programmerarna. Ägare av webbplatser kan också komma in på detta genom att berätta spindeln vilka delar av webbplatsen som ska indexeras och vilka inte ska. Detta görs genom att skapa en "robots.txt" -fil som innehåller instruktioner för spindeln angående vilka delar som ska indexeras och länkar att följa och vilka de ska ignorera. De viktigaste spindlarna där ute är sådana som ägs av stora sökmotorer som Google, Bing och Yahoo, och de som är avsedda för data mining och forskning, men det finns också några skadliga spindlar skrivna för att hitta och samla e-postmeddelanden för användaren att sälja till företag eller för att hitta sårbarheter inom webbsäkerhet.
