Vad är en sökrobot? crawler funktionen "Yandex" och Google

Varje dag på Internet finns det en enorm mängd nya material för att skapa en webbplats uppdaterad gamla webbsidor, ladda upp bilder och videoklipp. Utan dolda från sökmotorer inte kunde hittas i World Wide Web, inget av dessa dokument. Alternativ som robotprogram vid varje given tidpunkt finns inte. Vad är en sökning robot, varför du behöver det och hur du använder?

Vad är en sökning robot

Band site (sökmotor) - det är ett automatiskt program som kan besöka de miljontals webbsidor snabbt navigera via Internet utan operatörsingripande. Bots är ständigt skanna utrymme av World Wide Web, hitta nya webbsidor och besöker regelbundet redan indexeras. Andra namn för sökrobotar spindlar, sökrobotar, bots.

Varför är sökrobotar

De viktigaste funktionerna som utför sökrobotar - webbsidor indexeras samt text, bilder, ljud och videofiler som finns på dem. Bots kontrollera referenser, spegelplatser (kopior) och uppdateringar. Robotarna utför också HTML-kod kontroll för standarder överensstämmelsen hos Världsorganisationen, som utvecklar och implementerar tekniska standarder för World Wide Web.

Vad är indexering, och varför det behövs

Indexering - är i själva verket är processen att besöka en viss webbsida genom sökmotorer. Programmet skannar text på denna webbplats, bilder, video, utgående länkar, då sidan visas i sökresultaten. I vissa fall kan platsen inte skannas automatiskt, då det kan läggas till sökmotorn manuellt webmaster. Normalt sker detta i frånvaro av externa länkar till en viss (ofta först på senare tid skapat) sida.

Hur sökrobotar

Varje sökmotor har sin egen bot med Google-sökning roboten kan variera kraftigt beroende på mekanismen fungerar på ett liknande program, "Yandex" eller andra system.

I allmänhet är en robot arbetssätt enligt följande: programmet "kommer" på platsen och externa länkar från huvudsidan "läser" webbresurs (inklusive dem som söker overhead som inte ser användaren). Båt är hur man navigerar mellan sidor på en webbplats och gå vidare till andra.

Programmet kommer att välja vilken plats att indexera? Oftare än inte "resa" spindeln börjar med nyhetssidor eller större resurs kataloger och sammanställare med stora referensvikten. Band skannar kontinuerligt sidorna en efter en, på hastigheten och konsistens indexera följande faktorer:

• Interna: perelinovka (interna länkar mellan sidor på samma resurs), plats storlek, rätt kod, användarvänliga och så vidare;
• Extern: den totala referensvikten som leder till platsen.

Det första sökandet robot sökningar på en webbplats av robots.txt. Ytterligare resurser indexering utförs baserat på den mottagna informationen är från detta dokument. Den här filen innehåller specifika instruktioner för "spindlar" som kan öka risken för sidbesök av sökmotorer, och därmed uppnå en tidig hit plats i "Yandex" eller Google.

Program-analoger sökrobotar

Ofta termen "Sök robot" är förväxlas med intelligent, användare eller autonoma agenter, "myror" eller "maskar". Nedsänkta signifikanta skillnader bara i jämförelse med agenter, andra definitioner hänvisar till liknande typer av robotar.

Till exempel, kan medel vara:

• intellektuell: programmet som flyttas från plats till plats, oberoende besluta hur man ska gå, de är inte så vanligt på Internet;
• Autonoma: Dessa medel hjälper användaren att välja en produkt, söka eller fylla i blanketter, de så kallade filter, som är lite relaterade till nätverksprogram,.
• Användare: Programmet bidrar till användarinteraktion med World Wide Web, en webbläsare (till exempel Opera, IE, Google Chrome, Firefox), budbärare (Viber, telegram) eller e-postprogram (MS Outlook och Qualcomm).

"Myror" och "maskar" är mer lik sökmotorn "spindlar". Den första formen mellan ett nätverk och konsekvent interagera som denna ant koloni, "maskar" är i stånd att replikera i andra avseenden samma som standard crawler.

Mängd sökmotorrobotar

Skilj mellan många olika typer av sökrobotar. Beroende på syftet med programmet, de är:

• "Mirror" - dubbletter bläddrar webbplatser.
• Mobile - fokus på mobila versioner av webbsidor.
• Quick - snabbt fixa ny information genom att visa de senaste uppdateringarna.
• Referens - referensindex, räkna sina siffror.
• Indexe olika typer av innehåll - särskilda program för text, ljud, video, bilder.
• "Spionprogram" - söker sidor som ännu inte visas i sökmotorn.
• "Woodpecker" - regelbundet besöka webbplatser för att kontrollera deras relevans och effektivitet.
• National - surfa på webben resurser som finns på en av domänerna länder (t.ex. .mobi eller .kz .ua).
• Global - index alla nationella webbplatser.

Robotar stora sökmotorerna

Det finns också några sökrobotar. I teorin kan deras funktionalitet variera kraftigt, men i praktiken programmen är nästan identiska. De viktigaste skillnaderna indexerar webbsidor robotar två stora sökmotorerna är som följer:

• Stringens testning. Man tror att mekanismen för larv "Yandex" något striktare bedömningar plats för överensstämmelse med normerna i World Wide Web.
• Bevarande av integriteten av webbplatsen. Googles sökrobot indexerar hela webbplatsen (inklusive medieinnehåll), "Yandex" kan också visa innehåll selektivt.
• Speed Test nya sidor. Google lägger ny resurs i sökresultaten inom några dagar, när det gäller "av Yandex" process kan ta två veckor eller mer.
• Frekvensen av re-indexering. Band "Yandex" söka efter uppdateringar två gånger i veckan, och Google - en var 14 dagar.

Internet är naturligtvis inte begränsad till de två sökmotorer. Andra sökmotorer har sina robotar som följer sina egna indexering parametrar. Dessutom finns det flera "spindlar" som är utformade inte stora resurser sökning och enskilda grupper eller webmasters.

vanliga missuppfattningar

Tvärtemot vad många tror, "spindlar" inte bearbeta information. Programmet genomsöker bara och lagrar webbsidor och vidareförädling tar en helt annan robotar.

Även många användare tror att sökrobotar ha en negativ inverkan och "skadlig" Internet. I själva verket kan vissa versioner av "spindlar" väsentligt överbelasta servern. Det finns också en mänsklig faktor - webmastern, som skapade programmet kan göra misstag i robotens konfiguration. Men de flesta av de befintliga programmen är väl utformade och professionellt skött, och eventuella nya problem omedelbart.

Hur man hanterar indexeringen

Sökmotor robotar är automatiserade program, men indexeringen kan delvis kontrolleras av webmaster. Detta bidrar i hög grad externa och interna optimering av resursen. Dessutom kan du manuellt lägga till en ny webbplats till en sökmotor: stora resurser har en speciell form av webbsidor registrering.