Obsah:
Definice - Co znamená Spider?
V souvislosti s internetem je pavouk specializovaný software určený k systematickému procházení a procházení webu, obvykle za účelem indexování webových stránek, aby je poskytoval jako výsledky vyhledávání pro vyhledávací dotazy uživatelů. Nejslavnější z těchto pavouků je Googlebot, hlavní prohledávač Google, který pomáhá zajistit, aby byly pro vyhledávací dotazy vráceny relevantní výsledky.
Pavouci jsou také známí jako webové prohledávače, vyhledávací roboti nebo jednoduše roboti.
Techopedia vysvětluje Spider
Pavouk je v podstatě program používaný ke sběru informací z webu. Prochází stránkami webových stránek, které extrahují informace a indexují je pro pozdější použití, obvykle pro výsledky vyhledávačů. Pavouk navštěvuje webové stránky a jejich stránky prostřednictvím různých odkazů na stránky a ze stránek, takže stránka bez jediného odkazu na ni bude obtížné indexovat a na stránce s výsledky vyhledávání může být hodnocena opravdu nízko. A pokud na stránku odkazuje mnoho odkazů, znamenalo by to, že je stránka populární a ve výsledcích vyhledávání by se objevila výše.
Kroky zapojené do procházení webu:
- Pavouk najde web a začne procházet jeho stránky.
- Pavouk indexuje slova a obsah webu.
- Pavouk navštíví odkazy nalezené na webu.
Pavouci nebo webcrawlers jsou jen programy a jako takové dodržují systematická pravidla stanovená programátory. Majitelé webových stránek se k tomu také mohou dostat tím, že řeknou pavoukovi, které části webu mají indexovat a které by neměly. To se provádí vytvořením souboru „robots.txt“, který obsahuje pokyny pro pavouka ohledně toho, které části se mají indexovat a odkazy sledovat a které by měly ignorovat. Nejvýznamnější pavouci tam jsou ti, kteří jsou ve vlastnictví hlavních vyhledávačů, jako je Google, Bing a Yahoo, a ti, kteří jsou určeny pro těžbu dat a výzkum, ale jsou zde také psány nějaké škodlivé pavouky, aby našel a sbíral e-maily pro uživatele k prodeji společnostem nebo najít zranitelnosti v zabezpečení webu.
