FIIT STU - WPUB 2021 - P4 - Crawlery, SEO

Zhrnutie prednášky

Štvrtá prednáška z Webového publikovania sa venuje webovým crawlerom a optimalizácii webu pre vyhľadávače (SEO). Prvá časť vysvetľuje, že crawler je bot systematicky prechádzajúci web za účelom indexovania; začína z definovaných počiatočných URL a rekurzívne sleduje odkazy do hĺbky alebo do šírky. Prednášajúci opisuje typické problémy: zacyklenie a opakované prechádzanie tých istých stránok, GET parametre s číselnými ID (príklad úniku dát z databázy NCZI), duplicitný obsah a responzívne obrázky v rôznych rozlišeniach. Crawler potrebuje pravidlá o tom, ktoré URL a domény prechádzať, ako často ich navštevovať, ako sa správať slušne a ako paralelizovať prácu, pričom prísne pravidlá môžu nechcene vynechať cenný obsah. Na záver rozoberá fokusované crawlovanie zamerané na konkrétnu tému. Druhá časť prednášky sa má venovať SEO.

• - Crawler (spider, bot) je program, ktorý systematicky prechádza web a indexuje jeho obsah.
• - Funguje rekurzívne: začína z definovaných URL a sleduje nájdené odkazy do hĺbky alebo do šírky.
• - Základné problémy: zacyklenie, opakované prechádzanie tých istých stránok a nekonečný rozsah webu.
• - GET parametre s číselnými ID a duplicitný obsah, vrátane responzívnych obrázkov, komplikujú crawlovanie a ukladanie.
• - Crawler potrebuje pravidlá pre URL, domény, frekvenciu návštev, slušné správanie a paralelizáciu; príliš prísne pravidlá môžu vynechať cenný obsah.
• - Ani najväčšie vyhľadávače nepoznajú celý indexovateľný web.
• - Fokusované crawlovanie ukladá len stránky súvisiace s hľadanou témou, napríklad podľa kľúčových slov.
• - Druhá časť prednášky je venovaná SEO, teda optimalizácii webu pre vyhľadávače.

Zhrnutie pripravené s pomocou AI z prepisu videa.