Feltérképezési keret (crawl budget) nagy oldalaknál

Mi a feltérképezési keret (crawl budget)?

Fontos tisztázni: a feltérképezési keret nem rangsorolási tényező. Attól, hogy egy oldalt gyakrabban térképez fel a robot, még nem kerül előrébb a találatokban. A keret arról szól, hogy a fontos oldalaid egyáltalán és időben bekerülnek-e a feldolgozásba - különösen igaz ez a gyakran változó tartalmaknál.

A Google maga is jelezte, hogy a legtöbb webhelynek nem kell foglalkoznia a feltérképezési kerettel. Ha néhány száz vagy néhány ezer oldalad van, a robot gond nélkül eljut mindenhová. A téma ott válik igazán fontossá, ahol az URL-ek száma tízezres vagy százezres nagyságrendű.

Kinek számít valójában a feltérképezési keret?

A feltérképezési keret elsősorban a nagy webhelyeknél szűk keresztmetszet. Egy néhány tucat oldalas bemutatkozó weboldalnál gyakorlatilag sosem az. A határ nagyjából ott húzódik, ahol a webhely szerkezete olyan bonyolulttá válik, hogy a robot nem tud minden fontos oldalt kellő gyakorisággal meglátogatni.

• Nagy webshopok több tízezer termék-, kategória- és szűrő-URL-lel.
• Hírportálok és nagy blogok, ahol naponta sok új és frissülő oldal keletkezik.
• Adatbázisból generált oldalak (állások, ingatlan, katalógusok) sok paraméterrel.
• Régi, elhanyagolt webhelyek rengeteg elavult vagy törött URL-lel.

A közös bennük, hogy sok URL-t termelnek, amelyek jelentős része alacsony értékű vagy duplikált. Ilyenkor a robot a keret nagy részét felesleges oldalakra pazarolja, a fontosak pedig ritkábban frissülnek az indexben. A fenti ábra épp ezt a torzulást szemlélteti a keret két összetevőjén keresztül.

Feltérképezési kereslet és kapacitás

A feltérképezési kapacitás azt jelzi, mennyi kérést bír el a szervered anélkül, hogy lelassulna vagy hibázna. Ha a szerver gyors és stabil, a kereső bátrabban térképez; ha lassú vagy sokszor hibázik, a robot visszafogja magát, hogy ne terhelje túl. A gyors, megbízható tárhely tehát közvetve tágítja a keretet.

Mi növeli a feltérképezési keresletet?

A kereslet oldalt az dönti el, mennyire tartja a kereső fontosnak és frissnek a tartalmadat. A népszerű, sokat hivatkozott és gyakran frissülő oldalakat a robot sűrűbben látogatja. Ezzel szemben a régóta változatlan, kevés hivatkozású oldalak keresletet veszítenek, és ritkábban kerülnek sorra.

Ebből következik a legfontosabb tanulság: a keretet nem közvetlenül állítod, hanem közvetve befolyásolod. Gyors szerverrel a kapacitást, értékes és jól hivatkozott tartalommal pedig a keresletet emeled - és a kettő együtt adja a valós feltérképezést.

Mi pazarolja el a feltérképezési keretet?

A keret pazarlásának legfőbb forrása a felesleges URL-ek tömege. Ezek olyan címek, amelyeket a robot feltérképez, de nincs önálló értékük, vagy megegyeznek egy másik oldallal. Minél több ilyen URL-t talál a robot, annál kevesebb erőforrás jut a valóban fontos oldalakra.

• Szűrő- és rendezési paraméterek végtelen kombinációi (szín, méret, ár szerinti sorrend).
• Munkamenet-azonosítók és követőparaméterek az URL-ben.
• Duplikált tartalom kanonikus jelölés nélkül (például www és nem-www változatok).
• Végtelen naptárak, lapozás nélküli listák és automatikusan generált üres oldalak.
• Sok átirányítási lánc és lassú, hibázó (5xx) válaszok.

Ezek együtt olyan URL-tömeget hoznak létre, amelyet a robot végigjár, mielőtt a fontos oldalakhoz érne. A fenti trendábra jól mutatja, hogyan vonják el a duplikált és alacsony értékű címek a keretet - és hogy a tudatos tisztítással ez az arány visszaszorítható.

Hogyan segítsd a keresőt a fontos oldalaknál?

A cél nem a keret növelése, hanem a hatékony felhasználása: a robot a fontos oldalakra költse az erőforrást, ne a feleslegesekre. Ehhez a webhely szerkezetét kell tisztán tartani, és egyértelmű jelzéseket adni arról, mi fontos és mi nem. A legtöbb lépés egyszerre javítja a feltérképezést és a felhasználói élményt is.

A leghatásosabb lépések a gyakorlatban

• Kanonikus címkével jelöld meg a duplikátumok elsődleges változatát.
• A robots.txt-ben zárd ki a feltérképezésből az értéktelen paraméteres URL-eket.
• A noindex a keretet nem óvja meg (a robot előbb letölti), ezért a felesleges URL-ek keletkezését állítsd le.
• Javítsd a törött hivatkozásokat és rövidítsd le az átirányítási láncokat.
• Tartsd a fontos oldalakat kevés kattintásra a főoldaltól, erős belső linkeléssel.

A fenti ábra a hatékony feltérképezés rétegeit mutatja: a tiszta szerkezet a központból kifelé egyre jobban vezeti a robotot a fontos tartalomhoz. Minél kevesebb zsákutca és felesleges elágazás van, annál nagyobb hányad jut a valódi értékre.

robots.txt, noindex vagy kanonikus - mikor melyik?

Sokan összekeverik ezt a három eszközt, pedig más-más a szerepük. A robots.txt megtiltja a feltérképezést, tehát a robot le sem tölti az adott URL-t - ez óvja a keretet, de a már indexelt oldalt nem távolítja el. A noindex ezzel szemben engedi a letöltést, csak az indexelést tiltja, ezért a keretet nem védi meg.

A kanonikus címke a duplikátumok kezelésére való: megmondja a keresőnek, melyik változat az elsődleges. Ha egy paraméteres URL egyszerű duplikátum, a kanonikus a jó választás; ha viszont teljesen felesleges, végtelen kombináció, akkor a keletkezését érdemes megakadályozni vagy a robots.txt-ben kizárni.

A gyakorlati sorrend tehát: előbb a felesleges URL-ek keletkezését állítsd le, aztán a megmaradt duplikátumokat kanonizáld, és csak indokolt esetben nyúlj a robots.txt tiltáshoz. A noindexet a keret miatt sosem használd - arra való, hogy egy oldal ne jelenjen meg a keresőben, nem arra, hogy a robotot távol tartsd.

Naplóelemzés: mit csinál valójában a robot?

A legpontosabb kép a szerver naplófájljaiból (log) derül ki, mert ezek megmutatják, mely URL-eket, milyen gyakran és milyen válaszkóddal térképezett fel a robot. Ebből kirajzolódik, hogy a keret mekkora hányada megy felesleges oldalakra, és hol vannak a hibázó vagy lassú kérések. A naplóelemzés így a feltérképezés valós, nem feltételezett képét adja.

A Search Console feltérképezési statisztikái is sokat elárulnak: a napi kérések száma, az átlagos válaszidő és a válaszkódok megoszlása jó kiindulópont. Ha az 5xx hibák aránya nő, vagy a válaszidő romlik, az a kapacitás szűkülésének jele. Ilyenkor a szerver teljesítményén érdemes javítani, mielőtt a tartalmi munkába kezdenél.

Kis webhelynél is foglalkozzak vele?

Egy néhány tucat vagy néhány száz oldalas webhelynél a feltérképezési keret szinte sosem szűk keresztmetszet, ezért nem kell rá külön energiát fordítani. A robot bőven eljut minden fontos oldalra. Ilyenkor a tartalom minőségére és a belső szerkezetre érdemes figyelni, nem a keretre.

Ez viszont nem jelenti azt, hogy a tisztaság ne számítana. A törött hivatkozások, a duplikátumok és a felesleges paraméterek elkerülése kis oldalnál is jó gyakorlat, mert egyszerűbb, karbantarthatóbb webhelyet ad. A keret így nem lesz probléma akkor sem, ha a webhely idővel nagyra nő.

Hogyan mérd a feltérképezés hatékonyságát?

A feltérképezés hatékonyságát több jelből olvashatod ki. Az egyik, hogy a fontos, frissen módosított oldalaid milyen gyorsan frissülnek a keresőben. A másik, hogy a feltérképezési statisztikákban mennyi kérés megy valós, értékes URL-ekre a felesleges címekhez képest. A cél ennek az aránynak a folyamatos javítása.

Figyeld emellett a válaszkódok megoszlását és az átlagos válaszidőt is, mert ezek a kapacitás állapotát mutatják. Ha a fontos oldalak gyorsan frissülnek, és kevés kérés megy zsákutcákba, a keret hatékonyan hasznosul. Ne egyetlen napot nézz, hanem a több hetes tendenciát, mert az mutatja a valódi irányt.

Mikor érdemes szakértőt bevonni?

Ha a webhelyed több tízezer URL-t termel, és a fontos oldalak lassan vagy egyáltalán nem frissülnek az indexben, valószínűleg feltérképezési keret gond áll a háttérben. Egy technikai keresőoptimalizálás szakértő a naplóelemzésből pontosan megmutatja, hová megy a keret, és mely URL-tömeget kell először visszaszorítani. Ez a munka gyakran nagyobb hatású, mint bármelyik tartalmi finomítás.

Cégünk a nagy webhelyek feltérképezési kereten alapuló problémáit a szerkezet és az üzemeltetés felől közelíti: tiszta URL-rendszert, gyors kiszolgálást és erős belső linkelést építünk. Így a robot a fontos oldalakra költi az erőforrást, nem a zsákutcákra.

Ajánlott forrás: a Google fejlesztői útmutatója a feltérképezési keret kezeléséről.

Összegzés: a feltérképezési keret helyes kezelése

A feltérképezési keret a feltérképezési kereslet és a kapacitás közös eredménye, és nem rangsorolási tényező. A legtöbb kis és közepes webhelynél nem szűk keresztmetszet - igazán a több tízezer vagy több százezer URL-es oldalaknál számít, ahol a fontos tartalom időben frissülése a tét.

A keretet nem növelni kell, hanem hatékonyan felhasználni: állítsd le a felesleges URL-ek keletkezését, kanonizáld a duplikátumokat, javítsd a törött hivatkozásokat, és tartsd a fontos oldalakat kevés kattintásra. A robots.txt óvja a keretet, a noindex nem, a kanonikus pedig a duplikátumok kezelésére való - a három eszköz szerepét ne keverd össze.

A valós képet a naplóelemzés és a feltérképezési statisztikák adják: ezek mutatják, hová megy a keret és hol lassul a kapacitás. Ha nagy webhelyet üzemeltetsz, és a fontos oldalaid lassan frissülnek, egy technikai átvizsgálás megmutatja, mely URL-tömeget kell először visszaszorítani.