Τι ανακοίνωσε η Google
Η Google Search Central δημοσίευσε στις 11 Νοεμβρίου 2026 ανάρτηση με τίτλο για τη μετακίνηση σε CDN (content delivery network, δίκτυο διανομής περιεχομένου) χωρίς να υπερφορτωθεί ο origin server ή να μπλοκαριστεί ο Googlebot. Το θέμα καλύπτει και το πέμπτο επεισόδιο της σειράς βίντεο The Non-Canonical Cabinet.
Όπως μεταδίδει το Search Engine Roundtable, το βίντεο είναι το τελευταίο της σειράς. Οι Gary Illyes και Cherry Prommawin συζητούν γιατί μια τέτοια μετάβαση μπορεί να αυξήσει ξαφνικά τη δραστηριότητα του Googlebot, γιατί μπορεί να πιεστεί ο origin server και πώς αποφεύγεται το κατά λάθος μπλοκάρισμα των crawlers. Το βίντεο διαρκεί λιγότερο από 10 λεπτά, σύμφωνα με το ίδιο δημοσίευμα.
Γιατί ανεβαίνει το crawling μετά το CDN
Η Google περιγράφει ότι το σύστημα crawling υπολογίζει το όριο χωρητικότητας ενός ιστότοπου (hostload) με βάση την υγεία και την ανταπόκριση του server. Όταν οι απαντήσεις αργούν, οι crawlers επιβραδύνουν. Όταν είναι γρήγορες και σταθερές, το όριο ανεβαίνει σταδιακά, εφόσον υπάρχει ζήτηση για crawling.
Μόλις το DNS δείξει σε ένα γρήγορο δίκτυο edge του CDN, οι χρόνοι σύνδεσης και απόκρισης πέφτουν απότομα. Για τα συστήματα της Google αυτό μοιάζει με σημαντική αναβάθμιση υλικού, και ο ρυθμός αιτημάτων αυξάνεται ανάλογα. Η Google σημειώνει ότι η αύξηση δεν είναι άμεση και ότι πολλά CDN έχουν ενσωματωμένο έλεγχο ρυθμού που εξομαλύνει τις αιχμές.
Το πρόβλημα της άδειας cache και των bots
Ένα καινούργιο CDN έχει «κρύα» cache. Στο πρώτο αίτημα για ένα URL σε έναν edge server δεν υπάρχει αντίγραφο, οπότε ο server ζητά την απάντηση από τον origin, την αποθηκεύει και μετά την σερβίρει. Μόνο τα επόμενα αιτήματα εξυπηρετούνται από την cache. Το Search Engine Roundtable δίνει ως παράδειγμα έναν Googlebot που ξεκινά να σαρώνει 100.000 μοναδικά URLs που δεν έχουν ακόμη αποθηκευτεί.
Η Google τονίζει ότι οι επισκέπτες συγκεντρώνονται σε λίγες δημοφιλείς σελίδες που ζεσταίνονται γρήγορα, ενώ οι crawlers εξερευνούν συστηματικά ολόκληρο το φάσμα των URLs. Γι' αυτό, μέχρι να γεμίσει η cache, ο origin server εξακολουθεί να σηκώνει το βάρος.
Όταν οι διαχειριστές δουν την αιχμή, μπορεί να τη θεωρήσουν επίθεση και να ενεργοποιήσουν επιθετική προστασία από bots. Σύμφωνα με την Google, ένα τείχος προστασίας (WAF) που επιβάλλει CAPTCHA αποτυγχάνει να ξεχωρίσει τους crawlers που θέλει ο ιστότοπος, και ο Googlebot δεν μπορεί να περάσει το τεστ. Αν η ρύθμιση μείνει, οι crawlers υποχωρούν και σελίδες, καταχωρίσεις προϊόντων και άλλο περιεχόμενο αρχίζουν να εξαφανίζονται από την Αναζήτηση.
Τι προτείνει η Google να γίνει
Η Google συνιστά, αν χρειάζεται μπλοκάρισμα bots, να επιτρέπονται οι επαληθευμένοι bots στις ρυθμίσεις CDN και τείχους προστασίας. Οι περισσότερες μεγάλες υπηρεσίες έχουν σχετικό διακόπτη ή έτοιμο κανόνα, και οι crawlers της Google αναγνωρίζονται από τις δημοσιευμένες περιοχές IP. Εναλλακτικά, προτείνει στόχευση συγκεκριμένων ανεπιθύμητων bots μέσω του robots.txt (αρχείο που δίνει οδηγίες στους crawlers) ή μέσω κανόνων, αντί για μπλοκάρισμα όλων των αυτοματοποιημένων clients.
Δεύτερον, προτείνεται προθέρμανση της cache πριν περάσει όλη η κίνηση από το νέο CDN: ανάκτηση με ελεγχόμενο ρυθμό των σελίδων με τη μεγαλύτερη κίνηση, των σελίδων για επερχόμενες αιχμές και των URLs που σαρώνονται πιο συχνά. Τρίτον, αν ο origin πιέζεται ακόμη, ο server ή το CDN μπορεί να επιστρέφει προσωρινά κωδικό 429 (Too Many Requests) ή 503 (Service Unavailable), για λίγες ώρες ή το πολύ 1-2 ημέρες, όπως περιγράφεται στον οδηγό της Google για επείγουσα μείωση του crawl rate.
Το Search Engine Roundtable συνοψίζει την ίδια προσέγγιση σε πέντε βήματα: προετοιμασία της cache, άδεια στους επαληθευμένους crawlers, επιλεκτικό μπλοκάρισμα κακόβουλων bots, περιορισμός ρυθμού αιτημάτων και παρακολούθηση της υγείας του server και του crawling. Σημειώνει επίσης ότι το περιεχόμενο προέρχεται κυρίως από τα έγγραφα βοήθειας της Google για το crawl rate και το crawl budget.
