Έλεγχος & επικύρωση robots.txt
Σύντομη απάντηση
Ελέγξτε το robots.txt σας: τους κανόνες, τη γραμμή sitemap, αν μια σελίδα επιτρέπεται να ανιχνευθεί και ποιοι AI crawlers μπορούν να τη διαβάσουν.
Τι δεν κάνει: Διαβάζει τους κανόνες όπως είναι γραμμένοι και δεν μπορεί να πει αν ένας crawler τους τηρεί· κάποιοι fetchers AI που ενεργούν κατόπιν αιτήματος χρήστη μπορεί να αγνοούν το robots.txt, και ο αποκλεισμός του crawling δεν αφαιρεί μια σελίδα από τα αποτελέσματα αναζήτησης.
Τι Κάνει
Ανακτά το `/robots.txt` σας και αναλύει κάθε οδηγία — ομάδες User-agent, κανόνες Allow/Disallow, Sitemap και Crawl-delay. Ελέγχει αν το URL που εισαγάγατε επιτρέπεται, χρησιμοποιώντας την ίδια προτεραιότητα «μεγαλύτερου ταιριάσματος» που χρησιμοποιούν οι πραγματικοί crawlers, και επισημαίνει ένα γενικό `Disallow: /`, μια απούσα οδηγία sitemap και ένα υπερμεγέθες αρχείο. Παραθέτει επίσης τους κύριους crawlers τεχνητής νοημοσύνης και τα tokens ελέγχου, δείχνει αν καθένας μπορεί να ανακτήσει αυτό το URL και εξηγεί τον σκοπό καθενός: εκπαίδευση μοντέλων AI, απαντήσεις αναζήτησης AI ή άνοιγμα μιας σελίδας όταν το ζητά ένας χρήστης.
Γιατί Έχει Σημασία
Ένα μεμονωμένο αδέσποτο `Disallow: /` μπορεί να σταματήσει τις μηχανές αναζήτησης από το να ανιχνεύσουν ολόκληρο τον ιστότοπο, και είναι εύκολο να δημοσιευτεί κατά λάθος από μια ρύθμιση staging. Οι crawlers AI προσθέτουν ένα δεύτερο ερώτημα: ο αποκλεισμός ενός crawler εκπαίδευσης δεν σας αφαιρεί από τις απαντήσεις αναζήτησης AI, αλλά ο αποκλεισμός ενός crawler αναζήτησης μπορεί — οπότε αξίζει να γνωρίζετε ποιο token κάνει τι.
Πώς Λειτουργεί
-
Εισαγάγετε το URL που θέλετε να ελέγξετε
-
Ανακτούμε το `/robots.txt` και αναλύουμε κάθε οδηγία
-
Ελέγχουμε αν αυτό το URL επιτρέπεται γενικά για crawlers και για κάθε crawler AI, χρησιμοποιώντας τους κανόνες προτεραιότητας που χρησιμοποιούν οι πραγματικοί crawlers
-
Επισημαίνουμε πλήρη αποκλεισμό ολόκληρου του ιστότοπου, αποκλεισμένο URL και απούσα οδηγία sitemap, και εξηγούμε κάθε crawler AI
Δείγμα εισόδου + εξόδου
url: https://rankproof.eu/tools
Το robots.txt φαίνεται εντάξει και δεν αποκλείει αυτή τη σελίδα. 100/100
Κατάσταση HTTP: 200 · Μέγεθος αρχείου: 5,3 KB · Ομάδες user-agent: 53 · Καθυστέρηση crawl: Δεν έχει οριστεί
Βρέθηκε robots.txt OK
Χωρίς συνολική απαγόρευση OK
Η σελίδα μπορεί να σαρωθεί OK
Υπάρχει οδηγία Sitemap OK
Μέγεθος αρχείου κάτω από 500KB OK
Προβλήματα που βρέθηκαν (10):
Βρέθηκε Disallow: / για τον user-agent «Bytespider» — αποκλείεται μόνο αυτό το crawler από ολόκληρο τον ιστότοπο, κάτι που συχνά είναι σκόπιμο.
Βρέθηκε Disallow: / για τον user-agent «Diffbot» — αποκλείεται μόνο αυτό το crawler από ολόκληρο τον ιστότοπο, κάτι που συχνά είναι σκόπιμο.
…
Crawlers τεχνητής νοημοσύνης: 13 από 13 AI crawlers επιτρέπεται να διαβάσουν αυτή τη σελίδα
GPTBot Επιτρέπεται OpenAI: συλλέγει σελίδες για την εκπαίδευση μοντέλων AI.
OAI-SearchBot Επιτρέπεται OpenAI: ευρετηριάζει σελίδες ώστε η αναζήτησή της με AI να τις εμφανίζει και να τις παραθέτει.
ChatGPT-User Επιτρέπεται OpenAI: ανοίγει μια σελίδα όταν ένας χρήστης ρωτά τον βοηθό γι' αυτήν. Η εταιρεία αναφέρει ότι το robots.txt ενδέχεται να μην ισχύει για αυτά τα αιτήματα.
ClaudeBot Επιτρέπεται Anthropic: συλλέγει σελίδες για την εκπαίδευση μοντέλων AI.
… Πώς διαβάζεται το αποτέλεσμα
- Κατάσταση HTTP (200) · Μέγεθος αρχείου (5,3 KB)
- Μόνο το 200 μετριέται ως αρχείο robots.txt. Κάθε άλλη απάντηση αναφέρεται ως απουσία αρχείου (25 πόντοι), πράγμα σωστό για ένα 404: τότε οι crawlers επιτρέπουν τα πάντα. Ένα server error είναι διαφορετικό για τη Google: σταματά να σαρώνει τον ιστότοπο για έως 12 ώρες και μετά βασίζεται στο τελευταίο αντίγραφο που είχε πάρει, οπότε ένα robots.txt που απαντά με 5xx πρέπει να διορθωθεί άμεσα. Αρχεία πάνω από 500 KB κοστίζουν 10 πόντους, αφού οι crawlers μπορεί να σταματήσουν να διαβάζουν εκεί.
- Ομάδες user-agent (53) · Καθυστέρηση crawl (Δεν έχει οριστεί)
- Σε πόσα ονόματα crawler δίνει κανόνες το αρχείο, και η τιμή Crawl-delay αν έχει οριστεί. Η Google αγνοεί το Crawl-delay· κάποιοι άλλοι crawlers το σέβονται.
- Η σελίδα μπορεί να σαρωθεί · Χωρίς συνολική απαγόρευση
- Και τα δύο διαβάζονται από την ομάδα για κάθε crawler (User-agent: *), όπου κερδίζει ο κανόνας με τη μεγαλύτερη αντιστοιχία και το Allow νικά το Disallow σε ισοπαλία, όπως ορίζει το RFC 9309. Ένας κανόνας που αποκλείει τη διεύθυνση που ελέγχθηκε κοστίζει 50 πόντους και ένας που αποκλείει όλο τον ιστότοπο 55: αυτά είναι τα λάθη που βγάζουν έναν ιστότοπο από την αναζήτηση.
- Προβλήματα που βρέθηκαν (10)
- Κάθε όνομα crawler που αποκλείεται από όλο τον ιστότοπο εμφανίζεται στη λίστα, αλλά δεν κοστίζει πόντους: ο αποκλεισμός ενός συγκεκριμένου scraper είναι συνήθως σκόπιμος, όπως στο δείγμα. Μια γραμμή Sitemap που λείπει εμφανίζεται κι αυτή στη λίστα και κοστίζει 5 πόντους.
- Crawlers τεχνητής νοημοσύνης (13 από 13 επιτρέπεται να διαβάσουν αυτή τη σελίδα)
- Για κάθε AI crawler και control token εφαρμόζουμε τη δική του ομάδα αν το αρχείο την ονομάζει, διαφορετικά την ομάδα για κάθε crawler, και ελέγχουμε τη διεύθυνση που δώσατε. Η γραμμή κάτω από κάθε έναν λέει σε τι χρησιμεύει: εκπαίδευση, αναζήτηση με AI, άνοιγμα μιας σελίδας όταν το ζητά ένας χρήστης, ή ένα control token. Η ένδειξη «Η εταιρεία αναφέρει ότι το robots.txt ενδέχεται να μην ισχύει» σημαίνει fetchers που ενεργούν μετά από αίτημα χρήστη.
Ποιοι το Χρησιμοποιούν
-
Τεχνικό SEO
Πριν από την κυκλοφορία, ελέγξτε το robots.txt παραγωγής ώστε ένας κανόνας «αποκλεισμός όλων» από το staging να μην μπει ποτέ live.
-
Ιδιοκτήτης ιστότοπου
Αποφασίστε ποιους crawlers AI θα επιτρέψετε: κρατήστε ανοιχτούς τους crawlers αναζήτησης AI ενώ επιλέγετε αν οι σελίδες σας μπορούν να εκπαιδεύσουν μοντέλα AI.
-
Υπεύθυνος περιεχομένου
Όταν μια ενότητα εξαφανίζεται από το Google Search Console, ελέγξτε πρώτα αν το robots.txt την αποκλείει.
Συχνά προβλήματα και πώς λύνονται
-
Disallow: / για κάθε crawler
Αφαιρέστε το, ή περιορίστε το στα paths που πρέπει όντως να μείνουν έξω. Συχνά είναι υπόλοιπο από ένα staging site· ένας κανόνας robots.txt δεν μπορεί ούτως ή άλλως να προστατέψει ένα staging site, οπότε χρησιμοποιήστε εκεί password.
-
Η σελίδα που θέλετε να ευρετηριαστεί είναι αποκλεισμένη
Βρείτε τον κανόνα που ταιριάζει με τη διεύθυνσή της (ένα ευρύ pattern όπως /*? ή έναν κανόνα φακέλου) και προσθέστε ένα πιο συγκεκριμένο Allow ή περιορίστε το Disallow. Κερδίζει ο κανόνας με τη μεγαλύτερη αντιστοιχία, οπότε ένα ακριβές Allow υπερισχύει ενός σύντομου Disallow.
-
Ένας ονομαστικός crawler χάνει τους κανόνες που ορίσατε για όλους
Ένας crawler με τη δική του ομάδα διαβάζει μόνο αυτή την ομάδα, όχι τους κανόνες κάτω από το User-agent: *. Όταν προσθέτετε μια ομάδα για έναν crawler, επαναλάβετε σε αυτή κάθε Disallow που εξακολουθεί να χρειάζεται.
# every crawler: keep admin and cart out User-agent: * Disallow: /admin/ Disallow: /cart # a named crawler reads ONLY its own group, so repeat what it needs User-agent: GPTBot Disallow: /admin/ Disallow: /cart Disallow: /members/ Sitemap: https://example.com/sitemap-index.xml -
Καμία γραμμή Sitemap
Προσθέστε μια γραμμή Sitemap με την απόλυτη διεύθυνση του sitemap ή του sitemap index σας. Κάθε crawler που διαβάζει το robots.txt μπορεί να τη βρει εκεί, όχι μόνο οι μηχανές αναζήτησης όπου το υποβάλατε.
# robots.txt Sitemap: https://example.com/sitemap-index.xml -
Το robots.txt χρησιμοποιείται για να κρύψει μια σελίδα από τα αποτελέσματα
Ο αποκλεισμός της σάρωσης δεν κρατά μια σελίδα έξω από την αναζήτηση: μια αποκλεισμένη διεύθυνση μπορεί ακόμα να εμφανιστεί στα αποτελέσματα αν άλλες σελίδες της κάνουν link, και η Google δεν μπορεί να δει μια ετικέτα noindex σε μια σελίδα που δεν της επιτρέπεται να σαρώσει. Επιτρέψτε τη σάρωση και προσθέστε αντί γι' αυτό noindex.
<meta name="robots" content="noindex">
Συχνές Ερωτήσεις
- Τι είναι το robots.txt;
- Ένα απλό αρχείο κειμένου στη ρίζα του domain σας που λέει στους crawlers ποια URL μπορούν ή δεν μπορούν να ζητήσουν. Είναι τυποποιημένο στο RFC 9309 (2022).
- Μπορώ να αποκλείσω crawlers AI ξεχωριστά;
- Ναι — καθένας έχει το δικό του token user-agent, όπως `GPTBot` ή `ClaudeBot`. Αρκετές εταιρείες AI λειτουργούν ξεχωριστούς crawlers για εκπαίδευση μοντέλων και για αναζήτηση, οπότε μπορείτε να αποκλείσετε την εκπαίδευση παραμένοντας ορατοί στις απαντήσεις αναζήτησης AI τους.
- Τι είναι το Google-Extended;
- Ένα token ελέγχου, όχι ξεχωριστός crawler. Η Google ανιχνεύει με τους συνηθισμένους crawlers της ούτως ή άλλως· η απενεργοποίηση του `Google-Extended` λέει στην Google να μη χρησιμοποιήσει το περιεχόμενό σας για εκπαίδευση μοντέλων Gemini ή για θεμελίωση απαντήσεων στις εφαρμογές Gemini. Δεν επηρεάζει την Αναζήτηση Google ούτε τις κατατάξεις.
- Όλοι οι crawlers AI ακολουθούν το robots.txt;
- Οι μεγάλες εταιρείες AI δηλώνουν ότι οι crawlers τους το κάνουν. Ορισμένοι fetchers που ενεργούν κατόπιν αιτήματος χρήστη, όπως οι ChatGPT-User και Perplexity-User, ενδέχεται να μην εφαρμόζουν τους κανόνες robots.txt, και η αναφορά τους επισημαίνει.
- Ποια είναι η διαφορά μεταξύ robots.txt και noindex;
- Το robots.txt αποτρέπει την ανίχνευση. Το `noindex` επιτρέπει την ανίχνευση αλλά αποτρέπει την ευρετηρίαση. Αν αποκλείσετε μια σελίδα στο robots.txt, η Google δεν μπορεί να δει την ετικέτα noindex της — ένα συνηθισμένο λάθος.
- Πρέπει να συμπεριλάβω οδηγία sitemap;
- Ναι — η `Sitemap: https://example.com/sitemap.xml` βοηθά κάθε crawler να βρει το sitemap σας, συμπεριλαμβανομένων του Bing και άλλων μηχανών αναζήτησης.
- Η Google σέβεται πάντα το robots.txt;
- Για την ανίχνευση, ναι. Ένα αποκλεισμένο URL μπορεί όμως να εμφανιστεί ακόμη στα αποτελέσματα αναζήτησης αν άλλες σελίδες συνδέονται σε αυτό — χωρίς απόσπασμα. Χρησιμοποιήστε noindex για να κρατήσετε μια σελίδα εκτός.
Πηγές
Η τεκμηρίωση στην οποία βασίζονται το εργαλείο και οι εξηγήσεις αυτής της σελίδας.
- RFC 9309: Robots Exclusion Protocol — RFC Editor
- How Google Interprets the robots.txt Specification — Google Crawling Infrastructure
- Robots.txt Introduction and Guide — Google Search Central
- Overview of OpenAI Crawlers — OpenAI