Δημιουργία robots.txt
Σύντομη απάντηση
Δημιουργήστε robots.txt με τις διαδρομές που αποκλείετε, γραμμές sitemap και άδεια ή αποκλεισμό για κάθε AI crawler, και δείτε τι επιτρέπεται σε κάθε bot.
Τι δεν κάνει: Γράφει το αρχείο αλλά δεν το δημοσιεύει, και το robots.txt απλώς ζητά από τους crawlers: δεν αφαιρεί σελίδες από τα αποτελέσματα αναζήτησης ούτε σταματά crawlers που το αγνοούν.
Ξεκινήστε κάθε διαδρομή με /, π.χ. /admin/ ή /cart/. Χρησιμοποιήστε * ως wildcard και $ για να ταιριάξετε το τέλος ενός URL.
Η Google αγνοεί το Crawl-delay· η Bing το διαβάζει.
AI crawlers
Οι crawler για αναζήτηση και απαντήσεις AI αποφασίζουν αν οι σελίδες σας μπορούν να εμφανιστούν ή να αναφερθούν εκεί. Οι crawler εκπαίδευσης συλλέγουν σελίδες για την εκπαίδευση μοντέλων· ο αποκλεισμός τους δεν αφαιρεί τον ιστότοπό σας από την αναζήτηση AI.
Η λίστα AI crawler ελέγχθηκε τελευταία φορά στις 17/09/2026.
Το robots.txt σας
User-agent: * Allow: /
Τι επιτρέπει το αρχείο στην αρχική σελίδα
- GPTBotΕπιτρέπεται
- OAI-SearchBotΕπιτρέπεται
- ChatGPT-UserΕπιτρέπεται
- ClaudeBotΕπιτρέπεται
- Claude-SearchBotΕπιτρέπεται
- Claude-UserΕπιτρέπεται
- PerplexityBotΕπιτρέπεται
- Perplexity-UserΕπιτρέπεται
- Google-ExtendedΕπιτρέπεται
- Applebot-ExtendedΕπιτρέπεται
- meta-externalagentΕπιτρέπεται
- meta-webindexerΕπιτρέπεται
- meta-externalfetcherΕπιτρέπεται
- ExaSearchBotΕπιτρέπεται
- ExaUserΕπιτρέπεται
- KeenableBotΕπιτρέπεται
- Keenable-UserΕπιτρέπεται
- AmazonbotΕπιτρέπεται
- CCBotΕπιτρέπεται
Αποθηκεύστε το αρχείο ως robots.txt στη ρίζα του domain σας (για παράδειγμα https://example.com/robots.txt), και μετά δοκιμάστε το ενεργό αρχείο. Άνοιγμα του ελέγχου robots.txt
Το αρχείο δημιουργείται στο πρόγραμμα περιήγησής σας.
Τι Κάνει
Δημιουργεί ένα αρχείο robots.txt με τις διαδρομές που θα κρατήσετε τους crawler μακριά, γραμμές sitemap, ένα προαιρετικό Crawl-delay, και μια επιλογή επιτρέπεται/αποκλεισμένος για κάθε γνωστό AI crawler, ομαδοποιημένες σε αναζήτηση AI, εκπαίδευση μοντέλων και άλλες χρήσεις AI. Στη συνέχεια διαβάζει ξανά το αρχείο και δείχνει τι μπορεί να ανακτήσει κάθε AI crawler.
Γιατί Έχει Σημασία
Το robots.txt λέει στους crawler ποια URL μπορούν να ανακτήσουν. Οι εταιρείες AI χρησιμοποιούν ξεχωριστούς crawler για αναζήτηση, για την ανάκτηση μιας σελίδας που ζητά ένας χρήστης, και για την εκπαίδευση μοντέλων, οπότε μπορείτε να παραμείνετε ορατοί στην αναζήτηση AI ενώ εξαιρείστε από την εκπαίδευση. Ο αποκλεισμός ενός crawler εκπαίδευσης όπως το GPTBot δεν αφαιρεί έναν ιστότοπο από την αναζήτηση ChatGPT. Το robots.txt είναι αίτημα, όχι έλεγχος πρόσβασης, και ορισμένοι ανακτητές που ενεργούν για λογαριασμό χρήστη δηλώνουν ότι μπορεί να μην το ακολουθούν.
Πώς Λειτουργεί
-
Επιλέξτε αν θα επιτρέπεται το crawling ή θα αποκλειστεί ολόκληρος ο ιστότοπος
-
Καταχωρίστε τις διαδρομές που θα κρατήσετε τους crawler μακριά και τα URL του sitemap σας
-
Επιτρέψτε ή αποκλείστε κάθε AI crawler, ή ξεκινήστε από μια προεπιλογή
-
Αντιγράψτε ή κατεβάστε το αρχείο, αποθηκεύστε το ως /robots.txt και δοκιμάστε το ενεργό αρχείο με τον έλεγχο robots.txt
Δείγμα εισόδου + εξόδου
ανίχνευση: επιτρέπεται · διαδρομές που αποκλείονται: /admin/, /cart/ προεπιλογή AI: μόνο AI αναζήτηση sitemap: https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xml Τι επιτρέπει το αρχείο στην αρχική σελίδα: GPTBot Αποκλείεται · OAI-SearchBot Επιτρέπεται · ChatGPT-User Επιτρέπεται ClaudeBot Αποκλείεται · Claude-SearchBot Επιτρέπεται · PerplexityBot Επιτρέπεται Google-Extended Αποκλείεται · CCBot Αποκλείεται
Πώς διαβάζεται το αποτέλεσμα
- Η ομάδα User-agent: *
- Κανόνες για κάθε crawler: εδώ Disallow: /admin/ και Disallow: /cart/, οι δύο διαδρομές του παραδείγματος. Ό,τι δεν αποκλείεται μπορεί να ανιχνευθεί. Το robots.txt είναι αίτημα που ακολουθούν οι συνεπείς crawlers, όχι κλειδαριά.
- Η ομάδα των AI crawlers
- Κάθε AI crawler που ορίσατε σε Αποκλεισμό μπαίνει σε μία ομάδα που τελειώνει με Disallow: /. Το παράδειγμα χρησιμοποίησε την προεπιλογή που επιτρέπει μόνο την AI αναζήτηση, οπότε οι crawlers εκπαίδευσης αποκλείονται (GPTBot, ClaudeBot, CCBot κ.ά.), ενώ οι crawlers αναζήτησης και χρηστών που φέρνουν σελίδες για να τις παραθέσουν μένουν επιτρεπτοί.
- Η γραμμή Sitemap
- Μία γραμμή για κάθε sitemap, πάντα με πλήρη διεύθυνση https://. Ισχύει για κάθε crawler, όπου κι αν βρίσκεται μέσα στο αρχείο.
- Τι επιτρέπει το αρχείο στην αρχική σελίδα
- Το αρχείο που φτιάχτηκε διαβάζεται ξανά με τους ίδιους κανόνες RFC 9309 που χρησιμοποιούν οι crawlers και ελέγχεται στην αρχική σελίδα για κάθε AI crawler. Στο παράδειγμα ο GPTBot αποκλείεται και ο OAI-SearchBot επιτρέπεται: η ίδια εταιρεία έχει χωριστούς crawlers για εκπαίδευση και για αναζήτηση.
- Google-Extended και Applebot-Extended
- Δεν είναι crawlers αλλά tokens που ορίζουν αν το περιεχόμενο που ήδη ανιχνεύουν Google και Apple μπορεί να χρησιμοποιηθεί για τα μοντέλα AI τους. Ο αποκλεισμός τους δεν σταματά τον Googlebot ή τον Applebot από την ανίχνευση για την αναζήτηση.
Ποιοι το Χρησιμοποιούν
-
Ιδιοκτήτης ιστότοπου
Παραμείνετε στα αποτελέσματα αναζήτησης AI ενώ εξαιρείστε από την εκπαίδευση μοντέλων.
-
Ειδικός SEO
Κρατήστε τους crawler μακριά από το καλάθι, την εσωτερική αναζήτηση και τις σελίδες διαχείρισης χωρίς να αποκλείσετε τον υπόλοιπο ιστότοπο.
-
Web developer
Δημιουργήστε ένα αρχείο πλήρους αποκλεισμού για έναν ιστότοπο staging.
Συχνά προβλήματα και πώς λύνονται
-
Θέλετε μια σελίδα εκτός αποτελεσμάτων αναζήτησης
Το robots.txt δεν αφαιρεί σελίδες: ένα αποκλεισμένο URL μπορεί να εμφανίζεται αν το συνδέουν άλλα sites. Αφήστε τη σελίδα να ανιχνεύεται και προσθέστε ετικέτα robots meta noindex.
<meta name="robots" content="noindex"> -
Αποκλείονται CSS ή JavaScript
Μην αποκλείετε φακέλους με τα stylesheets και τα scripts που χρειάζονται οι σελίδες σας· οι μηχανές αναζήτησης αποδίδουν τις σελίδες και τις κρίνουν με βάση ό,τι βλέπουν. Αποκλείστε αντί γι' αυτό ιδιωτικές περιοχές όπως admin, καλάθι και λογαριασμό.
-
Βασίζεστε στο Crawl-delay
Η Google αγνοεί το Crawl-delay· το Bing και κάποιοι άλλοι crawlers το ακολουθούν. Αν ο Googlebot ανιχνεύει πολύ γρήγορα, διορθώστε την ταχύτητα του server ή αφήστε τον να απαντά 503 ή 429 για λίγο.
-
Το αρχείο είναι σε λάθος θέση
Οι crawlers διαβάζουν το robots.txt μόνο στη ρίζα κάθε host: το https://example.com/robots.txt καλύπτει το example.com, όχι το www.example.com ή το shop.example.com, που χρειάζονται δικό τους αρχείο.
-
Αποκλείετε κάθε AI crawler
Αν αποκλείσετε και τους crawlers αναζήτησης και χρηστών, οι σελίδες σας μένουν έξω από τις απαντήσεις που παραπέμπουν σε πηγές. Αν ο στόχος είναι μόνο να μη χρησιμοποιηθούν για εκπαίδευση μοντέλων, αποκλείστε τους crawlers εκπαίδευσης και αφήστε τους crawlers αναζήτησης.
Συχνές Ερωτήσεις
- Πού βάζω το robots.txt;
- Στη ρίζα του domain σας, για παράδειγμα https://example.com/robots.txt. Κάθε subdomain χρειάζεται το δικό του αρχείο.
- Ο αποκλεισμός μιας σελίδας στο robots.txt την αφαιρεί από την Google;
- Όχι. Το robots.txt ελέγχει το crawling, όχι την ευρετηρίαση. Ένα αποκλεισμένο URL μπορεί να εξακολουθεί να εμφανίζεται στα αποτελέσματα αν άλλες σελίδες το συνδέουν· χρησιμοποιήστε noindex ή προστασία με κωδικό για να κρατήσετε μια σελίδα έξω.
- Ποιους AI crawler μπορώ να ελέγξω;
- Τα tokens crawler που τεκμηριώνουν οι OpenAI, Anthropic, Perplexity, Google, Apple, Meta και Amazon, καθώς και το CCBot, τον crawler ενός ανοιχτού αρχείου ιστού. Οι φορείς προσθέτουν και αποσύρουν tokens, οπότε η λίστα ελέγχεται τακτικά· η ημερομηνία εμφανίζεται από κάτω της.
- Γιατί οι επιτρεπόμενοι AI crawler δεν αποκτούν τη δική τους ομάδα;
- Ένας crawler με τη δική του ομάδα αγνοεί τους κανόνες για όλους τους crawler (User-agent: *). Αφήνοντας τους επιτρεπόμενους crawler έξω, οι αποκλεισμένες διαδρομές σας παραμένουν σε ισχύ και για αυτούς.
- Η Google διαβάζει το Crawl-delay;
- Όχι, η Google το αγνοεί. Η Bing το διαβάζει.
Πηγές
Η τεκμηρίωση στην οποία βασίζονται το εργαλείο και οι εξηγήσεις αυτής της σελίδας.
- RFC 9309: Robots Exclusion Protocol — RFC Editor
- Create and Submit a robots.txt File — Google Search Central
- Google's common crawlers — Google Search Central
- Robots Meta Tags Specifications — Google Search Central