Δημιουργία robots.txt
Σύντομη απάντηση
Δημιούργησε ένα αρχείο robots.txt με αποκλεισμένες διαδρομές, sitemaps και επιλογή για κάθε AI crawler.
Ξεκινήστε κάθε διαδρομή με /, π.χ. /admin/ ή /cart/. Χρησιμοποιήστε * ως wildcard και $ για να ταιριάξετε το τέλος ενός URL.
Η Google αγνοεί το Crawl-delay· η Bing το διαβάζει.
AI crawlers
Οι crawler για αναζήτηση και απαντήσεις AI αποφασίζουν αν οι σελίδες σας μπορούν να εμφανιστούν ή να αναφερθούν εκεί. Οι crawler εκπαίδευσης συλλέγουν σελίδες για την εκπαίδευση μοντέλων· ο αποκλεισμός τους δεν αφαιρεί τον ιστότοπό σας από την αναζήτηση AI.
Η λίστα AI crawler ελέγχθηκε τελευταία φορά στις 17/09/2026.
Το robots.txt σας
User-agent: * Allow: /
Τι επιτρέπει το αρχείο στην αρχική σελίδα
- GPTBotΕπιτρέπεται
- OAI-SearchBotΕπιτρέπεται
- ChatGPT-UserΕπιτρέπεται
- ClaudeBotΕπιτρέπεται
- Claude-SearchBotΕπιτρέπεται
- Claude-UserΕπιτρέπεται
- PerplexityBotΕπιτρέπεται
- Perplexity-UserΕπιτρέπεται
- Google-ExtendedΕπιτρέπεται
- Applebot-ExtendedΕπιτρέπεται
- meta-externalagentΕπιτρέπεται
- AmazonbotΕπιτρέπεται
- CCBotΕπιτρέπεται
Αποθηκεύστε το αρχείο ως robots.txt στη ρίζα του domain σας (για παράδειγμα https://example.com/robots.txt), και μετά δοκιμάστε το ενεργό αρχείο. Άνοιγμα του ελέγχου robots.txt
Το αρχείο δημιουργείται στο πρόγραμμα περιήγησής σας.
Τι Κάνει
Δημιουργεί ένα αρχείο robots.txt με τις διαδρομές που θα κρατήσετε τους crawler μακριά, γραμμές sitemap, ένα προαιρετικό Crawl-delay, και μια επιλογή επιτρέπεται/αποκλεισμένος για κάθε γνωστό AI crawler, ομαδοποιημένες σε αναζήτηση AI, εκπαίδευση μοντέλων και άλλες χρήσεις AI. Στη συνέχεια διαβάζει ξανά το αρχείο και δείχνει τι μπορεί να ανακτήσει κάθε AI crawler.
Γιατί Έχει Σημασία
Το robots.txt λέει στους crawler ποια URL μπορούν να ανακτήσουν. Οι εταιρείες AI χρησιμοποιούν ξεχωριστούς crawler για αναζήτηση, για την ανάκτηση μιας σελίδας που ζητά ένας χρήστης, και για την εκπαίδευση μοντέλων, οπότε μπορείτε να παραμείνετε ορατοί στην αναζήτηση AI ενώ εξαιρείστε από την εκπαίδευση. Ο αποκλεισμός ενός crawler εκπαίδευσης όπως το GPTBot δεν αφαιρεί έναν ιστότοπο από την αναζήτηση ChatGPT. Το robots.txt είναι αίτημα, όχι έλεγχος πρόσβασης, και ορισμένοι ανακτητές που ενεργούν για λογαριασμό χρήστη δηλώνουν ότι μπορεί να μην το ακολουθούν.
Πώς Λειτουργεί
-
Επιλέξτε αν θα επιτρέπεται το crawling ή θα αποκλειστεί ολόκληρος ο ιστότοπος
-
Καταχωρίστε τις διαδρομές που θα κρατήσετε τους crawler μακριά και τα URL του sitemap σας
-
Επιτρέψτε ή αποκλείστε κάθε AI crawler, ή ξεκινήστε από μια προεπιλογή
-
Αντιγράψτε ή κατεβάστε το αρχείο, αποθηκεύστε το ως /robots.txt και δοκιμάστε το ενεργό αρχείο με τον έλεγχο robots.txt
Δείγμα εισόδου + εξόδου
crawling: επιτρέπεται · αποκλεισμένες διαδρομές: /admin/, /cart/ προεπιλογή AI: να επιτρέπεται η αναζήτηση AI, αποκλεισμός των υπολοίπων sitemap: https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xml
Ποιοι το Χρησιμοποιούν
-
Ιδιοκτήτης ιστότοπου
Παραμείνετε στα αποτελέσματα αναζήτησης AI ενώ εξαιρείστε από την εκπαίδευση μοντέλων.
-
Ειδικός SEO
Κρατήστε τους crawler μακριά από το καλάθι, την εσωτερική αναζήτηση και τις σελίδες διαχείρισης χωρίς να αποκλείσετε τον υπόλοιπο ιστότοπο.
-
Web developer
Δημιουργήστε ένα αρχείο πλήρους αποκλεισμού για έναν ιστότοπο staging.
Συχνές Ερωτήσεις
Πού βάζω το robots.txt;
Στη ρίζα του domain σας, για παράδειγμα https://example.com/robots.txt. Κάθε subdomain χρειάζεται το δικό του αρχείο.
Ο αποκλεισμός μιας σελίδας στο robots.txt την αφαιρεί από την Google;
Όχι. Το robots.txt ελέγχει το crawling, όχι την ευρετηρίαση. Ένα αποκλεισμένο URL μπορεί να εξακολουθεί να εμφανίζεται στα αποτελέσματα αν άλλες σελίδες το συνδέουν· χρησιμοποιήστε noindex ή προστασία με κωδικό για να κρατήσετε μια σελίδα έξω.
Ποιους AI crawler μπορώ να ελέγξω;
Τα tokens crawler που τεκμηριώνουν οι OpenAI, Anthropic, Perplexity, Google, Apple, Meta και Amazon, καθώς και το CCBot, τον crawler ενός ανοιχτού αρχείου ιστού. Οι φορείς προσθέτουν και αποσύρουν tokens, οπότε η λίστα ελέγχεται τακτικά· η ημερομηνία εμφανίζεται από κάτω της.
Γιατί οι επιτρεπόμενοι AI crawler δεν αποκτούν τη δική τους ομάδα;
Ένας crawler με τη δική του ομάδα αγνοεί τους κανόνες για όλους τους crawler (User-agent: *). Αφήνοντας τους επιτρεπόμενους crawler έξω, οι αποκλεισμένες διαδρομές σας παραμένουν σε ισχύ και για αυτούς.
Η Google διαβάζει το Crawl-delay;
Όχι, η Google το αγνοεί. Η Bing το διαβάζει.