Μετάβαση στο περιεχόμενο

Δημιουργία robots.txt

Σύντομη απάντηση

Δημιουργήστε robots.txt με τις διαδρομές που αποκλείετε, γραμμές sitemap και άδεια ή αποκλεισμό για κάθε AI crawler, και δείτε τι επιτρέπεται σε κάθε bot.

Τι δεν κάνει: Γράφει το αρχείο αλλά δεν το δημοσιεύει, και το robots.txt απλώς ζητά από τους crawlers: δεν αφαιρεί σελίδες από τα αποτελέσματα αναζήτησης ούτε σταματά crawlers που το αγνοούν.

Δωρεάν · Χωρίς εγγραφή · Τρέχει στον περιηγητή σας
Crawling

Ξεκινήστε κάθε διαδρομή με /, π.χ. /admin/ ή /cart/. Χρησιμοποιήστε * ως wildcard και $ για να ταιριάξετε το τέλος ενός URL.

Η Google αγνοεί το Crawl-delay· η Bing το διαβάζει.

AI crawlers

Οι crawler για αναζήτηση και απαντήσεις AI αποφασίζουν αν οι σελίδες σας μπορούν να εμφανιστούν ή να αναφερθούν εκεί. Οι crawler εκπαίδευσης συλλέγουν σελίδες για την εκπαίδευση μοντέλων· ο αποκλεισμός τους δεν αφαιρεί τον ιστότοπό σας από την αναζήτηση AI.

Αναζήτηση και απαντήσεις AI
  • OAI-SearchBotOpenAI: ευρετηριάζει σελίδες ώστε η αναζήτησή της με AI να τις εμφανίζει και να τις παραθέτει.
  • ChatGPT-UserOpenAI: ανοίγει μια σελίδα όταν ένας χρήστης ρωτά τον βοηθό γι' αυτήν. Η εταιρεία αναφέρει ότι το robots.txt ενδέχεται να μην ισχύει για αυτά τα αιτήματα.
  • Claude-SearchBotAnthropic: ευρετηριάζει σελίδες ώστε η αναζήτησή της με AI να τις εμφανίζει και να τις παραθέτει.
  • Claude-UserAnthropic: ανοίγει μια σελίδα όταν ένας χρήστης ρωτά τον βοηθό γι' αυτήν.
  • PerplexityBotPerplexity: ευρετηριάζει σελίδες ώστε η αναζήτησή της με AI να τις εμφανίζει και να τις παραθέτει.
  • Perplexity-UserPerplexity: ανοίγει μια σελίδα όταν ένας χρήστης ρωτά τον βοηθό γι' αυτήν. Η εταιρεία αναφέρει ότι το robots.txt ενδέχεται να μην ισχύει για αυτά τα αιτήματα.
  • meta-webindexerMeta: ευρετηριάζει σελίδες ώστε η αναζήτησή της με AI να τις εμφανίζει και να τις παραθέτει.
  • meta-externalfetcherMeta: ανοίγει μια σελίδα όταν ένας χρήστης ρωτά τον βοηθό γι' αυτήν. Η εταιρεία αναφέρει ότι το robots.txt ενδέχεται να μην ισχύει για αυτά τα αιτήματα.
  • ExaSearchBotExa: ευρετηριάζει σελίδες ώστε η αναζήτησή της με AI να τις εμφανίζει και να τις παραθέτει.
  • ExaUserExa: ανοίγει μια σελίδα όταν ένας χρήστης ρωτά τον βοηθό γι' αυτήν.
  • KeenableBotKeenable: ευρετηριάζει σελίδες ώστε η αναζήτησή της με AI να τις εμφανίζει και να τις παραθέτει.
  • Keenable-UserKeenable: ανοίγει μια σελίδα όταν ένας χρήστης ρωτά τον βοηθό γι' αυτήν.
Εκπαίδευση μοντέλων
  • GPTBotOpenAI: συλλέγει σελίδες για την εκπαίδευση μοντέλων AI.
  • ClaudeBotAnthropic: συλλέγει σελίδες για την εκπαίδευση μοντέλων AI.
  • CCBotCrawler ανοιχτού αρχείου του web· πολλά μοντέλα AI εκπαιδεύονται στο δημόσιο σύνολο δεδομένων του.
Άλλες χρήσεις AI
  • Google-ExtendedGoogle: δεν είναι ξεχωριστός crawler — κανόνας που ορίζει αν οι σελίδες που ήδη ανιχνεύει μπορούν να χρησιμοποιηθούν για τα μοντέλα AI της.
  • Applebot-ExtendedApple: δεν είναι ξεχωριστός crawler — κανόνας που ορίζει αν οι σελίδες που ήδη ανιχνεύει μπορούν να χρησιμοποιηθούν για τα μοντέλα AI της.
  • meta-externalagentMeta: ανιχνεύει σελίδες για τα δικά της προϊόντα· το περιεχόμενο μπορεί να χρησιμοποιηθεί και για εκπαίδευση μοντέλων AI.
  • AmazonbotAmazon: ανιχνεύει σελίδες για τα δικά της προϊόντα· το περιεχόμενο μπορεί να χρησιμοποιηθεί και για εκπαίδευση μοντέλων AI.

Η λίστα AI crawler ελέγχθηκε τελευταία φορά στις 17/09/2026.

Το robots.txt σας

User-agent: *
Allow: /

Τι επιτρέπει το αρχείο στην αρχική σελίδα

  • GPTBotΕπιτρέπεται
  • OAI-SearchBotΕπιτρέπεται
  • ChatGPT-UserΕπιτρέπεται
  • ClaudeBotΕπιτρέπεται
  • Claude-SearchBotΕπιτρέπεται
  • Claude-UserΕπιτρέπεται
  • PerplexityBotΕπιτρέπεται
  • Perplexity-UserΕπιτρέπεται
  • Google-ExtendedΕπιτρέπεται
  • Applebot-ExtendedΕπιτρέπεται
  • meta-externalagentΕπιτρέπεται
  • meta-webindexerΕπιτρέπεται
  • meta-externalfetcherΕπιτρέπεται
  • ExaSearchBotΕπιτρέπεται
  • ExaUserΕπιτρέπεται
  • KeenableBotΕπιτρέπεται
  • Keenable-UserΕπιτρέπεται
  • AmazonbotΕπιτρέπεται
  • CCBotΕπιτρέπεται

Αποθηκεύστε το αρχείο ως robots.txt στη ρίζα του domain σας (για παράδειγμα https://example.com/robots.txt), και μετά δοκιμάστε το ενεργό αρχείο. Άνοιγμα του ελέγχου robots.txt

Το αρχείο δημιουργείται στο πρόγραμμα περιήγησής σας.

Τι Κάνει

Δημιουργεί ένα αρχείο robots.txt με τις διαδρομές που θα κρατήσετε τους crawler μακριά, γραμμές sitemap, ένα προαιρετικό Crawl-delay, και μια επιλογή επιτρέπεται/αποκλεισμένος για κάθε γνωστό AI crawler, ομαδοποιημένες σε αναζήτηση AI, εκπαίδευση μοντέλων και άλλες χρήσεις AI. Στη συνέχεια διαβάζει ξανά το αρχείο και δείχνει τι μπορεί να ανακτήσει κάθε AI crawler.

Γιατί Έχει Σημασία

Το robots.txt λέει στους crawler ποια URL μπορούν να ανακτήσουν. Οι εταιρείες AI χρησιμοποιούν ξεχωριστούς crawler για αναζήτηση, για την ανάκτηση μιας σελίδας που ζητά ένας χρήστης, και για την εκπαίδευση μοντέλων, οπότε μπορείτε να παραμείνετε ορατοί στην αναζήτηση AI ενώ εξαιρείστε από την εκπαίδευση. Ο αποκλεισμός ενός crawler εκπαίδευσης όπως το GPTBot δεν αφαιρεί έναν ιστότοπο από την αναζήτηση ChatGPT. Το robots.txt είναι αίτημα, όχι έλεγχος πρόσβασης, και ορισμένοι ανακτητές που ενεργούν για λογαριασμό χρήστη δηλώνουν ότι μπορεί να μην το ακολουθούν.

Πώς Λειτουργεί

  1. Επιλέξτε αν θα επιτρέπεται το crawling ή θα αποκλειστεί ολόκληρος ο ιστότοπος

  2. Καταχωρίστε τις διαδρομές που θα κρατήσετε τους crawler μακριά και τα URL του sitemap σας

  3. Επιτρέψτε ή αποκλείστε κάθε AI crawler, ή ξεκινήστε από μια προεπιλογή

  4. Αντιγράψτε ή κατεβάστε το αρχείο, αποθηκεύστε το ως /robots.txt και δοκιμάστε το ενεργό αρχείο με τον έλεγχο robots.txt

Δείγμα εισόδου + εξόδου

ΕΙΣΟΔΟΣ
ανίχνευση: επιτρέπεται · διαδρομές που αποκλείονται: /admin/, /cart/
προεπιλογή AI: μόνο AI αναζήτηση
sitemap: https://example.com/sitemap.xml
ΕΞΟΔΟΣ
User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Τι επιτρέπει το αρχείο στην αρχική σελίδα:
  GPTBot Αποκλείεται · OAI-SearchBot Επιτρέπεται · ChatGPT-User Επιτρέπεται
  ClaudeBot Αποκλείεται · Claude-SearchBot Επιτρέπεται · PerplexityBot Επιτρέπεται
  Google-Extended Αποκλείεται · CCBot Αποκλείεται

Πώς διαβάζεται το αποτέλεσμα

Η ομάδα User-agent: *
Κανόνες για κάθε crawler: εδώ Disallow: /admin/ και Disallow: /cart/, οι δύο διαδρομές του παραδείγματος. Ό,τι δεν αποκλείεται μπορεί να ανιχνευθεί. Το robots.txt είναι αίτημα που ακολουθούν οι συνεπείς crawlers, όχι κλειδαριά.
Η ομάδα των AI crawlers
Κάθε AI crawler που ορίσατε σε Αποκλεισμό μπαίνει σε μία ομάδα που τελειώνει με Disallow: /. Το παράδειγμα χρησιμοποίησε την προεπιλογή που επιτρέπει μόνο την AI αναζήτηση, οπότε οι crawlers εκπαίδευσης αποκλείονται (GPTBot, ClaudeBot, CCBot κ.ά.), ενώ οι crawlers αναζήτησης και χρηστών που φέρνουν σελίδες για να τις παραθέσουν μένουν επιτρεπτοί.
Η γραμμή Sitemap
Μία γραμμή για κάθε sitemap, πάντα με πλήρη διεύθυνση https://. Ισχύει για κάθε crawler, όπου κι αν βρίσκεται μέσα στο αρχείο.
Τι επιτρέπει το αρχείο στην αρχική σελίδα
Το αρχείο που φτιάχτηκε διαβάζεται ξανά με τους ίδιους κανόνες RFC 9309 που χρησιμοποιούν οι crawlers και ελέγχεται στην αρχική σελίδα για κάθε AI crawler. Στο παράδειγμα ο GPTBot αποκλείεται και ο OAI-SearchBot επιτρέπεται: η ίδια εταιρεία έχει χωριστούς crawlers για εκπαίδευση και για αναζήτηση.
Google-Extended και Applebot-Extended
Δεν είναι crawlers αλλά tokens που ορίζουν αν το περιεχόμενο που ήδη ανιχνεύουν Google και Apple μπορεί να χρησιμοποιηθεί για τα μοντέλα AI τους. Ο αποκλεισμός τους δεν σταματά τον Googlebot ή τον Applebot από την ανίχνευση για την αναζήτηση.

Ποιοι το Χρησιμοποιούν

  • Ιδιοκτήτης ιστότοπου

    Παραμείνετε στα αποτελέσματα αναζήτησης AI ενώ εξαιρείστε από την εκπαίδευση μοντέλων.

  • Ειδικός SEO

    Κρατήστε τους crawler μακριά από το καλάθι, την εσωτερική αναζήτηση και τις σελίδες διαχείρισης χωρίς να αποκλείσετε τον υπόλοιπο ιστότοπο.

  • Web developer

    Δημιουργήστε ένα αρχείο πλήρους αποκλεισμού για έναν ιστότοπο staging.

Συχνά προβλήματα και πώς λύνονται

  1. Θέλετε μια σελίδα εκτός αποτελεσμάτων αναζήτησης

    Το robots.txt δεν αφαιρεί σελίδες: ένα αποκλεισμένο URL μπορεί να εμφανίζεται αν το συνδέουν άλλα sites. Αφήστε τη σελίδα να ανιχνεύεται και προσθέστε ετικέτα robots meta noindex.

    <meta name="robots" content="noindex">
  2. Αποκλείονται CSS ή JavaScript

    Μην αποκλείετε φακέλους με τα stylesheets και τα scripts που χρειάζονται οι σελίδες σας· οι μηχανές αναζήτησης αποδίδουν τις σελίδες και τις κρίνουν με βάση ό,τι βλέπουν. Αποκλείστε αντί γι' αυτό ιδιωτικές περιοχές όπως admin, καλάθι και λογαριασμό.

  3. Βασίζεστε στο Crawl-delay

    Η Google αγνοεί το Crawl-delay· το Bing και κάποιοι άλλοι crawlers το ακολουθούν. Αν ο Googlebot ανιχνεύει πολύ γρήγορα, διορθώστε την ταχύτητα του server ή αφήστε τον να απαντά 503 ή 429 για λίγο.

  4. Το αρχείο είναι σε λάθος θέση

    Οι crawlers διαβάζουν το robots.txt μόνο στη ρίζα κάθε host: το https://example.com/robots.txt καλύπτει το example.com, όχι το www.example.com ή το shop.example.com, που χρειάζονται δικό τους αρχείο.

  5. Αποκλείετε κάθε AI crawler

    Αν αποκλείσετε και τους crawlers αναζήτησης και χρηστών, οι σελίδες σας μένουν έξω από τις απαντήσεις που παραπέμπουν σε πηγές. Αν ο στόχος είναι μόνο να μη χρησιμοποιηθούν για εκπαίδευση μοντέλων, αποκλείστε τους crawlers εκπαίδευσης και αφήστε τους crawlers αναζήτησης.

Συχνές Ερωτήσεις

Πού βάζω το robots.txt;
Στη ρίζα του domain σας, για παράδειγμα https://example.com/robots.txt. Κάθε subdomain χρειάζεται το δικό του αρχείο.
Ο αποκλεισμός μιας σελίδας στο robots.txt την αφαιρεί από την Google;
Όχι. Το robots.txt ελέγχει το crawling, όχι την ευρετηρίαση. Ένα αποκλεισμένο URL μπορεί να εξακολουθεί να εμφανίζεται στα αποτελέσματα αν άλλες σελίδες το συνδέουν· χρησιμοποιήστε noindex ή προστασία με κωδικό για να κρατήσετε μια σελίδα έξω.
Ποιους AI crawler μπορώ να ελέγξω;
Τα tokens crawler που τεκμηριώνουν οι OpenAI, Anthropic, Perplexity, Google, Apple, Meta και Amazon, καθώς και το CCBot, τον crawler ενός ανοιχτού αρχείου ιστού. Οι φορείς προσθέτουν και αποσύρουν tokens, οπότε η λίστα ελέγχεται τακτικά· η ημερομηνία εμφανίζεται από κάτω της.
Γιατί οι επιτρεπόμενοι AI crawler δεν αποκτούν τη δική τους ομάδα;
Ένας crawler με τη δική του ομάδα αγνοεί τους κανόνες για όλους τους crawler (User-agent: *). Αφήνοντας τους επιτρεπόμενους crawler έξω, οι αποκλεισμένες διαδρομές σας παραμένουν σε ισχύ και για αυτούς.
Η Google διαβάζει το Crawl-delay;
Όχι, η Google το αγνοεί. Η Bing το διαβάζει.

Πηγές

Η τεκμηρίωση στην οποία βασίζονται το εργαλείο και οι εξηγήσεις αυτής της σελίδας.