robots.txt este prima pagină pe care o citește Google pe site-ul tău. Înainte să parcurgă vreo pagină, roboții cer acest fișier ca să afle unde au voie să intre. Un robots.txt greșit poate ascunde tot site-ul din căutare; unul corect ghidează roboții exact unde trebuie. Acest generator îl compune cu un asistent, în browserul tău.
Ce este robots.txt
robots.txt este un fișier text simplu, așezat în rădăcina site-ului (exemplu.ro/robots.txt). El conține directive pentru roboții motoarelor de căutare: ce căi pot parcurge și pe care ar trebui să le ocolească. Este o convenție respectată de toți roboții serioși, precum Googlebot și Bingbot.
Cum arată un robots.txt
Fișierul este format din blocuri. Fiecare bloc începe cu un User-agent (robotul vizat), urmat de reguli:
User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://exemplu.ro/sitemap.xmlSemnul * înseamnă „toți roboții”. Disallow interzice o cale, Allow face o excepție, iar Sitemap indică harta site-ului.
Principalele directive
| Directivă | Semnificație |
|---|---|
User-agent | Pentru care robot se aplică regulile |
Disallow | Nu parcurge această cale |
Allow | Poate parcurge această cale (excepție) |
Crawl-delay | Așteptare între cereri (secunde) |
Sitemap | URL-ul complet al sitemap.xml |
Limita importantă: nu este securitate
robots.txt este o cerere, nu o barieră. Roboții binevoitori o respectă, dar fișierul nu impune nimic: URL-urile interzise rămân accesibile public dacă cineva le știe adresa, iar boții rău intenționați le pot ignora complet. Nu proteja niciodată conținut confidențial doar cu robots.txt – folosește parolă sau protecție pe server.
De asemenea, Disallow împiedică parcurgerea, dar nu neapărat indexarea. O pagină interzisă poate apărea în rezultate ca simplu URL. Pentru a o scoate complet, folosește meta tag-ul noindex – dar atunci nu o bloca și cu Disallow, altfel Google nu ajunge să vadă noindex-ul.
Boții AI: o decizie nouă
Tot mai multe crawlere adună date pentru antrenarea modelelor de limbaj sau pentru motoarele AI. În robots.txt le poți gestiona pe nume:
- GPTBot, ChatGPT-User (OpenAI)
- Google-Extended (Google AI)
- anthropic-ai, ClaudeBot (Anthropic)
- CCBot (Common Crawl)
- PerplexityBot, Bytespider (alți furnizori)
Generatorul le poate bloca pe toate cu o singură bifă. Tu decizi: dacă vrei să protejezi conținutul de antrenarea AI, blochează-i; dacă vrei vizibilitate în motoarele AI, lasă-i permiși.
Cum se folosește generatorul
- Pornește de la un șablon (tot permis, WordPress, fără indexare) sau setează manual.
- Adaugă căile Disallow și Allow în liste.
- Scrie URL-ul sitemap și, opțional, crawl-delay.
- Bifează blocarea boților AI, dacă vrei.
- Copiază sau descarcă fișierul și pune-l în rădăcina site-ului.
Greșeli frecvente
Disallow: /uitat în producție – blochează tot site-ul din căutare. Cea mai costisitoare greșeală de SEO.- Fișier într-un subdirector – doar
exemplu.ro/robots.txteste valid, nuexemplu.ro/folder/robots.txt. - Blocarea folderelor de CSS/JS – poate împiedica Google să redea corect pagina.
- Lipsa liniei Sitemap – o ocazie ratată de a ghida roboții spre toate paginile.
Confidențialitate: totul rămâne local
Asamblarea fișierului rulează în browserul tău, prin JavaScript. Regulile pe care le compui nu ajung pe niciun server – poți pregăti robots.txt-ul și pentru un site aflat încă în dezvoltare.
Instrumente înrudite
- Generator Meta Tag — inclusiv directiva robots la nivel de pagină (index/noindex)
- Generator UTM — construiește URL-uri de campanie pentru măsurarea traficului
- Generator Schema FAQ — date structurate JSON-LD pentru întrebări frecvente
- Verificare title și meta description — lungime în caractere și pixeli cu previzualizare SERP