SEO Activ

Verificare robots.txt

Lipiti fisierul robots.txt si testati URL-uri: este crawling-ul permis? Verificare rapida, in browser.

Fără server Instant Privat Gratuit

Despre ce este acest instrument?

Verificatorul de robots.txt îți arată dacă un anumit URL poate fi parcurs de robotul de căutare conform regulilor din robots.txt. Lipești conținutul robots.txt, dai user-agent-ul și URL-urile de testat, iar instrumentul îți spune pentru fiecare URL dacă parcurgerea este permisă și care regulă decide. Urmează logica Google „câștigă cea mai lungă regulă potrivită”, cu suport wildcard (*) și sfârșit de linie ($). Astfel poți depista excluderile accidentale încă înainte de lansare. Totul rulează în browserul tău.

Cum să folosești Verificare robots.txt?

  1. Lipirea robots.txt

    Lipește conținutul complet al fișierului în câmpul de text.

  2. User-agent

    Dă botul pentru care testezi (de ex. Googlebot).

  3. URL-uri

    Scrie URL-urile sau căile de testat, câte una pe rând.

  4. Rezultat

    Pentru fiecare URL vezi: permis sau interzis, și regula decisivă.

Când ai nevoie de el?

  • Verificare înainte de lansare

    Confirmarea că un robots.txt nou nu exclude accidental paginile importante.

  • Depanare

    Aflarea motivului pentru care Google nu parcurge un anumit URL.

  • Reguli specifice botului

    Verificarea dacă un bot AI sau un anumit motor ajunge la conținut.

  • Audit

    Confruntarea regulilor robots.txt existente cu structura reală de URL-uri.

Exemple de potrivire a regulilor

Regulă Se potrivește la /admin/imagine.jpg
Disallow: /admin/ Da – interzis
Allow: /admin/*.jpg Da, mai lung – permis
Disallow: /*.php$ Nu (nu se termină în .php)

Cum interpretează Google robots.txt?

robots.txt pare simplu, dar rezolvarea conflictelor între reguli este adesea surprinzătoare. Când unui URL i se potrivesc mai multe reguli – de exemplu un Disallow general și un Allow mai specific –, motoarele nu decid după ordine, ci după specificitate: câștigă cea mai lungă regulă (care potrivește cele mai multe caractere). Dacă un Allow și un Disallow se potrivesc la fel de lung, Allow este mai puternic.

La aceasta se adaugă cele două instrumente de potrivire a tiparelor: * înlocuiește orice secvență de caractere, iar $ fixează sfârșitul URL-ului. Cu ele se pot scrie reguli fine (de ex. „toate PDF-urile interzise, dar un folder permis”), al căror efect e greu de urmărit în minte. Acest instrument rulează exact această logică pe regulile lipite și pe URL-urile de test, așa că vezi încă înainte de lansare ce permite și ce interzice de fapt robots.txt-ul tău.

Sfaturi utile

  • Înainte de lansarea unui robots.txt nou, testează cele mai importante URL-uri – un Disallow greșit costă scump.

  • Nu uita: câștigă cea mai lungă regulă potrivită, nu ordinea.

  • Testează pe mai mulți user-agenți, dacă ai reguli specifice botului.

  • Pentru scrierea robots.txt folosește generatorul nostru, apoi testează-l aici.

Verificare robots.txt – testează dacă un URL poate fi parcurs

Un singur Disallow greșit poate ascunde tot site-ul din Google. robots.txt pare simplu, dar felul în care se rezolvă conflictele între reguli e adesea surprinzător. Acest tester rulează exact logica Google pe regulile tale și pe URL-urile de test, direct în browser – ca să prinzi greșelile înainte de lansare.

Ce face verificatorul

Lipești conținutul robots.txt, dai un user-agent și o listă de URL-uri de testat. Pentru fiecare URL, instrumentul îți spune:

  • dacă parcurgerea este permisă sau interzisă,
  • care regulă decide (Allow sau Disallow, cu calea exactă).

Astfel nu ghicești, ci vezi negru pe alb ce permite și ce blochează robots.txt-ul.

Regula decisivă: cea mai lungă potrivire

Cel mai important lucru de înțeles: când unui URL i se potrivesc mai multe reguli, nu ordinea decide, ci specificitatea. Câștigă regula care potrivește cele mai multe caractere. La lungime egală, Allow este mai puternic decât Disallow.

RegulăSe potrivește la /admin/imagine.jpgLungime
Disallow: /admin/Da7
Allow: /admin/*.jpgDa11

Aici câștigă Allow, fiind mai lungă – deci URL-ul este permis, deși există un Disallow general.

Wildcard și sfârșit de linie

robots.txt suportă două instrumente de potrivire a tiparelor:

  • * – înlocuiește orice secvență de caractere. Disallow: /*.pdf blochează toate PDF-urile.
  • $ – fixează sfârșitul URL-ului. Disallow: /*.php$ blochează doar URL-urile terminate în .php.

Efectul combinat al acestor tipare e greu de urmărit mental – de aceea un tester este util.

Disallow ≠ noindex

O confuzie frecventă: Disallow nu înseamnă că pagina nu apare în Google. Interzice parcurgerea, dar URL-ul poate apărea totuși în rezultate, fără titlu sau descriere. Pentru a scoate complet o pagină din index e nevoie de meta tag-ul noindex – iar acesta funcționează doar dacă parcurgerea este permisă (altfel motorul nu vede tag-ul).

De ce lipești conținutul, nu URL-ul

Instrumentul rulează în browserul tău, deci nu poate descărca robots.txt-ul altor domenii (restricții de securitate). Lipind conținutul, poți testa:

  • un robots.txt încă nelansat, în pregătire,
  • un fișier de pe un site intern sau de test,
  • variante înainte și după o modificare.

Cum se folosește

  1. Lipește conținutul complet al robots.txt.
  2. Dă user-agent-ul (de exemplu Googlebot).
  3. Scrie URL-urile sau căile de testat, câte una pe rând.
  4. Citește pentru fiecare: permis sau interzis, și regula decisivă.

Confidențialitate: totul rămâne local

Toată analiza rulează în browserul tău, prin JavaScript. Regulile și URL-urile lipite nu ajung pe niciun server.

Instrumente înrudite

Întrebări frecvente