Ce este fișierul robots.txt ?
Fișierul robots.txt controlează accesul motoarelor de căutare pe site, permițând sau restricționând indexarea conținutului. Află cum să-l creezi și să-l configurezi eficient.
Introducere
Fișierul robots.txt este un fișier text simplu care face parte din protocolul de excludere a roboților (REP - Robots Exclusion Protocol). Acesta conține instrucțiuni pentru motoarele de căutare cu privire la modul în care să acceseze și să indexeze site-ul. Pentru a avea efect, fișierul robots.txt trebuie plasat în folder-ul rădăcină al site-ului (de exemplu, https://domeniu.ro/robots.txt).
Importanța fișierului robots.txt
Fișierul robots.txt este crucial pentru gestionarea interacțiunii roboților cu site-ul. Există mulți roboți care pot indexa site-ul agresiv, ceea ce poate afecta performanța acestuia. Prin utilizarea acestui fișier, puteți:
- Controla accesul motoarelor de căutare la conținutul site-ului.
- Permite indexarea doar de către roboții doriți (ex. Google, Bing).
- Restricționa accesul la foldere sau fișiere sensibile.
Exemple de utilizare
1. Blocarea unui motor de căutare specific
Pentru a bloca accesul motorului de căutare Bing (bingbot), includeți următoarele linii în fișierul robots.txt:
User-agent: bingbot
Disallow: /
Explicație:
User-agent: Specifică motorul de căutare pentru care sunt aplicate setările.
Disallow: Definește secțiunile site-ului la care robotul nu are acces. Simbolul / blochează accesul la întreg site-ul.
2. Blocarea tuturor motoarelor de căutare
Pentru a împiedica toate motoarele de căutare să acceseze site-ul, utilizați:
User-agent: *
Disallow: /
Explicație: Simbolul * (wildcard) în câmpul User-agent se aplică tuturor motoarelor de căutare, iar / blochează accesul la întreg site-ul.
3. Blocarea accesului doar la anumite foldere sau fișiere
Pentru a bloca accesul la un folder și la un fișier specific, configurați:
User-agent: *
Disallow: /blog/
Disallow: /newsletter.php
Explicație: Toate motoarele de căutare vor fi blocate să indexeze folderul /blog/ și fișierul newsletter.php.
Crearea fișierului robots.txt
Pentru a crea un fișier robots.txt, puteți folosi un generator online, care vă ajută să personalizați regulile rapid și fără erori. Exemple de generatoare online pot fi găsite printr-o căutare: Generator robots.txt.
După ce ați creat fișierul, încărcați-l în directorul rădăcină al site-ului folosind un manager de fișiere sau un client FTP.