Întrebări Frecvente

Urmăreşte Hostico şi răsfoieşte printre cele 305 răspunsuri la întrebări frecvente.

 
 
 

Ce este fișierul robots.txt ?

Vizualizari
33
 

Fișierul robots.txt este un fișier de tip txt care face parte din protocolul de excludere a roboților (REP), un grup de standarde web care reglementează modul în care roboții accesează și indexează site-ul.Pe scurt, robots.txt conține instrucțiuni pentru motoarele de căutare,
Pentru a avea efect asupra motoarelor de căutare fișierul trebuie încărcat în folder-ul rădăcină al site-ului.

- Ca exemplu, dacă am dori sa blocăm accesul pentru motorul de căutare Bing, am putea trece în fișierul robots.txt următoarele linii :

User-agent: bingbot
Disallow: /

Liniile de mai sus fac referire la :
User-agent - va conține motorul de căutare pentru care dorim setări speciale de acces. Se poate folosi și * (wildcard), pentru a include agenții(roboții, crawlers) tuturor motoarelor de căutare .
Disallow  - va conține setările asociate motoarelor de căutare, trecute la User-agent.

- Dacă dorim să blocăm toate motoarele de căutare putem să punem în  robots.txt:

User-agent: *
Disallow: /

- Totodată, putem să setăm excepții doar pentru anumite foldere sau link-uri din site :

User-agent: *
Disallow: /blog/
Disallow: /newsletter.php


În cazul de mai sus, toate motoarele de căutare vor fi instruite să nu indexeze link-urile din blog respectiv fișierul newsletter.php

Pentru a facilita crearea fișierului robots.txt , putem să folosim un generator online : Generator robots.txt

 

pixel