Ce este fișierul robots.txt ?

Întrebări Frecvente General | robots.txt | seo | motor de căutare
Descoperiți în pasajul de mai jos ce este un fișier robots.tx
de Cătălin AdrianVizualizări 127Actualizat acum 8 zilePublicat la 15/10/2018

Fișierul robots.txt este un fișier de tip txt care face parte din protocolul de excludere a roboților (REP), un grup de standarde web care reglementează modul în care roboții accesează și indexează site-ul.Pe scurt, robots.txt conține instrucțiuni pentru motoarele de căutare,
Pentru a avea efect asupra motoarelor de căutare fișierul trebuie încărcat în folder-ul rădăcină al site-ului.

- Ca exemplu, dacă am dori sa blocăm accesul pentru motorul de căutare Bing, am putea trece în fișierul robots.txt următoarele linii :

User-agent: bingbot
Disallow: /

Liniile de mai sus fac referire la :
User-agent - va conține motorul de căutare pentru care dorim setări speciale de acces. Se poate folosi și * (wildcard), pentru a include agenții(roboții, crawlers) tuturor motoarelor de căutare .
Disallow  - va conține setările asociate motoarelor de căutare, trecute la User-agent.

- Dacă dorim să blocăm toate motoarele de căutare putem să punem în  robots.txt:

User-agent: *
Disallow: /

- Totodată, putem să setăm excepții doar pentru anumite foldere sau link-uri din site :

User-agent: *
Disallow: /blog/
Disallow: /newsletter.php


În cazul de mai sus, toate motoarele de căutare vor fi instruite să nu indexeze link-urile din blog respectiv fișierul newsletter.php

Pentru a facilita crearea fișierului robots.txt , putem să folosim un generator online : Generator robots.txt

Articole Similare

2
Ce este optimizarea SEO (Search Engine Optimization) ?Întrebări Frecvente SEO | search | engine | optimization
În acest articol este prezentat în linii mari optimizarea SEO (Search Engine Optimization)
de Mark DohiVizualizări 158Actualizat acum 1 anPublicat la 31/08/2018
Care sunt avantajele opțiunii suplimentare SEO ?Întrebări Frecvente SEO | seo | nameservere | google | pagespeed | ip
Prezentarea avantajelor activării opțiunii SEO
de Mark DohiVizualizări 280Actualizat acum 1 anPublicat la 13/03/2020
Am recepționat două proforme pentru același serviciu. Ce se întâmplă ?Întrebări Frecvente Comercial | proformă | factură
Factura proformă dublă generată in contul de client Hostico
de Mark DohiVizualizări 59Actualizat acum 1 anPublicat la 27/08/2018