Какой использовать robot txt для joomla 3

Многие вебмастера задаются вопросом о том, какой использовать robots.txt в джумла. В данном материале напишу свой универсальный robots.txt, который использую для многих проектов.

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /*?type=atom
Disallow: /*?_utl_t=ok
Disallow: /*?limit
Disallow: /component
Disallow: /tags/
Disallow: /*?start*
Disallow: /index.php

Host: здесь указываем ваш сайт.
Sitemap: здесь указываем вашу карту сайта в формате xml.

Эта классическая карта сайта, которая скрывает от поисковых систем проблемные директории, которые могут попасть в индекс поисковых машин и дубли страниц такие как: сайт/index.php и другие.