Robots.txt

Файл robots.txt - является инструкцией для поисковых роботов и представляет из себя текстовый файл находящийся в корневой директории сайта .С помощью robots.txt можно запретить индексацию поисковиками определёных разделов или страниц сайта,выставить рекомендации по соблюдению определёного промежутка времени для скачивания документов с сайта,указать на "зеркало" сайта ,показать поисковикам адрес карты сайта и т.д..
Создание файла robots.txt может производится как "вручную" соблюдая инструкции поисковых систем ,так и с помощью различных программ и онлайн генераторов (например http://htmlweb.ru/analiz/robots.php).

Более подробную информацию как создать правильный robots.txt, описание и анализ можно найти здесь : http://help.yandex.ru/webmaster/?id=996567 и http://www.google.com/support/webmasters/bin/answer.py?answer=40360