Robots. txt включает в себя систему команд для роботов поисковиков. Файл дает задачу на индексацию, передает поисковым ресурсам информацию о…