Мар 16
Хочу Вас наконец-то снова поприветствовать на своём блоге. Наконец-то проблемы с хостингом, длившиеся пару дней, решены и я могу снова продолжать ведение блога.
Сегодня я решил написать пост не в обычном для себя стиле, а в стиле "Проблема - Решение". Что ж, попробуем-с. 
Янв 7
Ещё в октябре я описывал о такой вещи, как Sitemap или Карта сайта. Сегодня я просто хотел бы повторить этот урок (вообще, повторение - мать учения) и добавить ещё пару слов и пару полезностей об этой вещице.
Карта сайта - это некая противоположность файлу robots.txt. Если последний указывал страницы и директории, которые не нужно было индексировать поисковым системам, то первый же, наоборот, указывает на странице, которые нужно пройти роботу. Как я и говорил тогда:
Дек 28
Сегодня рассмотрим файл robots.txt. Этот файл частично контролирует индексацию сайта поисковыми системами. Что именно контролирует? В нем задаются страницы и/или разделы сайта, которые запрещены к индексации и которые не нужно индексировать. Кроме этого может содержать обратную информацию. Например, можно сделать так, чтобы доступ к разделу /news/ был запрещен для всех страниц, кроме /news/page.html. Ну и кроме всего этого может содержать и другую информацию, но она нам будет не очень интересна, хотя частична будем упомянута.
Файл должен находится в корне сайта и иметь относительно корня ссылку http://www.yousite.ru/robots.txt
