Записи с меткой «robots.txt»

Склейка доменов + объединение домена с WWW и без WWW

Хочу Вас наконец-то снова поприветствовать на своём блоге. Наконец-то проблемы с хостингом, длившиеся пару дней, решены и я могу снова продолжать ведение блога. Сегодня я решил написать пост не в обычном для себя стиле, а в стиле "Проблема - Решение". Что ж, попробуем-с. Сегодняшние проблемы будут связаны со склейкой доменов, которая может помочь продвинуть сайт по читать далее »

Повторим урок о картах сайта — Sitemap

Ещё в октябре я описывал о такой вещи, как Sitemap или Карта сайта. Сегодня я просто хотел бы повторить этот урок (вообще, повторение - мать учения) и добавить ещё пару слов и пару полезностей об этой вещице. Карта сайта - это некая противоположность файлу robots.txt. Если последний указывал страницы и директории, которые не нужно было читать далее »

Роботы под контролем! Задаем правила индексации с robots.txt

Сегодня рассмотрим файл robots.txt. Этот файл частично контролирует индексацию сайта поисковыми системами. Что именно контролирует? В нем задаются страницы и/или разделы сайта, которые запрещены к индексации и которые не нужно индексировать. Кроме этого может содержать обратную информацию. Например, можно сделать так, чтобы доступ к разделу /news/ был запрещен для всех страниц, кроме /news/page.html. Ну и читать далее »