Logical-Portal — молодежный портал со своей изюминкой, каждый сможет найти что-то интересное и полезное для себя, например наш форум общения с которым вам обязательно нужно ознакомиться.
Что это такое и зачем оно ?: Любой поисковый робот при каждом заходе на сайт начинает свою работу с поиска файла «robots.txt». В нем прописаны специальные рекомендации, которых должен придерживается поисковый робот.
Как создать «robots.txt» и куда его загрузить ?: Создать «robots.txt» можно элементарным способом. Для этого открываете стандартный блокнот (можно и Notepad) и прописываете в него специальные настройки, которые Я описал ниже.
После создание файла, Вы должны сохранить его в .txt формате (это стандартный формат текстовых файлов) и загрузить в корневую папку Вашего сайта. Запомните, файл должен открываться по такому пути: http://your-site.net/robots.txt
Настройки для файла: User-agent: – Здесь указывается название раздела настроек для определенного поискового робота или всех сразу. Пример такой: User-agent: * – Для всех поисковых систем; User-agent: Yandex – Для всех поисковых роботов Яндекса; … и т.д.
То есть зная имена поисковых роботов, Вы можете задавать определенные настройки под нужного робота.
Allow: – Здесь прописываются разрешения для роботов. Папки и страницы Вы можете разрешить индексировать с помощью этого атрибута. Пример такой = Allow: */feed – то есть Вы разрешаете индексировать RSS-ленту своего сайта/блога/форума и прочего вида Интернет-ресурсов.
Disallow: – А вот здесь уже прописываются пути к страницам и папка блога, которые нужно запретить к индексации. Например Вы хотите запретить индексацию страницы входа в ПУ (ПУ – Панель Управления) WordPress, тогда прописываете так = Disallow: /wp-admin – То есть страница для входа в ПУ Вашего сайта уже не попадет в поисковую выдачу.
Host: – Здесь указывается главное зеркало Вашего сайта. Прописывается таким образом = Host: your-site.com – но если Ваш сайт перенаправляет на домен с www., тогда просто добавьте перед доменным именем – www.
Sitemap: – Ну и здесь указываете ссылку на Вашу карту сайта. Если у Вас есть другие карты, например форума, то указывайте и их тоже.
Что это такое и зачем оно ?: Любой поисковый робот при каждом заходе на сайт начинает свою работу с поиска файла «robots.txt». В нем прописаны специальные рекомендации, которых должен придерживается поисковый робот.
Как создать «robots.txt» и куда его загрузить ?: Создать «robots.txt» можно элементарным способом. Для этого открываете стандартный блокнот (можно и Notepad) и прописываете в него специальные настройки, которые Я описал ниже.
После создание файла, Вы должны сохранить его в .txt формате (это стандартный формат текстовых файлов) и загрузить в корневую папку Вашего сайта. Запомните, файл должен открываться по такому пути: http://your-site.net/robots.txt
Настройки для файла: User-agent: – Здесь указывается название раздела настроек для определенного поискового робота или всех сразу. Пример такой: User-agent: * – Для всех поисковых систем; User-agent: Yandex – Для всех поисковых роботов Яндекса; … и т.д.
То есть зная имена поисковых роботов, Вы можете задавать определенные настройки под нужного робота.
Allow: – Здесь прописываются разрешения для роботов. Папки и страницы Вы можете разрешить индексировать с помощью этого атрибута. Пример такой = Allow: */feed – то есть Вы разрешаете индексировать RSS-ленту своего сайта/блога/форума и прочего вида Интернет-ресурсов.
Disallow: – А вот здесь уже прописываются пути к страницам и папка блога, которые нужно запретить к индексации. Например Вы хотите запретить индексацию страницы входа в ПУ (ПУ – Панель Управления) WordPress, тогда прописываете так = Disallow: /wp-admin – То есть страница для входа в ПУ Вашего сайта уже не попадет в поисковую выдачу.
Host: – Здесь указывается главное зеркало Вашего сайта. Прописывается таким образом = Host: your-site.com – но если Ваш сайт перенаправляет на домен с www., тогда просто добавьте перед доменным именем – www.
Sitemap: – Ну и здесь указываете ссылку на Вашу карту сайта. Если у Вас есть другие карты, например форума, то указывайте и их тоже.
