Составляем robots.txt для DLE

Автор: | 30 июня 2012

Продолжая тему сайтов для продажи, пора поговорить про CMS, на которой будет работать сайт. В основном, это 3 системы: DataLife Engine, WordPress и Joomla.

По моим наблюдениям, DLE пользуется большей популярностью, чем WordPress и Joomla, но доля ее не такая внушительная, чтобы говорить о полном превосходстве над конкурентами.

Тем не менее, какую бы CMS вы не выбрали для своего сайта, у них у вcех есть одно общее – это файл robots.txt. Он должен обязательно присутствовать в сборке сайта, иначе роботы поисковиков проиндексируют не только страницы постов, но и дубли страниц, а дубли в выдаче – это причина попадания под фильтры ПС. А попадание под фильтры может отразиться и на вашей репутации, как продавца.

Именно поэтому в корне сайта должен лежать правильный robots.txt. Для DLE он имеет такой вид:

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Host: www.site.ru

Sitemap: http://site.ru/sitemap.xml

По желанию, еще можно закрыть от индексации страницы категорий:

Disallow: /kategoriya/

Как видите, в моем варианте всем поисковикам запрещена индексация определенных каталогов. Вам рекомендую делать так же. Инструкцию Allow я не использовал, потому что она здесь не нужна.

Директиву host тоже можете указать – она указывает на зеркало сайта (адрес сайта с www или любой другой адрес).

Как вариант, можете использовать достаточно функциональный генератор файлов robots.txt на сервисе Webmasta (там еще есть много интересных сервисов). К каждому пункту формы там есть инструкция, так что даже новичок сможет сделать свой первый файл robots.txt.

Для создания карты сайта можно использовать как встроенный в DLE инструмент, так и сторонние плагины. Я использовал встроенный и вполне им доволен.

В следующих постах я еще расскажу, какой вид должны иметь файлы robots.txt для Joomla и WordPress.

Составляем robots.txt для DLE: 4 комментария

  1. CaHbKa

    Зачем указывать в роботсе это:

    Disallow: /backup/
    Disallow: /upgrade/
    Disallow: /autobackup.php
    Disallow: /admin.php

    Папку upgrade нужно было удалить сразу после установки CMS.

    Показывать злоумышленнику где лежит backup и autobackup.php? Зачем это, такое лучше не писать вообще.

    Аналогичная ситуация с admin.php, в идеале его нужно заменить на admin45454545.php или что-то подобное, чтобы тяжелее её было найти. А писать в robots.txt ссылку на админпанель это глупо.

    ИМХО!

    1. Нелегал Автор записи

      CaHbKa, сколько не встречал сайтов на ДЛЕ, у всех файл admin.php не был переименован. По-моему, лучше пароль придумать посложнее. Насчет всего остального, ты прав, но опять же, в инструкции по установке ДЛЕ сказано, что эти папки после установки надо удалять.

  2. Виктор

    Ну да, с безопасностью накосячили. Да и в принципе проблема с роботами уже избита до немогу, наверное каждый кто имеет хоть какойто опыт с движками отлично представляет себе что ему надо закрыть от индекса

  3. Карина

    Для Dle лучше делать разделение на общие поисковики и отдельно для Яндекса. и admin.php лучше изменить и не показывать в robots.txt

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *