Продолжая тему сайтов для продажи, пора поговорить про CMS, на которой будет работать сайт. В основном, это 3 системы: DataLife Engine, WordPress и Joomla.
По моим наблюдениям, DLE пользуется большей популярностью, чем WordPress и Joomla, но доля ее не такая внушительная, чтобы говорить о полном превосходстве над конкурентами.
Тем не менее, какую бы CMS вы не выбрали для своего сайта, у них у вcех есть одно общее – это файл robots.txt. Он должен обязательно присутствовать в сборке сайта, иначе роботы поисковиков проиндексируют не только страницы постов, но и дубли страниц, а дубли в выдаче – это причина попадания под фильтры ПС. А попадание под фильтры может отразиться и на вашей репутации, как продавца.
Именно поэтому в корне сайта должен лежать правильный robots.txt. Для DLE он имеет такой вид:
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Host: www.site.ru
Sitemap: http://site.ru/sitemap.xml
По желанию, еще можно закрыть от индексации страницы категорий:
Disallow: /kategoriya/
Как видите, в моем варианте всем поисковикам запрещена индексация определенных каталогов. Вам рекомендую делать так же. Инструкцию Allow я не использовал, потому что она здесь не нужна.
Директиву host тоже можете указать – она указывает на зеркало сайта (адрес сайта с www или любой другой адрес).
Как вариант, можете использовать достаточно функциональный генератор файлов robots.txt на сервисе Webmasta (там еще есть много интересных сервисов). К каждому пункту формы там есть инструкция, так что даже новичок сможет сделать свой первый файл robots.txt.
Для создания карты сайта можно использовать как встроенный в DLE инструмент, так и сторонние плагины. Я использовал встроенный и вполне им доволен.
В следующих постах я еще расскажу, какой вид должны иметь файлы robots.txt для Joomla и WordPress.
Зачем указывать в роботсе это:
Disallow: /backup/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Папку upgrade нужно было удалить сразу после установки CMS.
Показывать злоумышленнику где лежит backup и autobackup.php? Зачем это, такое лучше не писать вообще.
Аналогичная ситуация с admin.php, в идеале его нужно заменить на admin45454545.php или что-то подобное, чтобы тяжелее её было найти. А писать в robots.txt ссылку на админпанель это глупо.
ИМХО!
CaHbKa, сколько не встречал сайтов на ДЛЕ, у всех файл admin.php не был переименован. По-моему, лучше пароль придумать посложнее. Насчет всего остального, ты прав, но опять же, в инструкции по установке ДЛЕ сказано, что эти папки после установки надо удалять.
Ну да, с безопасностью накосячили. Да и в принципе проблема с роботами уже избита до немогу, наверное каждый кто имеет хоть какойто опыт с движками отлично представляет себе что ему надо закрыть от индекса
Для Dle лучше делать разделение на общие поисковики и отдельно для Яндекса. и admin.php лучше изменить и не показывать в robots.txt