Robots.txt для DLE

Если у вас уже есть свой сайт то вы наверняка уже знаете что такое robots.txt и какова его функция. Но для тех кто не знает я постараюсь в двух словах описать что это за файл и для чего он нужен.

Всем нам известно что такое поисковая система, но как поисковые системы узнают что есть где?
Очень просто, у каждого поисковика есть собственный робот который время от времени гуляет по интернету и зафиксирует все что видит. К примеру он нашел сайт www.webmasterrs.ru что он делает, в первую очередь ищет файл robots.txt в корне сайта и читает его. Дело в том что не всегда нужно чтобы поисковые системы полностью проиндексировали сайт, может есть места которые конфиденциальные либо есть дублированные адреса которые уж точно он не должен видеть.

А в файле robots.txt мы пишем разделы или страницы где может или не может сканировать робот поисковика, а так же адрес карты сайта для поискового робота. А как известно у каждого движка своя структура и по этому если у вас DLE то я только магу сказать как я настроил свой robots.txt а уж решать вам, но хочу напомнить что моему сайту на DLE меньше двух месяцев а посещение уже больше 300 уникальных посетителей за день.

User-agent: *

Disallow: /engine/go.php

Disallow: /engine/download.php

Disallow: /user/

Disallow: /newposts/

Disallow: /page/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /*do=search

Disallow: /*do=lastnews
Disallow: /*action=mobile

Disallow: /*action=mobiledisable

Disallow: /lastnews/*

Sitemap: http://www.androidsland.ru/sitemap.xml

Host: www.androidsland.ru

А если у вас мощный комп но в последнее время он что-то тормозит то я бы посоветовал вам скачать бесплатно advanced systemcare с помощью этой программы ваш комп снова полетит.