Показано с 1 по 4 из 4

Тема: Хорошо ли Disallow: /content/

  1. #1

    По умолчанию Хорошо ли Disallow: /content/

    Есть CMS на файлах.

    Страницы отдает файл index.php сидящий в корне сайта.

    Контент сидит в файлах вида document_root/content/text/*.html
    Шаблоны в папках document_root/content/template/
    Картинки в document_root/content/images/

    Можно ли закрывать все это дело так?
    User-agent: *
    Disallow: /content/


    = = = =
    Если сравнивать с CMS на базах, то получается, что текстовый контент можно закрыть. Там где базы, файлов с контентом вообще не существует.
    А как осбтоят дела с шаблонами и картинками? Нормально ли будет закрыть папки с ними от роботов?

    = = = =
    Папку со скриптами linkfeed я вообще поднял выше document_root (от греха подальше), чтобы меня не мучала паранойя. Так поисковики уж точно не увидят коды биржи.

  2. #2

    По умолчанию

    Не вижу смысла запрещать что-то в robots.txt
    если можно написать более тщательные условия и регекспы для реврайта.

    например
    http://inquo.ru/robots.txt
    но
    http://inquo.ru/istorik.txt

    = .htaccess ===================
    <IfModule mod_rewrite.c>
    RewriteEngine On

    RewriteCond %{ENV:REDIRECT_STATUS} ^$
    RewriteCond %{REQUEST_URI} !=/robots.txt
    RewriteRule ^(\w+\.txt) /index.php?$1 [L]
    </IfModule>
    ===========================

    и все .txt превращаются обработчиком в index.php "прямо на месте", и не надо запрещать никого к индексированию / :-)

    Весь темплейт у меня, правда, поместился в index.php, сами понимаете, обработчик простенький. ;-)

    (сайт в биржах не участвует, потому считаю возможным давать на него ссылку).

  3. #3
    Новичок
    Регистрация
    02.03.2019
    Адрес
    Belarus
    Сообщений
    10

    По умолчанию Хорошо ли Disallow /content/

    Подскажите пожалуйста можно ли к папке 69e888f2e403206d332373 и файлу 69e888f2e403206d332373.php скаченным с sape применять в robots.txt Disallow:или их лучше не трогать и в robots.txt не прописывать никак?

  4. #4
    Старший модератор Аватар для FreeCat
    Регистрация
    01.10.2008
    Адрес
    nobody, anywhere
    Сообщений
    1,652

    По умолчанию

    GeraldRubax
    лично я в этом не вижу никакого смысла.

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •