Перейти к содержанию

Рекомендуемые сообщения

 

Была создана тестовая версия сайта для проведения некоторых изменений в дизайне. Индексация закрыл удалив все с robots и вставил

User-agent: *

Disallow: /

но встречал статьи где говорят что этого недостаточно и лучше на каждой странице прописывать

<META NAME = "ROBOTS" CONTENT = "NOINDEX, NOFOLLOW">

- ваши за и против ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Почему просто не закрыть сайт на техническое обслуживание?
Делается просто Система>Настройки>Ваш магазин> Вкладка Сервер> Режим обслуживания

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

я не могу точно утверждать. но по моему карта сайта индексируется гораздо реже чем робот просто обходит странички ( по последней сохраненной карте сайта). по мете поисковик по идеи быстрее отреагирует 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1 час назад, wprizzz сказал:

Почему просто не закрыть сайт на техническое обслуживание?
Делается просто Система>Настройки>Ваш магазин> Вкладка Сервер> Режим обслуживания

дк индексация останется....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
59 минут назад, kJlukOo сказал:

я не могу точно утверждать. но по моему карта сайта индексируется гораздо реже чем робот просто обходит странички ( по последней сохраненной карте сайта). по мете поисковик по идеи быстрее отреагирует 

если так мету ставить везде или можно только в index.php в корне?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
18 часов назад, DmitriySun сказал:

если так мету ставить везде или можно только в index.php в корне?

catalog/view/theme/default/template/common/header.tpl

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
2 часа назад, kJlukOo сказал:

catalog/view/theme/default/template/common/header.tpl

и еще одно - я кажется читал что нельзя ставить и мета  и в робот прописывать запрет - нужно только где-то в одном месте ... И как на счет админки - там же хедер отсутствует?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
6 минут назад, DmitriySun сказал:

и еще одно - я кажется читал что нельзя ставить и мета  и в робот прописывать запрет - нужно только где-то в одном месте ... И как на счет админки - там же хедер отсутствует?

ну да забей и используй запрет в robots.txt. там кстати запрет на индексацию админки находится 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Похожий контент

    • От Bookert
      Всем привет!) Занимаюсь своим ИМ и в данный момент ломаю голову над вопросом связанным с индексацией статей блога. По большей части они индексируются, но есть исключения. Залез в свой sitemap (сгенерирован модулем FX sitemap 2.0 от Otvet) и обнаружил в нем фактически все (товары, главная страница, подкатегории,..), но статей там нет. 
      Открыл инструкцию от автора модуля и нашел там в таблице строку, что стандартный путь до установленного блога, по умолчанию information/blog. Мой же блог имеет путь site.ru/shopblog/.
      Прописал две строки в настройках модуля - первую (стандартную)+ вторую с указанием пути до моего блога, потом все таки решил оставил одну вот такую строку: https://site.ru/index.php?route=feed/google_sitemap&blog=shopblog. Сохраняю, перехожу по этой ссылке и мне выдает тоже самое. Попробовал в каналах продвижения включить sitemap для яндекса и google, так вот в google статьи все попадают, а в яндекс нет. 
      Шаблон ИМ LightShop. Вот robots.txt
      User-agent: *
      Disallow: *account
      Disallow: *affiliate
      Disallow: *search
      Disallow: *create-account
      Disallow: *forgot-password
      Disallow: /compare-products
      Disallow: /login
      Disallow: *add-return
      Disallow: *tag
      Disallow: *cart
      Disallow: *checkout
      Disallow: *password
      Disallow: *filter
      Disallow: *sort
      Disallow: *admin
      Disallow: *sitemap
      Host: site.ru
      Sitemap: https://site.ru/index.php?route=feed/google_sitemap&blog=shopblog
       
      .htaccess:
      Options -Indexes
      <FilesMatch "(?i)((\.tpl|\.ini|\.log|(?<!robots)\.txt))">
       Require all denied
      </FilesMatch>
      RewriteEngine On
      RewriteBase /
      RewriteRule ^sitemap.xml$ index.php?route=extension/feed/fast__sitemap [L]
      RewriteRule ^googlebase.xml$ index.php?route=extension/feed/google_base [L]
      RewriteRule ^system/download/(.*) index.php?route=error/not_found [L]
      RewriteCond %{REQUEST_FILENAME} !-f
      RewriteCond %{REQUEST_FILENAME} !-d
      RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
      RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
      RewriteEngine On
      RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
      RewriteRule ^index\.php$ http://VASHSITE/ [R=301,L]
      RewriteCond %{HTTPS} off
      RewriteCond %{HTTP:X-Forwarded-Proto} !https
      RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
       
      В robots-е стандартный sitemap закрыл, т.к. карта генерируемая модулем имеет другой url. 
       
      Тему создал т.к. не хватает знаний и автор модуля закрыл его поддержку. 
      Откликнувшимся заранее спасибо ) 
       
    • От Violetta25
      Перестали индексироваться картинки и пропали с индекса те, которые уже были там, как понимаю. В чем может быть проблема? И как ее устранить?

    • От chukcha
      Скачать/Купить дополнение


      Robots noindex
      Это небольшое дополнение, которое добавляет тег
      <meta name="robots" content="noindex,follow"> на некоторые страницы.
      Это хорошо для SEO.
      Страницы, которые затрагивает расширение:
      Категория страницы: (sort, page, limit)
      Производитель: (sort, page, limit)
      Акции: (sort, page, limit)
      Сравнение: (вся страница)
      Поиск: ( вся страница)
      Регистрация и Логин: (вся страница)
      Оформление заказ: (вся страница)
      Корзина: (вся страница)
      Q.A:
      Зачем это делать?
      Из коробки OpenCart этого всего нет. Расширение позволяет корректно установить мета тег на конкретных страницах.
      Для SEO это важный тег, это позволит вам побороть дублирующий контент на страницах несущих технологическую нагрузку.
      Почему бы не использовать / запретить в файле robots.txt?
      Наличие запретов в robots.txt не помешает, но некоторые боты не хотят в него смотреть.
      И Google говорит, что этот тег ему нравится
      Требования:
      версия 2.x , отдельно для simple (demo: http://demo2.slasoft.kharkov.ua/index.php?route=product/category&path=20_27&limit=50)
      версия 1.5.x (demo: http://demo.slasoft.kharkov.ua/compare-products/)
      Добавил chukcha Добавлено 09.12.2015 Категория Прочее Системные требования Метод активации Ioncube Loader OpenCart ocStore OpenCart.Pro, ocShop  
    • От snastik
      500.00 руб
      Скачать/Купить дополнение


      SEOFIX Mета-тег NOINDEX
      vQmod SEO Mета-тег Избавляет от дублей контента и ускоряет индексацию поисковыми системами.
      ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
      Работает на всей линейке 1.5.х opencart, ocstore, думаю и максисторе тоже если что подправлю под ваши файлы.
      На страницах Категории, Производителя, Акций для:
      1. Пагинации – (постраничный переход)
      2. Сортировки – (по цене, названию, рейтингу и тд)
      3. Лимита – (кол-во товара на странице)
      Добавляет Мета-тег: <meta name="robots" content="noindex,follow" />
      Новое в версии 1.2
      4. Ссылки вида /site/category/?page=1 перобразуются в /site/category
      временно приостановлено - требует багфикса.
      5. Описание категории выводиться только для первой страницы.
      6. Убирает дублированные ссылки с изображений во всех списках товаров (категории, производитель, поиск, акции и стандартные модули) заменяя href=" на onclick="location.href тем самым устраняя ссылочную переспамленность шабла
      Тем самым нет необходимости в robots.txt закрывать от индексации такие страницы как:
      Disallow: /*?sort
      Disallow: /*?limit
      Disallow: /*?page
      Что существенно ускоряет индексацию поисковыми системами, так как, тег noindex говорит поисковой системе что эту страницу индексировать ненужно, но в свою очередь тег follow говорит о том что необходимо переходить по ссылкам дальше. Подробнее в мануале Яндекса http://help.yandex.ru/webmaster/controlling-robot/html.xml#meta Google разумеется тоже понимает данные Мета-Теги.
      Единственное действующее решение, которое действительно выкидывает быстро дубли из ПС, если закрывать через robots.txt, этот процесс может затянуться более чем на полгода.
      Установка происходит по средствам vQmod в случае его отсутствия возможна ручная установка.
      После установки на страницах пагинации,сортировки, лимита в исходном коде Вы увидите что появился Мета-тег: <meta name="robots" content="noindex,follow" /> на «хороших» страницах он будет отсутствовать.
      Пункты 1-4 гарантированно работают на всех шаблонах и сборках. Пункты 4-6 гарантированно работают на дефолтном шаблоне.
      Для индивидуальных шаблоном могут потребоваться правки вкумода, если в шаблоне изменен код вывода изображений.
      F.A.Q. (будет дополняться)
      Приветствую! Заинтересовал ваш новый модуль "SEO Мета-тег".
      В описании модуля идет речь про постраничный переход в пагинации,
      Каким образом это реализовано? Решает ли это проблему дублей, когда идут вот такие урлы /?page=2 /?page=3 /?page=4
      Да решает, если в строке есть "page=", то на страницу добавляется метатег "noindex"
      А будет ли это работать на моем шаблоне?
      Я не знаю, так как я не телепат. Гарантировано работает на дефолтном шаблоне и шаблонах сделанных на его основе. Но при небольших доработках запускается на любом шаблоне.
      Адаптация к нестандартным шаблонам платная.
      Как проверить что модуль установлен и правильно работает ?
      Откройте любую страницу с сортировкой или пагинацией и посмотрите ее исходный код, если в разделе <head> появилось <meta name="robots" content="noindex,follow" /> значит ок.
      По аналогии смотрим ссылку в пагинации на первую страницу со второй и ссылки в списках на изображениях.
      В случае необходимости технической поддержки пишите в личку:
      Адрес сайта.
      Доступ в административную часть
      Доступ на ftp
      Техническая поддержка сайтам на локальном хостинге не оказывается.
      Техническая поддержка не связанная с работоспособностью модуля платная.
      Автор модуля не несет ответственности за работоспособность модуля и ошибки возникшие в его работе связанные с использованием неоригинального шаблона, сторонних или сильно модифицированных версий движка, использования дополнений от сторонних разработчиков, вызывающих конфликты с кодом данного дополнения.
      Автор гарантирует работу модуля на оригинальном движке OcStore 1.5.х B Opencart 1.5.х скачанных с официальных сайтов.
      Автор не гарантирует работоспособность модуля и не осуществляет консультации и поддержку дополнения, в случае использования покупателем (ворованных, купленных в складчину дополнений, для которых у покупателя отсутствует поддержка авторов дополнений).
      Дополнение распространяется для использования на одном магазине. Для использования на нескольких магазинах, пожалуйста приобретайте лицензию на каждый.
      Добавил snastik Добавлено 27.01.2014 Категория SEO, карта сайта, оптимизация  
    • От Sibselmash
      Приветствую всех! 
      С недавнего времени заметил , что в индекс в вебмастере стали попадать страницы вида 
      /kresla-meshki-rogozhka-flok/?page=1/////////////
      /katalog/klassnye-podarki/valiki-obnimaliki/?limit=75///////////////////////////////////
      /katalog/klassnye-podarki/valiki-obnimaliki/?limit=75////////////////////////////////
       
      В robots.txt стоит запрет и в яндексе и в гугле 
      вида 
      Disallow: /?limit=*
      Disallow: /&limit=*
      и
      Disallow: /?page=*
       
      Но при проверке  в Вебмастере  "Результаты анализа robots.txt" и чеке любой такой мусорной ссылки, она стоит разрешенная , с зеленой галочкой  
       
       
      Галочка seo pro в админке стоит , система os store 1.4.5.1 , robots файл лежит где нужно, вебмастер его видит ,  модулями за последними несколькими месяцами никакими не баловался, однако проблема 
      обострилась именно в последнее время 
       
      Братцы помогите советом , где копать, откуда идет такая генерация , правится ли это как то через системные файлы или на крайний случай, 
      как закрыть на индексацию такие ссылки с задублир. слешами. Сайт постепенно стал понижаться  из за этого в выдаче 
       
       


      Мой файл robots.txt
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.