Jump to content

Recommended Posts

Добрый день, форумчане.

 

Думаю над robots.txt. Выкурил уже весь форум, но решения как такового нет. Для того чтобы избавиться от дублей планирую закрыть категории товаров с надеждой на то, что будут индексироваться товары по прямым ссылкам.

Посмотрите мой robots.txt, пожалуйста, всё ли так делаю.

User-agent: *
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /index.php?route=account/*
Disallow: /index.php?route=checkout/*
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/*
Disallow: /*route=checkout/*
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?*
Disallow: /*&*
Disallow: /matreshki
Disallow: /matreshki/semenovskaya
Disallow: /matreshki/tradicionnye
Disallow: /matreshki/avtorskaya
Disallow: /matreshki/neobychnye
Disallow: /matreshki/futlyary-matreshki
Disallow: /beresta
Disallow: /beresta/posuda
Disallow: /beresta/nabory-dlya-speciy
Disallow: /beresta/salfetnicy
Disallow: /hohloma
Disallow: /hohloma/nabory-predmetov
Disallow: /hohloma/doski
Disallow: /shkatulki
Disallow: /shkatulki/mstyora
Disallow: /shkatulki/paleh


User-agent: Yandex
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /index.php?route=account/*
Disallow: /index.php?route=checkout/*
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/*
Disallow: /*route=checkout/*
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?*
Disallow: /*&*
Disallow: /matreshki
Disallow: /matreshki/semenovskaya
Disallow: /matreshki/tradicionnye
Disallow: /matreshki/avtorskaya
Disallow: /matreshki/neobychnye
Disallow: /matreshki/futlyary-matreshki
Disallow: /beresta
Disallow: /beresta/posuda
Disallow: /beresta/nabory-dlya-speciy
Disallow: /beresta/salfetnicy
Disallow: /hohloma
Disallow: /hohloma/nabory-predmetov
Disallow: /hohloma/doski
Disallow: /shkatulki
Disallow: /shkatulki/mstyora
Disallow: /shkatulki/paleh

Host: www.rusgifts.com

 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Similar Content

    • By legioner26
      666.00 руб
      Скачать/Купить дополнение


      SEO Генератор мета тегов (категории, товары), SEO URL
      Модуль SEO генератор мета описания позволяет провести оптимизацию всех категорий и товаров. Очень прост в эксплуатации
      При первом прохождении  перезаписывает meta по все товарам, категориям, и сохраняет информацию о заполнении проставляя метки. 
      Все что от Вас требуется, это задать шаблон для заполнения meta.
       
      Также добавлена возможность автоматической массовой генерации отсутствующих SEO URL в товарах и категориях,
      при нажатии на кнопку Обновить ЧПУ (SEO URL)  модуль проставить URL во всех товарах и категориях в которых они отсутствуют.
       
      Возможность устранения дублей SEO URL
       
      ПРИМЕР заполнения прилагается в скриншоте.
       
      УСТАНОВКА
      1. Установить модификатор через Установку дополнения, очистить кешь.
      2. Скопировать папку admin в корень сайта.
      УСТАНОВКА для ОС 3.х
       Устанавливаем архив Uodate-Meta3x.ocmod.zip через Установку расширений, чистим кеш.
      ПРИМЕЧАНИЕ
      Модуль не закублен с открытым исходным кодом, не требует ключа активации.
      Тех. поддержка осуществляется для клиентов купившим модуль для конкретного ресурса, поэтому при покупке обязательно указываем Ваш домен.
       
      ___________________
       
      Также советую приобрести модуль от разработчика @chukcha Редирект Универсал 
      Незаменимый инструмент для редиректов, имеется 410 жизненно важный для удаленных товаров.
       
      Добавил legioner26 Добавлено 31.03.2019 Категория SEO, карта сайта, оптимизация Системные требования Метод активации Без активации Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1 Обращение к серверу разработчика Нет Старая цена 970  
    • By legioner26
      Модуль SEO генератор мета описания позволяет провести оптимизацию всех категорий и товаров. Очень прост в эксплуатации
      При первом прохождении  перезаписывает meta по все товарам, категориям, и сохраняет информацию о заполнении проставляя метки. 
      Все что от Вас требуется, это задать шаблон для заполнения meta.
       
      Также добавлена возможность автоматической массовой генерации отсутствующих SEO URL в товарах и категориях,
      при нажатии на кнопку Обновить ЧПУ (SEO URL)  модуль проставить URL во всех товарах и категориях в которых они отсутствуют.
       
      Возможность устранения дублей SEO URL
       
      ПРИМЕР заполнения прилагается в скриншоте.
       
      УСТАНОВКА
      1. Установить модификатор через Установку дополнения, очистить кешь.
      2. Скопировать папку admin в корень сайта.
      УСТАНОВКА для ОС 3.х
       Устанавливаем архив Uodate-Meta3x.ocmod.zip через Установку расширений, чистим кеш.
      ПРИМЕЧАНИЕ
      Модуль не закублен с открытым исходным кодом, не требует ключа активации.
      Тех. поддержка осуществляется для клиентов купившим модуль для конкретного ресурса, поэтому при покупке обязательно указываем Ваш домен.
       
      ___________________
       
      Также советую приобрести модуль от разработчика @chukcha Редирект Универсал 
      Незаменимый инструмент для редиректов, имеется 410 жизненно важный для удаленных товаров.
       
    • By IIIBarsik
      Приветствую всех гуру! 
      Я можно сказать еще "лунтик", поэтому прошу не кидаться тапками, а оказать помощь в вопросе.
       
      Есть следующая логика рубрикатора товаров: 
      Главные категории по принципу: Тип товара (Линейные светильники, Купольные, Подвесные и т.д.  ) и Применение (Промышленные, Уличные, Офисные и т.д.) Подкатегории по принципу названия серии товаров: Название1, Название2 (это как есть автомобили Форд и у них есть серии Форд Фьюжен, Форд Фокус и т.д.) Товар (Форд Фокус 3, Форд Фьюжен Гибрид) В рубрикаторе прописано, что у одной подкатегории может быть несколько главных категорий. При этом товары в подкатегории одни и те же
      Поясню это гипотетическими ссылками:
      домен.ру/главная-категория-1/подкатегория-1/товар-1
      домен.ру/главная-категория-2/подкатегория-1/товар-1
      Выходит дубль
      Рубрикатор утвержден и менять не хотят, на мои аргументы о дублях "это должен решить ты"
       
      Идея сайта, что в меню показываем только Главные категории, при нажатии на них пользователь попадает на страницу с фильтрами
      Пример такого сайта: https://www.fagerhult.com/ru (в меню сверху Продукция - выбираем категорию)
       
      И вот я начал решать как уйти от дублей:
       
      Первый путь:
      Нашел модуль фильтра для опенкарт: Мегафильтр
      Этот модуль умеет делать Aliases:

       
      И я даже решил, что это выход, но что-то мне подсказывает, что это не так (паучье чутье не иначе). Думаю, что по СЕО будут плохо продвигаться категории с алиас
       
      Второй путь:
      1. Делаю возможность присвоения одной категории несколько главных категорий: либо вот так, либо модулем (нашел все это в обсуждение)
      2. Смотрим по запросам какие главные категории важнее в поиске и присваиваем им rel=canonical (как вот тут )
      Но тут же получаем, что какие то главные категории не будут особо продвигаться, а возможно это понадобиться либо сейчас, либо в будущем
      Да и ущемлять целую категорию товаров, не хочется
      Тоже вроде бы как плохой путь
       
      Третий путь:
      1. В админке ocStore 2.3 Система - Настройки - Мой Магазин - Сервер ставлю "ЧПУ товаров с категориями" значение "нет", получаю такую ссылку домен/товар1
      2. Делаю возможность присвоения одной категории несколько главных категорий как в 2-ом пути
      Но ссылка на товар тогда обрезанная, не с полной вложенностью. На сколько знаю это тоже не хорошо
       
      По факту не нравиться не один из вариантов
       
      Поэтому обращаюсь к вам, гуру опенкарта и СЕО! Объясните как реализовать на ocStore 2.3:
       Вложенность одной подкатегории в несколько главных категорий, при этом не иметь дублей для поискового робота  Нормальные URL с полной вложенностью (домен.ру/главная-категория-1/подкатегория-1/товар-1 на сколько я понимаю такой вид есть зер гуд, а вот такой домен.ру/товар-1 или домен.ру/главная-категория-1/товар-1 не есть хорошо, но может я не прав) или поделитесь хитростью как можно сделать иначе и это тоже будет правильно Во многих крупных магазинах (220вольт, мегафон, тот же фагерхульт, который я приводил в пример по структуре каталоге выше) увидел такую логику: В url товара отсекается подкатегория домен/продукция/главная-категория-1/товар, либо url  идет с одной степенью вложенности домен/products/товар, либо вообще без категорий домен/товар. При этом хлебные крошки с большой степенью вложенности в товаре. Не совсем понимаю как и зачем это сделано, мне просто не хватает теории (я гуглил, честно много гуглил, неделю читал всякое, но так и не понял зачем делают так и как это сказывается на СЕО)  
      По поводу проекта: 
      - OcStore 2.3, чистый дистрип, делаю с нуля
      - Товаров около 10.000 и это число будет расти
      - Шаблон самописный (defaut скопировал и переделал в свой) без лишних модулей, без лишних финтифлюшек, как любят делать на продажу (понимаю, для универсальности, но по мне так это лишние таблицы в бд, лишний код и больший вес - скорость в приоритете)
      - Стоит мегафильтр, настроенный на небольшое количество параметров, чтобы не плодить страницы
       
    • By Vasyasever
      Добрый день! Ребят, столкнулись с такой проблемой, что в сеч консоли не индексируются страницы товаров и еще часть страниц сайта, по подсказке в сеч консоли пишет, что индексация заблокирована в файле Robots.txt.
      1.Не могу понять ,что закрыто или что не дописали, (есть подозрение , что его составляли от фонаря) 
      файл выглядит так : 
       
      User-agent: *
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Disallow: /*?tracking=
      Disallow: /*&tracking=
      User-agent: Yandex
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Clean-param: tracking
      Host: https://bogema2002.com.ua/ 
       
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.