Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

robots.txt

boxbaster
 Share

Recommended Posts

florapraktik Mentor

florapraktik

Опубліковано:
Опубліковано:

Надо убирать из сайтмап а не закрывать то что туда попадает

Спасибо!

Что мне делать с такими мыслями: 

1) Сайтмап штатный - генерится автоматом. Как я от туда что-то уберу?

2) Даже если убрать из сайтмапа, сама страница, где в УРЛе перед названием продукта вставлен производитель, никуда не денется и будет проиндексированна. Не так-ли? Сайтмап, это рекомендации, а не обязательные к исполнению правила. Если-бы сайтмап бал правилом, то robot.txt был бы не нужен. По здравому смыслу мне так кажется. Или туплю? 

Надіслати
Поділитися на інших сайтах

Otvet Grand Master

Otvet

Опубліковано:
Опубліковано:

1. Изменить самому или взять готовый вариант

https://opencartforum.com/files/file/2645-seo-page-%D1%83%D0%BB%D1%83%D1%87%D1%88%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F-%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D1%8F-%D1%81%D0%B0%D0%B9%D1%82%D0%B0-oc-15-2x/

2. Сайтмап не должен содержать закрытых страниц, попробуйте скормить такой, пс будут ругаться

Не будет если установить seo_pro

Надіслати
Поділитися на інших сайтах
1

florapraktik Mentor

florapraktik

Опубліковано:
Опубліковано: (змінено)

Спасибо, так и сделал!

Итак, robot.txt не является отдельной задачей, но является частью комплекса мер и задач. Робот+карта+чпу-формирователь+ "можетбытьчтотоещё" .

Как трудно жить!

Змінено користувачем florapraktik
Надіслати
Поділитися на інших сайтах

  • 1 month later...
Alexkul Newbie

Alexkul

Опубліковано:
Опубліковано:

Добрый день всем. 

Решил помочь другу с продвижением его сайта на opencart и заметил в robots.txt странный код 

Disallow: *product*

 

Кто-то из вас встречал это когда-то? Есть ли причины по которым предыдущие seo специалисты могли положить это в роботс?

Сайт: manline.com.ua

Надіслати
Поділитися на інших сайтах

pantagruel964 Mentor

pantagruel964

Опубліковано:
Опубліковано:

 

 

Кто-то из вас встречал это когда-то? Есть ли причины по которым предыдущие seo специалисты могли положить это в роботс?

Похоже, что кого-то обидели, вот и решили нагадить напоследок..

Надіслати
Поділитися на інших сайтах
1

Alexkul Newbie

Alexkul

Опубліковано:
Опубліковано:

Disallow: *product*

 

Что в этой строке вас смутило?

А зачем эта строка может быть нужна? что она дает? 

При чем так странно, что webmaster tools ругается на нее, хоть забиваю на проверку URL сайта, где нет этого слова

Надіслати
Поділитися на інших сайтах

pantagruel964 Mentor

pantagruel964

Опубліковано:
Опубліковано:

 

 

Решил помочь другу с продвижением его сайта

Продвижение споткнулось уже на файле роботса...

 

Удалите строку, читайте доки

Надіслати
Поділитися на інших сайтах
1

Alexkul Newbie

Alexkul

Опубліковано:
Опубліковано:

Дк может ЧПУ заполняется не сразу, это внесено во избежании преждевременного попадания в индекс

Может. Впервые с таким столкнулся и вот интересовало, кто точно знает или использовал такое же

Надіслати
Поділитися на інших сайтах

  • 2 weeks later...
18012016 Newbie

18012016

Опубліковано:
Опубліковано:

Ребята такая байда.....в Гугл Вебмастере -Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.  из 610 стр проиндексировалось 35 и 236 с предупреждением!!!

что лишнее закрыто?

 

  User-agent: *

Disallow: /*route=account/
Disallow: /login/
Disallow: /index.php?route=account/simpleregister
Disallow: /specials/
Disallow: /forgot-password/
Disallow: /search/
Disallow: /cart/
Disallow: /compare-products/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*route=product
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Allow: /catalog/view/theme/default/stylesheet
Allow: /catalog/view/javascript
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /login/
Disallow: /index.php?route=account/simpleregister
Disallow: /specials/
Disallow: /search/
Disallow: /cart/
Disallow: /forgot-password/
Disallow: /compare-products/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*route=product
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
Host: домен сайта
Надіслати
Поділитися на інших сайтах

melsp Community Regular

melsp

Опубліковано:
Опубліковано:

 

Ребята такая байда.....в Гугл Вебмастере -Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.  из 610 стр проиндексировалось 35 и 236 с предупреждением!!!

что лишнее закрыто?

 

 

Посмотрите, какие страницы заблокированы. Возможно, у вас основная категория товаров с именем "Каталог" имеет SEO_URL "catalog". В ней лежат все товары, Google их и заблокировал. 

Надіслати
Поділитися на інших сайтах

1Andrew1 Proficient

1Andrew1

Опубліковано:
Опубліковано:

Звездочки в начале поставьте

 

Т.е. получается что бы закрыть от индексации кулфильтр, нужно вместо:

 

Disallow: /&coolfilter*

Disallow: /?coolfilter*

 

Сделать:

 

Disallow: /*&coolfilter

Disallow: /*?coolfilter

 

?

Надіслати
Поділитися на інших сайтах

18012016 Newbie

18012016

Опубліковано:
Опубліковано:

Ребята такая байда.....в Гугл Вебмастере -Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.  из 610 стр проиндексировалось 35 и 236 с предупреждением!!!


что лишнее закрыто?


 


  User-agent: *


Disallow: /*route=account/

Disallow: /login/

Disallow: /index.php?route=account/simpleregister

Disallow: /specials/

Disallow: /forgot-password/

Disallow: /search/

Disallow: /cart/

Disallow: /compare-products/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /*route=product

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Allow: /catalog/view/theme/default/stylesheet

Allow: /catalog/view/javascript

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=


 

User-agent: Yandex

Disallow: /*route=account/

Disallow: /login/

Disallow: /index.php?route=account/simpleregister

Disallow: /specials/

Disallow: /search/

Disallow: /cart/

Disallow: /forgot-password/

Disallow: /compare-products/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /*route=product

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

 


Host: домен сайта

  • +1 1
Надіслати
Поділитися на інших сайтах

  • 1 month later...
Carlsson Newbie

Carlsson

Опубліковано:
Опубліковано:

Здравствуйте. 

Помогите пожалуйста найти виновника и правильно заблокировать его.

Гугл и другие сео анализаторы нашли в ключевых словах моего молодого магазина следующее:

      3. руб.
 
4. russian
 
5. кабинет
 
6. личный
 
7. cart
 
8. macbook
 
9. add
 
   
 
11. корзину (формы слова: 3)
 
12. информация (формы слова: 3)
 
13. english
 
14. заказа (формы слова: 4)
 
15. показать
 
16.  
 
17. закладки
 
18. интернет
 
     

Как я понимаю, у поисковик индексирует выбор языка, валюту, корзину, кабинет и т.д. 

 

Мой robots.txt выглядит так:

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
 
 
Подскажите как правильно исключить фигню из индексации
  • +1 1
Надіслати
Поділитися на інших сайтах

  • 2 weeks later...
m11 Community Regular

m11

Опубліковано:
Опубліковано:

Кто Бинг вебмастер настраивал подскажите что и как Все сделано как в гугл и яндекс два года висит и нихера нет ни одной страницы в поиске

Надіслати
Поділитися на інших сайтах

Andris Community Regular

Andris

Опубліковано:
Опубліковано: (змінено)

Что за дрянь этот опен карт почему Бинг не берет в поиск ошибка 403

 warning.png 403 (Forbidden)

Я бы по другому вопрос поставил - Что за дрянь этот Бинг, который в течение 2-х лет не видит сайт.

Уж не знаю, на территории какой страны продает Ваш магазин, но в РФ и ближнем зарубежье доля этого поисковика ничтожна мала.

Я на него внимание вообще не обращаю.

Змінено користувачем Andris
Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
 Share
Перейти до списку тем

  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку

Покупцям

Розробникам

Корисна інформація

Останні розширення

×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.

  Я даю згоду