Правильный robots.txt

[chukcha]

9 минут назад, AlexDW сказал:

директивы host

фтопку

[killcomp]

Подскажите как повлияет запрет директории /cache, проблема в том что яндекс проиндексировал картинки как отдельные страницы в вебмастере 2800 страниц загружено и только 800 в поиске, 2000 всякого хлама по типу :

 

/image/cache/catalog/Saeco/Philips EP 3558/20039883b3-800x500.jpg   
Недостаточно качественная
Страница исключена из поиска в результате работы специального алгоритма. Если в будущем алгоритм сочтёт страницу достаточно релевантной запросам пользователей, она появится в поиске автоматически.

 

[sanek83f]

Подскажите может кто сталкивался. Если в файле стоит 

Disallow: /catalog

То гугл сервисы проверки видят покорёженный сайт, не видят его стили. И в моб версии пишут ошибки которых нет, шире экрана и прочее. Убираю этот запрет и всё красиво 

[SiteMix]

Можно добавить:

Allow: /catalog/view/*js*
Allow: /catalog/view/*css*

[sanek83f]

2 часа назад, SiteMix сказал:

Можно добавить:

Allow: /catalog/view/*js*
Allow: /catalog/view/*css*

И при этом оставить 

Disallow: /catalog ? 

Спасибо, думал на форумах уже никто не отвечает) 

[SiteMix]

2 часа назад, sanek83f сказал:

И при этом оставить 

Disallow: /catalog ? 

Да, это оставить. А добавить после или в конце.

[Dronius]

может кто подскажет, обратил внимание, что в Яндекс Вебмастере стали попадать в индекс страницы типа:     /search/?tag=......

Есть смысл добавить в robots.txt ?

Disallow: /search

[Kerry69]

Первый раз сталкиваюсь с опенкартом и не пойму что это в начале "// === Lightning code start" и в конце роботса "// === Lightning code endUser-agent: *" кто может помочь? может это нужно убрать?
// === Lightning code start
User-agent: *
Disallow: /*li_op=
Disallow: /*tag=
Disallow: /*search=
Disallow: /*manufacturer_id=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*limit=
Disallow: /*filter_name=
Disallow: /*filter_sub_category=
Disallow: /*filter_description=
// === Lightning code endUser-agent: *

Host: https://мойсайт
Sitemap: https://мойсайт/index.php?route=extension/feed/google_sitemap

 

и можно ли убрать этот сайтмап и самостоятельно сгенирировать нормальный https://мойсайт/sitemap.xml, т.к сейчас страницы индексируются раз в неделю и это очень нагнетает, нужно чаще обновление. Помогите плиз.

[SiteMix]

15 минут назад, Kerry69 сказал:

// === Lightning code start

...

// === Lightning code end

Очевидно, этот фрагмент относиться к модулю OpenCart Lightning

 

17 минут назад, Kerry69 сказал:

и можно ли убрать этот сайтмап и самостоятельно сгенирировать нормальный https://мойсайт/sitemap.xml, т.к сейчас страницы индексируются раз в неделю и это очень нагнетает, нужно чаще обновление.

Да, можно сгенерировать свой sitemap, но это никак не ускорит индексирование.

К тому же, встроенный sitemap генерируется при обращении к ссылке, а свой надо будет генерировать каждый раз при изменениях на сайте.

[Kerry69]

21 час назад, SiteMix сказал:

Очевидно, этот фрагмент относиться к модулю OpenCart Lightning

 

Да, можно сгенерировать свой sitemap, но это никак не ускорит индексирование.

К тому же, встроенный sitemap генерируется при обращении к ссылке, а свой надо будет генерировать каждый раз при изменениях на сайте.

Но как востпринимает робот сайтмап с таким урлом? Такой урл у сайтмап может ухудшать индексирование?

[SiteMix]

6 минут назад, Kerry69 сказал:

Но как востпринимает робот сайтмап с таким урлом? Такой урл у сайтмап может ухудшать индексирование?

Роботу без разницы.

Кроме того, если файл .htaccess не редактировался, то можно роботу скормить и такой путь https://мойсайт/sitemap.xml и он откроется (в 2.3 перенаправится).

[dima2000]

подскажите как удалить модификацию ?

[SiteMix]

7 минут назад, dima2000 сказал:

подскажите как удалить модификацию ?

Какую?

[dima2000]

3 минуты назад, SiteMix сказал:

Какую?

robot_noindex_simple.ocmod.xml

[chukcha]

27 минут назад, dima2000 сказал:

robot_noindex_simple.ocmod.xml

А чем она вам мешает?

[dima2000]

42 минуты назад, chukcha сказал:

А чем она вам мешает?

 

работает не везде где написано в описании, принял решение купить другой платный модуль про который тут говорилось

и боюсь чтобы не конфликтовало ничего, стараюсь делать минимум вмешательств в работу движка.

Змінено 12 грудня 2018 користувачем dima2000

[chukcha]

8 минут назад, dima2000 сказал:

работает не везде где написано в описании

Подробнее

 

 

[dima2000]

2 часа назад, chukcha сказал:

Подробнее

 

 

 

Я поторопился с выводами, все работает. Видимо кэш сработал когда сразу проверял. Но вопрос открыт все-таки, как удалить если понадобится ?

[chukcha]

Ну, я не знаю, как устанавливали и куда

[dima2000]

устанавливал через Установщик дополнений OCMOD

[chukcha]

ну так оттуда и удалите..

[dima2000]

34 минуты назад, chukcha сказал:

ну так оттуда и удалите..

 

так расскажите как там это сделать если никаких кнопок типа "удалить" нету.

[chukcha]

Как это нет?
Ищите..
Не только удалить, но есть деактивировать

[dima2000]

ХМ , может вы говорите про другую страницу "Менеджер дополнений" ?

сам её уже нашел.

[LinaVM]

Помогите пожалуйста. Проверяла индекс страницы в выдаче Гугла, он её не показывает, но показывает её только с вот таким окончанием урла ?sort=rating&order=DESC и вот таким ?sort=p.model&order=ASC. НО пишет, что информация об этих страницах не доступна, так как я закрыла её в robots. Я действительно закрыла её в роботс записью "Disallow: /*?sort=" Эти окончания формируются при сортировке по цене, рейтингу, количеству вывода на страницу, и тд. Но я ведь закрыла индексацию после "?sort=". Как они повылезали? 

 

Змінено 10 січня 2019 користувачем LinaVM