Очень много URL. Откуда?

[vlad9bu]

Всем доброго времени суток, уважаемые форумчане.

Поставил свой сайт на индексацию. Гугл проверил и начал свое дело. Все вроде хорошо, каждый день по 100 - 150 ссылок индексируется, но меня смутила одна вещь, откуда у меня в магазине аж СТОЛЬКО ссылок - 2481. Товаров 522, + категории 200, + производители 190 ну и так, по мелочам. В лучшем случае - 1500. http://gyazo.com/887535548334a97cc3da2d5d23b7cec9

В robots.txt по скрывал все что не надо:

User-agent: *
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /wishlist
Disallow: /login
Disallow: /checkout
Disallow: /simpleregister
Disallow: /simplecheckout
Disallow: /vqmod
Disallow: /account
Host: alcosale.org

 

Да и еще. Исправил ссылки типа /index.php?route=product/product&product_id=43 на нормальные: /product. Использовал для этого инструкцию [url=http://loco.ru/materials/204-opencart-custom-seo-urls]http://loco.ru/materials/204-opencart-custom-seo-urls

Грешу на то, что данным способом просто скрыл их от глаз (я имею ввиду /index.php?route=product/product&product_id=43), но они все равно остались и уверенно себя чувствуют. А поисковики их успешно индексируют.

Кто что думает по этому поводу?

[freelancer]

что

Да и еще. Исправил ссылки типа /index.php?route=product/product&product_id=43 на нормальные: /product. Использовал для этого инструкцию http://loco.ru/materials/204-opencart-custom-seo-urls

что за манеры пользоваться непонятными ресурсами
https://opencartforum.com/topic/10270-дубли-страниц-seopro/
это, кстати уже есть в последней версии ocStore
robots.txt зря трогали
 

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=

 

там неспроста

[vlad9bu]

что

что за манеры пользоваться непонятными ресурсами

https://opencartforum.com/topic/10270-дубли-страниц-seopro/

это, кстати уже есть в последней версии ocStore

robots.txt зря трогали

 

там неспроста

У меня не было robots.txt. Пришлось самому лепить. А то что Вы написали, добавлю сейчас. Спасибо.

 

Что касается левых ресурсов - грешен) но думал что это просто косяк самого ОС, а поскольку СеоПро не ставало как надо, то наворотил всего что нашел.

[freelancer]

посмотрите robots.txt из релиза, там много чего, я только часть привел.

[vlad9bu]

Что то я не нахожу его в релизе. Прошелся мельком по поиску, нет пути или ссылки. В общем не могу найти у себя во всяком случае. 

 

Подскажите пожалуйста, где его найти или скиньте свой для примера.

 

Спасибо

[freelancer]

robots.txt

[vlad9bu]

robots.txt

 

Спасибо большое. Забрал и заменил!.

[vlad9bu]

Вопрос решен посредством:

- установки Seo Pro + Ded Cow;

- обновление sitemap.xml

- обновление robots.txt (при поддержке freelancer)

 

 Всем спасибо и удачи  :-)

[AN123]

robots.txt

 

Подскажите, пожалуйста, новичку, такой роботс если себе поставлю, он подойдет под все поисковики? и нужно ли в нем что-то  еще менять? спасибо!