Специалист менял Robots.txt, прошу его проверить

[Garik72]

Заказывал тут сеоанализ сайта и заодно специалист внес изменения в файл роботс и.htaccess. После чего количество стараниц в поиске у яндекса сократилось на процентов 30.

Прошу поддержки и опытным взглядом посмотрите на мой robots.txt , может сеошник совершил ошибку (закомментировав лишнее) или наоборот все стало ровно :)

Спасибо.

 

User-agent: *
Crawl-delay: 100
Disallow: /admin 
Disallow: /cache 
Disallow: /niks 
Disallow: /catalog 
Disallow: /download 
Disallow: /export 
Disallow: /system 
Disallow: /index.php?route=account 
Disallow: /index.php?route=account/account 
Disallow: /index.php?route=checkout/cart 
Disallow: /index.php?route=checkout/shipping 
Disallow: /index.php?route=common/home 
Disallow: /index.php?route=product/product/captcha 
Disallow: /index.php?route=product/product*&manufacturer_id= 
Disallow: /index.php?route=product/search 
Disallow: /index.php?route=information/contact/captcha 
Disallow: /index.php?route=information/information&information_id= 
Disallow: /index.php?route=account/login 
Disallow: /*route=account/ 
Disallow: /*route=account/login 
Disallow: /*route=checkout/ 
Disallow: /*route=checkout/cart 
Disallow: /*route=affiliate/ 
Disallow: /*route=product/search 
Disallow: /*?sort= 
Disallow: /*?sort 
Disallow: /*&sort= 
Disallow: /*?order= 
Disallow: /*?order 
Disallow: /*&order= 
Disallow: /*?limit= 
Disallow: /*&limit= 
Disallow: /*?filter_name= 
Disallow: /*&filter_name= 
Disallow: /*?filter_sub_category= 
Disallow: /*&filter_sub_category= 
Disallow: /*?filter_description= 
Disallow: /*&filter_description= 
Disallow: /*?tracking= 
Disallow: /*&tracking= 
Disallow: /*?manufacturer 
Disallow: /*?keyword


Clean-param: tracking
Host: "тут ссылка на сайт"
Sitemap: "тут ссылка на sitemap"

[Garik72]

Содержание .htaccess такое:

 

# 1.To use URL Alias you need to be running apache with mod_rewrite enabled. 


# 2. In your opencart directory rename htaccess.txt to .htaccess.


# For any support issues please visit: http://www.opencart.com


Options +FollowSymlinks


# Prevent Directoy listing 
Options -Indexes


# Prevent Direct Access to files
<FilesMatch "\.(tpl|ini|log)">
 Order deny,allow
 Deny from all
</FilesMatch>


<FilesMatch "error.(txt)$">
Order Allow,Deny
Deny from all
</FilesMatch>


# SEO URL Settings
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.nelaton.ru$ [NC]
RewriteRule ^(.*)$ http://nelaton.ru/$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]


# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/ 


RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteRule ^download/(.*) /index.php?route=error/not_found [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]






### Additional Settings that may need to be enabled for some servers 
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that.


# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
# php_flag register_globals off


# 2. If your cart has magic quotes enabled, This may work to disable it:
# php_flag magic_quotes_gpc Off


# 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try
# php_value upload_max_filesize 999M


# 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value post_max_size 999M


# 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_execution_time 200


# 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_input_time 200


# 7. disable open_basedir limitations
# php_admin_value open_basedir none

[chukcha]

Вы заплатили специалисту?

А теперь хотите повторно заплатить за аудит его действий?

[Garik72]

Вы заплатили специалисту?

А теперь хотите повторно заплатить за аудит его действий?

Нет, повторно я платить не хочу.

Почему:

во-первых, я надеюсь что опытные специалисты быстро смогут понять верен файл или нет и ответить на мой вопрос не составит труда,

во-вторых, если настройки верные, все остальные из неопытных смогут скопировать содержание и пользоваться.

[pantagruel964]

Если специалист делал, значит он чем-то руководствовался и может аргументировать свои действия. У него и спросите почему так, а не иначе.

 

 

если настройки верные, все остальные из неопытных смогут скопировать содержание и пользоваться

Они может быть верные только для вашего сайта, а для остальных неопытных достаточно файлов из коробки.

[Garik72]

Если специалист делал, значит он чем-то руководствовался и может аргументировать свои действия. У него и спросите почему так, а не иначе.

Они может быть верные только для вашего сайта, а для остальных неопытных достаточно файлов из коробки.

Ну это понятно, просто индекс страниц упал на 30%, я не то чтобы придираюсь, но может какие грубейшие ошибки присутствуют.

Хотя я думаю все нормально, но повод задуматься все же есть.

[Tom]

htaccess  внешне выглядит не тронутым.

Роботс по большому счёту уже "из коробки " идёт удобоваримый,ну максимум хост указазать и сайтмап .
 
А вот это яндекс считает ошибкой

Clean-param: tracking

я обычно удаляю.  Ну и вот это
 

Crawl-delay: 100  

Что сильно одолевают боты?

Да и по последним требованиям гугла ему нужен доступ к скриптам и стилям шаблона.А так внешне шило-на-мыло сменили.

[Garik72]

htaccess  внешне выглядит не тронутым.

Роботс по большому счёту уже "из коробки " идёт удобоваримый,ну максимум хост указазать и сайтмап .

 

А вот это яндекс считает ошибкой

Clean-param: tracking

я обычно удаляю.  Ну и вот это

 

Crawl-delay: 100  

Что сильно одолевают боты?

Да и по последним требованиям гугла ему нужен доступ к скриптам и стилям шаблона.А так внешне шило-на-мыло сменили.

Спасибо.  

Удалил:

Clean-param: tracking

Crawl-delay: 100  

 

Добавил (после Disallow: /catalog):

Allow: /catalog/view/theme/default/stylesheet

Allow: /catalog/view/javascript

 

Ошибок в яндексе и гугле нет теперь.

[Tom]

Верните дефолтный роботс своей версии.И проделайте те же манипуляции.
 
И вот это что за папки?

Disallow: /cache
Disallow: /niks
Disallow: /export

[Garik72]

 

Верните дефолтный роботс своей версии.И проделайте те же манипуляции.

 

И вот это что за папки?

Disallow: /cache
Disallow: /niks
Disallow: /export

Честно говоря не знаю, не я правил.

Можно с дефолтного, но там придется дубли с поиска и страниц убирать.

Кстати, у разных версий опенкарта роботс не менялся? 

[Tom]

Нет.

[chukcha]

/export

ага и такое может быть - там кажется экспорт в yandex лежит

Но вот каким образом яндекс начинает его сканировать?