Помогите, пожалуйста, с robots.txt

DeExp · 21 серпня 2016

Помогите, пожалуйста, с robots.txt

1. В поиске появились дубли страниц
http://prnt.sc/c8frkm
Как их можно закрыть от индексации?

2. Гугл заблокировал следующие ресурсы:
http://prnt.sc/c8fsxs
Как их разблокировать?

PeterStudio · 30 серпня 2016

1. Добавить в robots:

Disallow /*?page=

Disallow /*&page=

nebo · 30 серпня 2016

В таком случае необходимо добавить <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> в раздел <head> постраничных категорий (начиная со второй страницы и до последней).

На первую НИВКОЕМ случае добавлять НЕЛЬЗЯ!

thentru · 30 серпня 2016

покажите ваш robots.txt

DeExp · 31 серпня 2016

покажите ваш robots.txt

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Allow: /system/storage/cache/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=


User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Allow: /system/storage/cache/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking


Добавил такие строки:
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Allow: /system/storage/cache/

Но гугл все равно блокировку страниц не снимает хоть и подсвечивает теперь зеленым

http://prntscr.com/ccg42x

http://prntscr.com/ccg4e3

Что я не так делаю?

thentru · 31 серпня 2016

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Allow: /system/storage/cache/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Allow: /system/storage/cache/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Добавил такие строки:

Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Allow: /system/storage/cache/

Но гугл все равно блокировку страниц не снимает хоть и подсвечивает теперь зеленым
http://prntscr.com/ccg42x
http://prntscr.com/ccg4e3

Что я не так делаю?

так правильно страница проходит валидацию у Гугла, т.к. вы разрешили ему доступ к скриптам
а заблокированные страницы должны пропасть с обновлением базы поисковой системы

Змінено 31 серпня 2016 користувачем thentru

DeExp · 31 серпня 2016

так правильно страница проходит валидацию у Гугла, т.к. вы разрешили ему доступ к скриптам

а заблокированные страницы должны пропасть с обновлением базы поисковой системы

Вся проблема в том, что после изменения файла robots.txt уже прошло 2 обновления Гугла, но страницы из блокировки не вышли

thentru · 31 серпня 2016

Вся проблема в том, что после изменения файла robots.txt уже прошло 2 обновления Гугла, но страницы из блокировки не вышли

на странице Сканирование -> Инструмент проверки файла robots.txt нажали кнопку Отправить?

Какая дата стоит Дата последней версии: ...

DeExp · 31 серпня 2016

на странице Сканирование -> Инструмент проверки файла robots.txt нажали кнопку Отправить?

Какая дата стоит Дата последней версии: ...

Да, отправку делал. Сейчас дата стоит 27 августа 2016

thentru · 31 серпня 2016

В таком случае, вы сообщили поисковику об изменениях и одному Гуглу известно когда он посчитает нужным обновить информацию

Tom · 31 серпня 2016

Стоит запрет на папку catalog,но стоит разрешение на скрипты.В этом может быть причина того что ругается гугл.

Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
.............................................
Disallow: /catalog

и вот это убрать можно

Clean-param: tracking

добавить вместо этого

Host: ссылка на магазин
Sitemap: ссылка на сайтмап

thentru · 31 серпня 2016

Стоит запрет на папку catalog,но стоит разрешение на скрипты.В этом может быть причина того что ругается гугл.
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
.............................................
Disallow: /catalog
и вот это убрать можно
Clean-param: tracking
добавить вместо этого
Host: ссылка на магазин
Sitemap: ссылка на сайтмап

Том, а порядок директив имеет значение?

Tom · 31 серпня 2016

Я бы ответил если бы успевал следить за новыми требованиями поисковиков.Сейчас, то что я описал,было протестировано буквально неделю назад и роботс прошёл проверку и судя по отчётам всё в порядке с индексацией.Я бы ещё открыл путь к картинкам в папке catalog.Ну а остальное сугубо индивидуально.Нужно смотреть используемые модули(к примеру фильтры) и там многое закрывать... итд

Ну а так если не изменяет память первыми идут разрешения,потом запреты.И не забывать про отдельные директивы для яндекса.Ему гугл не указ ))))

DeExp · 31 серпня 2016

Стоит запрет на папку catalog,но стоит разрешение на скрипты.В этом может быть причина того что ругается гугл.
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
.............................................
Disallow: /catalog
и вот это убрать можно
Clean-param: tracking
добавить вместо этого
Host: ссылка на магазин
Sitemap: ссылка на сайтмап

Clean-param: tracking убрал, Host и Sitemap ставить один раз внизу или и для гугла и яндекса отдельно?

"Стоит запрет на папку catalog,но стоит разрешение на скрипты.В этом может быть причина того что ругается гугл" - как тут можно иначе прописать чтобы блокировку Гугла снять? Сейчас получается что весь сайт в блоке стоит.

Tom · 31 серпня 2016

Host и Sitemap ставить один раз внизу или и для гугла и яндекса отдельно?

Один раз в самом низу.

DeExp · 1 вересня 2016

Спасибо за советы - поправил - жду обновления от Гугла.

Подскажите что можно сделать с повторяющимися метописаниями и тайтлами?

http://prntscr.com/cctwvy

kossdp · 2 вересня 2016

тоже столкнулся с проблемой в гугл вебмастере, блокируются URL, не могу найти проблему, пользовался и стандартным роботсом " из коробки ", проблема та же...

сейчас попробовал изменить роботс на такой вид :

User-agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

Host: http://iphonov.net.ua
Sitemap: http://iphonov.net.ua/index.php?route=feed/google_sitemap_fast

подскажите что изменить/добавить или убрать...

В индексе хочется увидеть только то что нужно, главную, категории,товары и статьи и новости, ( Шаблон Unishop )

htaccess віглядит так :

# 1.To use URL Alias you need to be running apache with mod_rewrite enabled.

# 2. In your opencart directory rename htaccess.txt to .htaccess.

# For any support issues please visit: http://www.opencart.com

Options +FollowSymlinks

# Prevent Directoy listing
Options -Indexes

# Prevent Direct Access to files

Order deny,allow
Deny from all

# SEO URL Settings
RewriteEngine On
# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/

RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteRule ^system/download/(.*) index.php?route=error/not_found [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]
RewriteCond %{QUERY_STRING} ^route=common/home$
RewriteCond %{REQUEST_METHOD} !^POST$
RewriteRule ^index\.php$ http://%{HTTP_HOST}? [R=301,L]

php_value session.cookie_domain .iphonov.net.ua
php_value max_input_vars 4000

ExpiresActive On
ExpiresByType image/jpg "access 1 year"
ExpiresByType image/jpeg "access 1 year"
ExpiresByType image/gif "access 1 year"
ExpiresByType image/png "access 1 year"
ExpiresByType text/css "access 1 month"
ExpiresByType text/html "access 1 month"
ExpiresByType application/pdf "access 1 month"
ExpiresByType text/x-javascript "access 1 month"
ExpiresByType application/x-shockwave-flash "access 1 month"
ExpiresByType image/x-icon "access 1 year"
ExpiresDefault "access 1 month"

### Additional Settings that may need to be enabled for some servers
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
# php_flag register_globals off

# 2. If your cart has magic quotes enabled, This may work to disable it:
# php_flag magic_quotes_gpc Off

# 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try
# php_value upload_max_filesize 999M

# 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value post_max_size 999M

# 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_execution_time 200

# 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_input_time 200

# 7. disable open_basedir limitations
# php_admin_value open_basedir none

Змінено 2 вересня 2016 користувачем kossdp

Вхід

Помогите, пожалуйста, с robots.txt

Recommended Posts

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Створити обліковий запис

Вхід

Зараз на сторінці 0 користувачів

Покупцям

Розробникам

Корисна інформація

Останні розширення

Important Information