Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Убираем дубли в robots


Рекомендованные сообщения

  • 4 недели спустя...

Здравствуйте!

 

Буду благодарен, если посмотрите мой robots.txt. Он стандартный, я в нем ничего не менял. Надо ли в нем что-то настраивать для улучшения результатов индексации? У меня проиндексировано 370 страниц на сайте, но по факту их раза в 3 больше.

User-agent: *Disallow: /*route=account/Disallow: /*route=affiliate/Disallow: /*route=checkout/Disallow: /*route=product/searchDisallow: /index.php?route=product/product*&manufacturer_id=Disallow: /adminDisallow: /catalogDisallow: /downloadDisallow: /systemDisallow: /*?sort=Disallow: /*&sort=Disallow: /*?order=Disallow: /*&order=Disallow: /*?limit=Disallow: /*&limit=Disallow: /*?filter_name=Disallow: /*&filter_name=Disallow: /*?filter_sub_category=Disallow: /*&filter_sub_category=Disallow: /*?filter_description=Disallow: /*&filter_description=Disallow: /*?tracking=Disallow: /*&tracking=User-agent: YandexDisallow: /*route=account/Disallow: /*route=affiliate/Disallow: /*route=checkout/Disallow: /*route=product/searchDisallow: /index.php?route=product/product*&manufacturer_id=Disallow: /adminDisallow: /catalogDisallow: /downloadDisallow: /systemDisallow: /*?sort=Disallow: /*&sort=Disallow: /*?order=Disallow: /*&order=Disallow: /*?limit=Disallow: /*&limit=Disallow: /*?filter_name=Disallow: /*&filter_name=Disallow: /*?filter_sub_category=Disallow: /*&filter_sub_category=Disallow: /*?filter_description=Disallow: /*&filter_description=Clean-param: tracking
Ссылка на комментарий
Поделиться на других сайтах


ЧпУ ссылки на регистрацию, корзину, и прочее аналоги того, что есть в в версии без ЧПУ нужно закрывать

Ссылка на комментарий
Поделиться на других сайтах

ЧпУ ссылки на регистрацию, корзину, и прочее аналоги того, что есть в в версии без ЧПУ нужно закрывать

На такого рода страницы ссылки не ЧПУ.

Ссылка на комментарий
Поделиться на других сайтах


Тогда, наверное, достаточно. Но точнее можно сказать глянув сайт.

Ссылка на комментарий
Поделиться на других сайтах

  • 2 недели спустя...

Здравствуйте! Прошу подсказки и помощи. Я не разбираюсь толком в дублях и проч. мало того, пытаюсь понять, читаю, но все равно не понимаю :ph34r:  сложно еще для меня...В админпанели с помощью OC Team проявилась такая картина:

Предупреждение: Дубли Seo-Keyword были найдены в базе! Проверьте список ниже.close.png

Тип: Название (Заголовок) Query Url-Alias (keyword) Действия

Неизвестный тип common/home  

Неизвестный тип common/home  

Неизвестный тип account/address address-book  

Неизвестный тип account/address address-book  

Неизвестный тип affiliate/forgotten affiliate-forgot-password  

Неизвестный тип affiliate/forgotten affiliate-forgot-password

Неизвестный тип affiliate/login affiliate-login  

Неизвестный тип affiliate/login affiliate-login

Неизвестный тип affiliate/logout affiliate-logout  

Неизвестный тип affiliate/logout affiliate-logout  

Неизвестный тип affiliate/payment affiliate-payment-options  

Неизвестный тип affiliate/payment affiliate-payment-options

Неизвестный тип affiliate/tracking affiliate-tracking-code  

Неизвестный тип affiliate/tracking affiliate-tracking-code

Неизвестный тип affiliate/transaction affiliate-transactions  

Неизвестный тип affiliate/transaction affiliate-transactions

Неизвестный тип affiliate/account affiliates  

Неизвестный тип affiliate/account affiliates

Неизвестный тип product/manufacturer brands  

Неизвестный тип product/manufacturer brands  

Неизвестный тип affiliate/password change-affiliate-password  

Неизвестный тип affiliate/password change-affiliate-password

Неизвестный тип account/password change-password  

Неизвестный тип account/password change-password

Неизвестный тип checkout/checkout checkout  

Неизвестный тип checkout/checkout checkout  

Неизвестный тип product/compare compare-products  

Неизвестный тип product/compare compare-products

Неизвестный тип information/contact contact-us  

Неизвестный тип information/contact contact-us  

Неизвестный тип account/register create-account  

Неизвестный тип account/register create-account  

Неизвестный тип affiliate/register create-affiliate-account  

Неизвестный тип affiliate/register create-affiliate-account

Неизвестный тип account/download downloads  

Неизвестный тип account/download downloads  

Неизвестный тип account/edit edit-account  

Неизвестный тип account/edit edit-account

Неизвестный тип affiliate/edit edit-affiliate-account  

Неизвестный тип affiliate/edit edit-affiliate-account  

Неизвестный тип account/forgotten forgot-password  

Неизвестный тип account/forgotten forgot-password  

Неизвестный тип checkout/voucher gift-vouchers  

Неизвестный тип checkout/voucher gift-vouchers  

Неизвестный тип account/login login  

Неизвестный тип account/login login

Неизвестный тип account/logout logout  

Неизвестный тип account/logout logout

Неизвестный тип account/account my-account  

Неизвестный тип account/account my-account  

Неизвестный тип account/newsletter newsletter  

Неизвестный тип account/newsletter newsletter  

Неизвестный тип account/order order-history  

Неизвестный тип account/order order-history

Неизвестный тип account/return/insert request-return  

Неизвестный тип account/return/insert request-return  

Неизвестный тип account/return returns  

Неизвестный тип account/return returns

Неизвестный тип account/reward reward-points  

Неизвестный тип account/reward reward-points  

Неизвестный тип product/search search  

Неизвестный тип product/search search

Неизвестный тип information/sitemap sitemap  

Неизвестный тип information/sitemap sitemap  

Неизвестный тип product/special specials  

Неизвестный тип product/special specials

Неизвестный тип account/transaction transactions  

Неизвестный тип account/transaction transactions  

Неизвестный тип account/wishlist wishlist  

Неизвестный тип account/wishlist wishlist

Что все это значит и что с этим нужно делать, просветите пожалуйста. И достаточно ли только этого анализа для выявления дублей страниц. Много веток прочитала,но повторюсь, не могу разобраться, где как и что...СеоПро не стоит, есть только deadcow SEO.

сайт: http://millypolly.ru/

 

И еще не совсем по теме, ну может кто подскажет:

Тоже интересно,нужно ли это исправлять,если да,то как удобнее и проще. Спасибо заранее, если кто откликнется :wub:

Ссылка на комментарий
Поделиться на других сайтах


  • 4 недели спустя...

поставила sitemap http://parketpol24.ru/sitemap_xml

 

и при добавлении в гугл вебмастер, при проверке сайтмапа он мне пишет

#ТипПроблемаОписаниеКоличество проблемПримерСтрокаОбнаружено

1
 
Предупреждения
Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
4 662
Значение: http://parketpol24.ru/
-
22 марта 2014 г.
-
22 марта 2014 г.
-
22 марта 2014 г.
 
фото в приложении
 
это нормально или что то не правильно?

post-21909-0-08389200-1395493453_thumb.png

Ссылка на комментарий
Поделиться на других сайтах


У вас стоит seopro?

 

в robots.txt     /index.php?route=feed/fast_sitemap      этот путь блокирует доступ к Sitemap

 

да стоит

 

т.е. мне прописать /sitemap.xml

?

 

Просто яндекс вебмастер, не принимат /sitemap.xml

 

писал

Указанный URL выполняет перенаправление, поэтому не рекомендуется добавлять его в качестве файла Sitemap. Используйте URL цели перенаправления.

поэтому я написала  /index.php?route=feed/fast_sitemap

 

А можно яндексу скормить /index.php?route=feed/fast_sitemap

а в роботс прописать /sitemap.xml

 

?

Ссылка на комментарий
Поделиться на других сайтах


изменила в роботс путь к saitmap на короткий,

всё равно в гугл вебмастер при проверке файла sitemap.xml

пишет тоже самое

 
 
Предупреждения
Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
4 662
Значение: http://parketpol24.ru/
-
22 марта 2014 г.
-
22 марта 2014 г.
-
22 марта 2014 г.

post-21909-0-06375900-1395497946_thumb.png

Ссылка на комментарий
Поделиться на других сайтах


в robots.txt удалите строки выделенные красным 

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=

 

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=

Ссылка на комментарий
Поделиться на других сайтах


не помогло( всё то же пишет.

 

Вот еще, если смотреть через гугл вебмастер - заблокированные url,

то там вроде всё ок, насколько я понимаю

post-21909-0-74696100-1395498475_thumb.png

Ссылка на комментарий
Поделиться на других сайтах


Sitemap: http://parketpol24.ru/sitemap.xml

 

Замените на старый http://parketpol24.ru/index.php?route=feed/fast_sitemap и ждите переиндексации Sitemap

 

не правильно проверяйте http://parketpol24.ru/index.php?route=feed/fast_sitemap 

Ссылка на комментарий
Поделиться на других сайтах


А зачем менять при /index.php?route=feed/fast_sitemap  яндекс вебмастер пишет   Некорректный формат URL файла Sitemap


 

Изменено пользователем Will
Ссылка на комментарий
Поделиться на других сайтах


  • 2 месяца спустя...

У тебя работает ЧПУ в твоем случаи так будет проще.

 

Host: главное зеркало 

Если есть

Sitemap: главное зеркало/google_sitemap

 

User-agent: Googlebot

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

 

User-agent: Yandex

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

 

User-agent: *

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

 

Disallow: /*index.php    блочит такой сайтмап? - Sitemap: http://top-shopping.com.ua/index.php?route=record/google_sitemap_blog

Ссылка на комментарий
Поделиться на других сайтах


Что то я не понял. Проверил в гуглвэбмастере - главная страница по seopro адресу - 

Разрешено. Распознается в качестве каталога; у некоторых файлов могут быть другие ограничения.

По адресу с index.php - Запрещено. Строка такая-то.
Что не так? Вы меня пугаете)))
 
По пункту сайтмапа, дописал 3 раза :
Allow: /index.php?route=record/google_sitemap_blog
Правильно? 
Ссылка на комментарий
Поделиться на других сайтах


Не блокируйте index.php не надо.

 

 

 

Прошу пояснения, почему?  :-)

Может быть заменить на Disallow: /*?route   ???

 

Спрошу иначе, такой роботс корректный? 

User-agent: Googlebot
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*page
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?route
Disallow: /*tracking
Disallow: /*affiliate
Disallow: /wishlist
Disallow: /my-account
Disallow: /login
Disallow: /logout
Disallow: /order-history
Disallow: /newsletter
Disallow: /request-return
Disallow: /forgot-password
Disallow: /downloads
Disallow: /returns
Disallow: /transactions
Disallow: /create-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /reward-points
Disallow: /shopping-cart
Disallow: /checkout
Disallow: /gift-vouchers
Disallow: /search
Allow: /index.php?route=record/google_sitemap_blog

User-agent: Yandex
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*page
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?route
Disallow: /*tracking
Allow: /index.php?route=record/google_sitemap_blog
Clean-param: tracking

User-agent: *
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*page
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?route
Disallow: /*tracking
Allow: /index.php?route=record/google_sitemap_blog

Host: site.ua
Sitemap: http://site.ua/index.php?route=record/google_sitemap_blog
Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.