Убираем дубли в robots

nicskvo · 16 січня 2014

На здоровье.

Сколько товаров?

около 1,5 тысяч

shapochka · 11 лютого 2014

Здравствуйте!

Буду благодарен, если посмотрите мой robots.txt. Он стандартный, я в нем ничего не менял. Надо ли в нем что-то настраивать для улучшения результатов индексации? У меня проиндексировано 370 страниц на сайте, но по факту их раза в 3 больше.

User-agent: *Disallow: /*route=account/Disallow: /*route=affiliate/Disallow: /*route=checkout/Disallow: /*route=product/searchDisallow: /index.php?route=product/product*&manufacturer_id=Disallow: /adminDisallow: /catalogDisallow: /downloadDisallow: /systemDisallow: /*?sort=Disallow: /*&sort=Disallow: /*?order=Disallow: /*&order=Disallow: /*?limit=Disallow: /*&limit=Disallow: /*?filter_name=Disallow: /*&filter_name=Disallow: /*?filter_sub_category=Disallow: /*&filter_sub_category=Disallow: /*?filter_description=Disallow: /*&filter_description=Disallow: /*?tracking=Disallow: /*&tracking=User-agent: YandexDisallow: /*route=account/Disallow: /*route=affiliate/Disallow: /*route=checkout/Disallow: /*route=product/searchDisallow: /index.php?route=product/product*&manufacturer_id=Disallow: /adminDisallow: /catalogDisallow: /downloadDisallow: /systemDisallow: /*?sort=Disallow: /*&sort=Disallow: /*?order=Disallow: /*&order=Disallow: /*?limit=Disallow: /*&limit=Disallow: /*?filter_name=Disallow: /*&filter_name=Disallow: /*?filter_sub_category=Disallow: /*&filter_sub_category=Disallow: /*?filter_description=Disallow: /*&filter_description=Clean-param: tracking

chukcha · 11 лютого 2014

ЧПУ есть?

shapochka · 11 лютого 2014

ЧПУ есть?

Да, есть.

chukcha · 11 лютого 2014

ЧпУ ссылки на регистрацию, корзину, и прочее аналоги того, что есть в в версии без ЧПУ нужно закрывать

shapochka · 11 лютого 2014

ЧпУ ссылки на регистрацию, корзину, и прочее аналоги того, что есть в в версии без ЧПУ нужно закрывать

На такого рода страницы ссылки не ЧПУ.

chukcha · 11 лютого 2014

Тогда, наверное, достаточно. Но точнее можно сказать глянув сайт.

shapochka · 12 лютого 2014

Буду рад: www.prowife.ru

Uza10775 · 26 лютого 2014

Здравствуйте! Прошу подсказки и помощи. Я не разбираюсь толком в дублях и проч. мало того, пытаюсь понять, читаю, но все равно не понимаю :ph34r: сложно еще для меня...В админпанели с помощью OC Team проявилась такая картина:

Предупреждение: Дубли Seo-Keyword были найдены в базе! Проверьте список ниже.

Тип: Название (Заголовок) Query Url-Alias (keyword) Действия

Неизвестный тип common/home

Неизвестный тип account/address address-book

Неизвестный тип affiliate/forgotten affiliate-forgot-password

Неизвестный тип affiliate/login affiliate-login

Неизвестный тип affiliate/logout affiliate-logout

Неизвестный тип affiliate/payment affiliate-payment-options

Неизвестный тип affiliate/tracking affiliate-tracking-code

Неизвестный тип affiliate/transaction affiliate-transactions

Неизвестный тип affiliate/account affiliates

Неизвестный тип product/manufacturer brands

Неизвестный тип affiliate/password change-affiliate-password

Неизвестный тип account/password change-password

Неизвестный тип checkout/checkout checkout

Неизвестный тип product/compare compare-products

Неизвестный тип information/contact contact-us

Неизвестный тип account/register create-account

Неизвестный тип affiliate/register create-affiliate-account

Неизвестный тип account/download downloads

Неизвестный тип account/edit edit-account

Неизвестный тип affiliate/edit edit-affiliate-account

Неизвестный тип account/forgotten forgot-password

Неизвестный тип checkout/voucher gift-vouchers

Неизвестный тип account/login login

Неизвестный тип account/logout logout

Неизвестный тип account/account my-account

Неизвестный тип account/newsletter newsletter

Неизвестный тип account/order order-history

Неизвестный тип account/return/insert request-return

Неизвестный тип account/return returns

Неизвестный тип account/reward reward-points

Неизвестный тип product/search search

Неизвестный тип information/sitemap sitemap

Неизвестный тип product/special specials

Неизвестный тип account/transaction transactions

Неизвестный тип account/wishlist wishlist

Что все это значит и что с этим нужно делать, просветите пожалуйста. И достаточно ли только этого анализа для выявления дублей страниц. Много веток прочитала,но повторюсь, не могу разобраться, где как и что...СеоПро не стоит, есть только deadcow SEO.

сайт: http://millypolly.ru/

И еще не совсем по теме, ну может кто подскажет:

· "Битые" ссылки(10):

· Запрет индексации(1):

http://millypolly.ru/downloads/ вызов из http://millypolly.ru/vouchers/ причина:robots.txt

Тоже интересно,нужно ли это исправлять,если да,то как удобнее и проще. Спасибо заранее, если кто откликнется :wub:

Will · 21 березня 2014

Ребята посмотрите мой robots, всё ли правильно?

http://parketpol24.ru/robots.txt

Will · 22 березня 2014

поставила sitemap http://parketpol24.ru/sitemap_xml

и при добавлении в гугл вебмастер, при проверке сайтмапа он мне пишет

#ТипПроблемаОписаниеКоличество проблемПримерСтрокаОбнаружено

1

Предупреждения

Доступ к URL заблокирован в файле robots.txt.

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

4 662

Значение: http://parketpol24.ru/

-

22 марта 2014 г.

Значение: http://parketpol24.ru/aberhof-krasnojarsk

-

22 марта 2014 г.

Значение: http://parketpol24.ru/boen-krasnojarsk

-

22 марта 2014 г.

фото в приложении

это нормально или что то не правильно?

puno · 22 березня 2014

Поменяйте в robots.txt путь к вашему sitemap

Will · 22 березня 2014

а что изменить? я убрала http

Sitemap: http://parketpol24.ru/index.php?route=feed/fast_sitemap

puno · 22 березня 2014

У вас стоит seopro?

в robots.txt /index.php?route=feed/fast_sitemap этот путь блокирует доступ к Sitemap

Will · 22 березня 2014

У вас стоит seopro?

в robots.txt /index.php?route=feed/fast_sitemap этот путь блокирует доступ к Sitemap

да стоит

т.е. мне прописать /sitemap.xml

?

Просто яндекс вебмастер, не принимат /sitemap.xml

писал

Указанный URL выполняет перенаправление, поэтому не рекомендуется добавлять его в качестве файла Sitemap. Используйте URL цели перенаправления.

поэтому я написала /index.php?route=feed/fast_sitemap

А можно яндексу скормить /index.php?route=feed/fast_sitemap

а в роботс прописать /sitemap.xml

?

Will · 22 березня 2014

изменила в роботс путь к saitmap на короткий,

всё равно в гугл вебмастер при проверке файла sitemap.xml

пишет тоже самое

Предупреждения

Доступ к URL заблокирован в файле robots.txt.

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

4 662

Значение: http://parketpol24.ru/

-

22 марта 2014 г.

Значение: http://parketpol24.ru/aberhof-krasnojarsk

-

22 марта 2014 г.

Значение: http://parketpol24.ru/boen-krasnojarsk

-

22 марта 2014 г.

puno · 22 березня 2014

в robots.txt удалите строки выделенные красным

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=

Will · 22 березня 2014

не помогло( всё то же пишет.

Вот еще, если смотреть через гугл вебмастер - заблокированные url,

то там вроде всё ок, насколько я понимаю

puno · 22 березня 2014

Sitemap: http://parketpol24.ru/sitemap.xml

Замените на старый http://parketpol24.ru/index.php?route=feed/fast_sitemap и ждите переиндексации Sitemap

не правильно проверяйте http://parketpol24.ru/index.php?route=feed/fast_sitemap

Will · 25 березня 2014

А зачем менять при /index.php?route=feed/fast_sitemap яндекс вебмастер пишет Некорректный формат URL файла Sitemap

Змінено 25 березня 2014 користувачем Will

V4mp · 13 червня 2014

У тебя работает ЧПУ в твоем случаи так будет проще.

Host: главное зеркало

Если есть

Sitemap: главное зеркало/google_sitemap

User-agent: Googlebot

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

User-agent: Yandex

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

User-agent: *

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*sort

Disallow: /*order

Disallow: /*page

Disallow: /*limit

Disallow: /*filter

Disallow: /*search

Disallow: /*index.php

Disallow: /*index.php блочит такой сайтмап? - Sitemap: http://top-shopping.com.ua/index.php?route=record/google_sitemap_blog

puno · 14 червня 2014

Да. И еще главную страницу.

V4mp · 14 червня 2014

Что то я не понял. Проверил в гуглвэбмастере - главная страница по seopro адресу -

Разрешено. Распознается в качестве каталога; у некоторых файлов могут быть другие ограничения.

По адресу с index.php - Запрещено. Строка такая-то.

Что не так? Вы меня пугаете)))

По пункту сайтмапа, дописал 3 раза :

Allow: /index.php?route=record/google_sitemap_blog

Правильно?

puno · 14 червня 2014

Не блокируйте index.php не надо.

Правильно.

V4mp · 14 червня 2014

Не блокируйте index.php не надо.

Прошу пояснения, почему? :-)

Может быть заменить на Disallow: /*?route ???

Спрошу иначе, такой роботс корректный?

User-agent: Googlebot
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*page
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?route
Disallow: /*tracking
Disallow: /*affiliate
Disallow: /wishlist
Disallow: /my-account
Disallow: /login
Disallow: /logout
Disallow: /order-history
Disallow: /newsletter
Disallow: /request-return
Disallow: /forgot-password
Disallow: /downloads
Disallow: /returns
Disallow: /transactions
Disallow: /create-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /reward-points
Disallow: /shopping-cart
Disallow: /checkout
Disallow: /gift-vouchers
Disallow: /search
Allow: /index.php?route=record/google_sitemap_blog

User-agent: Yandex
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*page
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?route
Disallow: /*tracking
Allow: /index.php?route=record/google_sitemap_blog
Clean-param: tracking

User-agent: *
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*page
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?route
Disallow: /*tracking
Allow: /index.php?route=record/google_sitemap_blog

Host: site.ua
Sitemap: http://site.ua/index.php?route=record/google_sitemap_blog

Вхід

Убираем дубли в robots

Recommended Posts

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Створити обліковий запис

Вхід

Схожі публікації

Зараз на сторінці 0 користувачів

Покупцям

Розробникам

Корисна інформація

Останні розширення

Important Information