robots.txt

[monax]

а на мой взгляд, запрет индексации на дубли делать не надо,- у гугля и яндекса особое отношение к интернет магазинам...

Просто карта сайта показывает поисковикам важные для Тебя (владельца сайта) страницы, но решение остается не за нами,- им виднее какую из страниц сайта будет разумнее преподнести пользователю на обозрение.

а если запретить индексацию страницы, то у поисковика уже выбора не остаётся,- только удаление из поиска

Что-то в последнее время меня тоже стали терзать смутные сомнения, не зря ли я вот таким образом поназапрещал в роботсе индексирование:

User-agent: *
Disallow: /admin
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=

Disallow: /*?page               
#Запрещаем индексировать все страницы продукции производителя, кроме первой. 
#Тут две стороны медали - с одной мы избавляемся от дублей тайтлов и мета-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой

Disallow: /*?manufacturer
#Запрещаем индексировать все страницы производителей, так как они уже есть у нас с сео-урл

Disallow: /*?sort
#Запрещаем индексировать все страницы с разными видами сортировок, ибо иначе у нас будет десяток дублей одной и той же страницы

Disallow: /*?order
#Запрещаем индексировать все страницы с разными видами порядка вывода, причины те же

Disallow: /*?keyword
#Запрещаем индексировать все страницы с метками

Sitemap: http://МОЙ_САЙТ/sitemap.xml

Allow: /

За месяц у меня раз в пять уменьшилось кол-во проиндексированных страниц. Причём, остались проиндексированными все каталоги, новости и т.д., а самих страниц с товарами очень много порубавилось. В сайтмапе есть абсолютно все страницы в виде ЧПУ урлов (SEO-url), дублей нет, но Яндекс проиндексировал сначала кучу страниц без ЧПУ (хз, как так получилось, ибо ЧПУ я включил сразу же, как только выложил сайт в инет), а потом Яндекс их поубирал, согласно с роботсом, наверно. А страницы с ЧПУ-урлами, почему-то, очень медленно добавляет. У меня сложилось такое впечатление, что этим своим роботсом я ему (себе) только помешал/навредил.

А вот с Гуглом ваще никаких проблем нет. Почти каждый день добавляет новые страницы с товарами. Их проиндексировано во много раз больше, чем в Яндексе.

Может, в натуре, не страдать ерундой и поудалять все эти запреты?

[Yesvik]

Попробую вкратце пояснить происходящее.

У Гугла нет особого отношения к интернет-магазинам. Разгадка кроется в rel="canonical" и дублях страниц.

Атрибут rel="canonical" был анонсирован Гуглом в начале 2009 года, если я не ошибаюсь то вместе с Гуглом о поддержке этого атрибута заявили Яху и Майкрософт.

Яндекс делал заявки о том что тоже будет поддерживать rel="canonical", но насколько мне известно, по сей день так и не поддерживает.

При этом надо понимать что даже для ПС поддерживающих rel="canonical" наличие этого атрибута не является директивой, а просто принимается к сведению.

rel="canonical" надо использовать как крайнюю меру, когда технически убрать дубли не получается.

Простой пример: на сайте страница товаров имеет 3 ссылки (а если товар отображается в нескольких категориях - то ещё больше). Паук приперся на сайт и начинает... обхаживать дублирующиеся ссылки! Да он отиндексил страницу на которой указана каноническая и принял это во внимание, и в выдаче будет каноническая страница... но индексирование Вашего сайта идёт в 3 раза медленнее!

А для Яши, мало того что медленно индексируется сайт, так ещё и одна страница с разными адресами - дублирующийся контент.

Теперь понятно почему медленно? почему с Гуглом проблем нет?

UPD:

Кстати штатный google_sitemap.php - злобное чудовище отдающее все дубли. Можеш скачать seopack, там есть google_sitemap.php в котором обрезано формирование повторов.

Змінено 26 квітня 2011 користувачем Yesvik

[monax]

Кстати штатный google_sitemap.php - злобное чудовище отдающее все дубли. Можеш скачать seopack, там есть google_sitemap.php в котором обрезано формирование повторов.

Я не пользуюсь штатным генератором, т.к. видел, что он формирует бред, а не карту. Карту сайта делаю прогой A1 Sitemap Generator. Отличная штука и никаких дублей.

А с Яндексом настораживает не столько медленное индексирование, сколько совершенно непонятное поведение. Сначала понадобавлял в индекс туеву хучу страниц, потом их втрое сократил. Причём, складывается такое впечатление, что сайтмап ему совершенно побоку! Он индексирует как-то по-своему, не обращая на карту сайта никакого внимания. Я понимаю, что карта сайта не даёт никакой гарантии, что на неё будут обращать внимание, но чтоб её полностью игнорировать... как-то непонятно...

Да и вообще бред какой-то ЯндексВебмастер показывает:

Загружено роботом - 1109 (всё, что есть на сайте)
Исключено роботом - 248	(то, что запрещено роботсом)
Страниц в поиске - 89 (а было больше 300)

Не пойму, куда делись остальные страницы? Раскруткой сайта ещё, в общем-то, не занимался. Пока занимаюсь внутренней оптимизацией страниц, редактирую описания, чтобы не было откровенного плагиата (товары не уникальные, а "как у всех") добавляю новые товары и т.п. Но не могу понять, с какой радости этот Яндекс упорно не хочет выдавать в индекс страницы с товаром!? Из того, что он оставил в индексе, страниц с товаром не больше десятка. Причём, не с самым уникальным контентом! Бред какой-то... К тому же, в перечне страниц, в графе "исключено роботом" есть 2 категории! Я в роботсе не запрещал индексирование определённых категорий, а Яндекс пишет, что, типа, запрещено роботсом. Недоразумение какое-то, а не поисковая система... :) Гугл гораздо лучше и быстрее в этом плане работает.

ЗЫ. Год-два назад элементарно выводил сайт на первую страницу поиска в Яндексе по ключевым словам где-то за полтора-два месяца. Причём, без каких-либо финансовых вливаний. Я понимаю, что алгоритм индексации с того времени несколько изменился. Но что-то сейчас совсем не могу его понять...

[siniovvitia]

UPD:

Кстати штатный google_sitemap.php - злобное чудовище отдающее все дубли. Можеш скачать seopack, там есть google_sitemap.php в котором обрезано формирование повторов.

по этой ссылке есть файл seo url...

он чем-то отличается от встроенной функции seo-url?

а этот seo-pack как определяет какая из дублей наиболее важна ?

просто не очень хотелось бы проводить эксперимент на рабочем сайте...

заранее благодарен за помощь

[siniovvitia]

Я не пользуюсь штатным генератором, т.к. видел, что он формирует бред, а не карту. Карту сайта делаю прогой A1 Sitemap Generator. Отличная штука и никаких дублей.

А с Яндексом настораживает не столько медленное индексирование, сколько совершенно непонятное поведение. Сначала понадобавлял в индекс туеву хучу страниц, потом их втрое сократил. Причём, складывается такое впечатление, что сайтмап ему совершенно побоку! Он индексирует как-то по-своему, не обращая на карту сайта никакого внимания. Я понимаю, что карта сайта не даёт никакой гарантии, что на неё будут обращать внимание, но чтоб её полностью игнорировать... как-то непонятно...

Да и вообще бред какой-то ЯндексВебмастер показывает:

Загружено роботом - 1109 (всё, что есть на сайте)
Исключено роботом - 248	(то, что запрещено роботсом)
Страниц в поиске - 89 (а было больше 300)

Не пойму, куда делись остальные страницы? Раскруткой сайта ещё, в общем-то, не занимался. Пока занимаюсь внутренней оптимизацией страниц, редактирую описания, чтобы не было откровенного плагиата (товары не уникальные, а "как у всех") добавляю новые товары и т.п. Но не могу понять, с какой радости этот Яндекс упорно не хочет выдавать в индекс страницы с товаром!? Из того, что он оставил в индексе, страниц с товаром не больше десятка. Причём, не с самым уникальным контентом! Бред какой-то... К тому же, в перечне страниц, в графе "исключено роботом" есть 2 категории! Я в роботсе не запрещал индексирование определённых категорий, а Яндекс пишет, что, типа, запрещено роботсом. Недоразумение какое-то, а не поисковая система... :) Гугл гораздо лучше и быстрее в этом плане работает.

ЗЫ. Год-два назад элементарно выводил сайт на первую страницу поиска в Яндексе по ключевым словам где-то за полтора-два месяца. Причём, без каких-либо финансовых вливаний. Я понимаю, что алгоритм индексации с того времени несколько изменился. Но что-то сейчас совсем не могу его понять...

google очень быстро реагирует на изменения на сайте, а яндекс более тормознутый, но зато если он ухватит сайт, то держит его крепко.

яндексу принципиально дать четкую структуру сайта.

[Yesvik]

по этой ссылке есть файл seo url...

он чем-то отличается от встроенной функции seo-url?

Да, отличается.

Для ссылок на страницы товаров всегда один и тот-же путь, независимо от того где выводится ссылка на страницу товара.

Кроме этого контролируются ссылки на входе и при запросе по дублирующейся ссылке выполняется редирект на основной URL со статусом 301.

а этот seo-pack как определяет какая из дублей наиболее важна ?

Никак. Дублей не бывает важных и не важных, дублей просто не должно быть.

Какую категорию укажеш в качестве основной, та и будет использоваться при построении URL.

Не экспериментируй на боевом серваке, потренеруйся на кошках копии.

seopack - это расширенный пакет исправлений и дополнений для работы с ЧПУ

Список изменённых/добавленных файлов с краткими пояснениями.

• system/library/response.php - Замена на ЧПУ ссылок типа route=information/contact, route=information/sitemap и т.д + главная страница без index.php?route=common/home
• system/library/pagination.php - Ссылки на первую страницу в постраничной навигации без параметра &page=1
• catalog/model/tool/seo_url.php - Изменения связанные с построением и контролем ссылок типа route=information/contact, route=information/sitemap
• catalog/controller/product/special.php - Изменения для валидности (замена & на &)
• catalog/controller/product/search.php - Изменения для валидности (замена & на &)
• catalog/controller/product/product.php - Изменения для валидности (замена & на &)
• catalog/controller/product/manufacturer.php - Изменения для валидности (замена & на &)
• catalog/controller/product/category.php - Изменения для валидности (замена & на &)
• catalog/controller/module/special.php - Изменения для валидности (замена & на &)
• catalog/controller/module/latest.php - Изменения для валидности (замена & на &)
• catalog/controller/module/featured.php - Изменения для валидности (замена & на &)
• catalog/controller/module/bestseller.php - Изменения для валидности (замена & на &)
• catalog/controller/information/information.php - Формирование хлебных крошек с использованием ЧПУ
• catalog/controller/feed/google_sitemap.php - Убраны повторы ссылок на страницы товаров
• catalog/controller/common/seo_url.php - Разбор и контроль ЧПУ для ссылок типа route=information/contact, route=information/sitemap и т.д.
• admin/view/template/setting/setting.tpl - Убраны параметры seo_url_replace и seo_url_auto, добавлен seo_url_postfix. Можно указывать желаемое окончание ЧПУ.
• admin/view/template/module/seo_url_form.tpl - Форма шаблона добавления/редактирования псевдонимов для для ссылок типа route=information/contact, route=information/sitemap и т.д.
• admin/view/template/module/seo_url.tpl - Шаблон модуля SEO URL Manager (построен на базе модуля deadcow_SEO)
• admin/model/module/seo_url.php - Модель модуля SEO URL Manager
• admin/language/russian/setting/setting.php - Изменения связанные с удаленными и добавленным параметрами настроек.
• admin/language/russian/module/seo_url.php - языковой файл модуля SEO URL Manager
• admin/controller/setting/setting.php - Изменения связанные с удаленными и добавленным параметрами настроек.
• admin/controller/module/seo_url.php - Контроллер модуля SEO URL Manager
• .htaccess.txt - Добавлено правило для редиректа domain.tld/index.php на domain.tld/

[siniovvitia]

окей, спасибо, - будем пробовать,- у меня как раз намечается одна кошка , на которой можно будет потренироваться )))

[aqp91]

Ну, в принципе, всё правильно, Вам его не даёт показать .htaccess, удалите его (или переименуйте) и увидите www.мой_сайт.ru/robots.txt. Только зачем это?

так это что нормально? добавил сат в яндекс мастер а он говорит не может загрузить роботс не говорит ли это о том что от робатса в этом случае толку нет?

[stefanboss]

так это что нормально? добавил сат в яндекс мастер а он говорит не может загрузить роботс не говорит ли это о том что от робатса в этом случае толку нет?

По моему намудрили чо то с этим файлом .htaccess . Вот смотри что мне ответили в службе поддержки хостинга:

https://opencartforum.com/topic/2986-помогите-ошибка-403-при-доступе-к-robotstxt/

По моему с файлом robots РЕАЛЬНАЯ ПРОБЛЕМА.

[Falcosha]

Ребят, подскажите пожалуйста, я не какой глупости не натворил в htaccess and robots

Мой htaccess:

<IfModule mod_charset.c>

  CharsetDisable On

</IfModule>

AddDefaultCharset UTF-8

php_flag register_globals off

Options +FollowSymlinks

# Запретить листинг директорий 

Options -Indexes

# Закрыть доступ к файлам шаблонов

<FilesMatch "\.tpl">

Order deny,allow

Deny from all

</FilesMatch>

# Необходимо для ЧПУ.

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.мой сайт.ru$ [NC]
RewriteRule ^(.*)$ http://мой сайт.ru/$1 [R=301,L]

RewriteBase /

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^(.*)\?*$ index.php?_route_=$1 [L,QSA]

И мой робот:

User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

Disallow:
Host: мойсайт.ru

Подскажите что не хватает, и не сделал ли я какую ни будь глупость? Пожалуйста, а то что то так волнуюсь... :unsure:

[gdi31]

. . . Пока занимаюсь внутренней оптимизацией страниц, редактирую описания, чтобы не было откровенного плагиата (товары не уникальные, а "как у всех") добавляю новые товары и т.п. . . .

Недавно обнаружил, что я плагиатор, и понеслось . . . .

Всё было зашибись пока мне не дали понять, 10 баксов и всё будет и дальше зашибись (сервис Copyscape - Система поиска плагиата).

После ковырял:

Miratools » Мониторинг уникальности сайтов

Antiplagiat » Сервис по поиску плагиата

Articlechecker » Проверка уникальности контента

Но всё меркнет перед Copyscape.

Вопрос: Может, есть что-то этакое, чтоб я сказал - В-А-А-У вот это БОМБА!

[Yesvik]

Если ты реально копипастиш - никакие 10 баксов тебя не спасут.

А если сам пишеш уникальный контент, у тебя его тырят и твой сайт выглядит как плагиат - то поступать надо примерно так:

Сразу после публикации надо позвать поисковики (пингануть)... и надеяться что выложенный тобой уникальный контент поисковики проиндексируют раньше чем его стырят.

[stefanboss]

Если ты реально копипастиш - никакие 10 баксов тебя не спасут.

А если сам пишеш уникальный контент, у тебя его тырят и твой сайт выглядит как плагиат - то поступать надо примерно так:

Сразу после публикации надо позвать поисковики (пингануть)... и надеяться что выложенный тобой уникальный контент поисковики проиндексируют раньше чем его стырят.

А как пингануть ? И позвать как поисковики ?

Очень интересно )

[gdi31]

А как пингануть ? И позвать как поисковики ?

Очень интересно )

По ходу, аддурилками кружануть!

[gdi31]

Если ты реально копипастиш - никакие 10 баксов тебя не спасут.

А если сам пишеш уникальный контент, у тебя его тырят и твой сайт выглядит как плагиат - то поступать надо примерно так:

Сразу после публикации надо позвать поисковики (пингануть)... и надеяться что выложенный тобой уникальный контент поисковики проиндексируют раньше чем его стырят.

У меня приблизительно 10 - 30 страниц, где пока неуникальный текст и я как мне кажется, один из 90% кто тупо где-то выделил, скопировал и вставил, изменил, переместил и готово!

Потом тупо беру адрес, проверяю, срослось, значит

ГУТ, нет, продолжаю, а Copyscape реально помогал.

Вот и ищу БОМБУ.

:)

[monax]

По ходу, аддурилками кружануть!

:lol: Сразу вспомнился анекдот:

"Сидят два чукчи на берегу Ледовитого океана. Вдруг всплывает американская подлодка. Высовывается командир и спрашивает: "Ребята, как проехать к Северному полюсу?"

Чукча ткнул пальцем: "Туда"

Американец:"Спасибо" и даёт команду: "Курс 'Норд-норд-вест'". Лодка уплывает.

Через некоторое время всплывает советская подлодка, высовывается командир и спрашивает:"Чукчи, американцы проплывали?".

-"Да".

-"Куда поплыли?".

- "Норд-норд-вест".

- "Ты , блин, не умничай , ты пальцем покажи !!!!!"

Чиста, патсаны, надо аддурилками кружануть, паходу! :lol: 5 баллов! :lol:

[gdi31]

Чиста, патсаны, надо аддурилками кружануть, паходу! :lol: 5 баллов! :lol:

Ещё месяц чтения компьюторной фени и точно ботать начну. :)

[o1m]

Попробую вкратце пояснить происходящее.

У Гугла нет особого отношения к интернет-магазинам. Разгадка кроется в rel="canonical" и дублях страниц.

Атрибут rel="canonical" был анонсирован Гуглом в начале 2009 года, если я не ошибаюсь то вместе с Гуглом о поддержке этого атрибута заявили Яху и Майкрософт.

Яндекс делал заявки о том что тоже будет поддерживать rel="canonical", но насколько мне известно, по сей день так и не поддерживает.

При этом надо понимать что даже для ПС поддерживающих rel="canonical" наличие этого атрибута не является директивой, а просто принимается к сведению.

rel="canonical" надо использовать как крайнюю меру, когда технически убрать дубли не получается.

Простой пример: на сайте страница товаров имеет 3 ссылки (а если товар отображается в нескольких категориях - то ещё больше). Паук приперся на сайт и начинает... обхаживать дублирующиеся ссылки! Да он отиндексил страницу на которой указана каноническая и принял это во внимание, и в выдаче будет каноническая страница... но индексирование Вашего сайта идёт в 3 раза медленнее!

А для Яши, мало того что медленно индексируется сайт, так ещё и одна страница с разными адресами - дублирующийся контент.

Теперь понятно почему медленно? почему с Гуглом проблем нет?

UPD:

Кстати штатный google_sitemap.php - злобное чудовище отдающее все дубли. Можеш скачать seopack, там есть google_sitemap.php в котором обрезано формирование повторов.

В этом seopack есть readme, как сделать чтобы осталось это в функциях, что где добавить/заменить

$_['entry_seo_url_replace']   = 'Заменять пробелы на "_" в SEO-url:';

[Yesvik]

В этом seopack есть readme, как сделать чтобы осталось это в функциях, что где добавить/заменить

$_['entry_seo_url_replace']   = 'Заменять пробелы на "_" в SEO-url:';

Три раза перечитывал пока понял что это вопрос, а не утверждение.

Потом долго втыкал какое отношение этот вопрос имеет к цитате...

Не надо заменять пробелы на подчерк, надо во всех псевдонимах заменить пробелы на подчерк и забыть об этом.

Мне лень объяснять почему...

[o1m]

Три раза перечитывал пока понял что это вопрос, а не утверждение.

Потом долго втыкал какое отношение этот вопрос имеет к цитате...

Не надо заменять пробелы на подчерк, надо во всех псевдонимах заменить пробелы на подчерк и забыть об этом.

Мне лень объяснять почему...

Спасибо бро, зная что ответ будет примерно таким, так и сделал.

[Yesvik]

Спасибо бро, зная что ответ будет примерно таким, так и сделал.

Сегодня я не такой ленивый и поясню почему надо убирать пробелы в псевдонимах.

Полный цикл алгоритма замены пробелов на подчерк состоит из двух частей.

Первая часть - при формировании ЧПУ пробелы заменяются на подчерки.

Вторая часть - обратный процесс, в поступившем запросе подчерки заменяются на пробелы.

В один прекрасный день на сайте появляется псевдоним с подчерком...

В первой части проблем не будет ни каких, а во второй части подчерк, который изначально был в псевдониме, будет заменён на пробел и нужная страница не откроется.

Метод борьбы с этой проблемой - исключить из псевдонимов подчерки.

Но более правильный метод - исключить из псевдонимов пробелы и не делать лишних преобразований...

[gdi31]

Этот сервис http://tool.motorice...s-checker.phtml можно воспринимать всерьёз и просто-напросто аккуратно класть на его рекомендации?

[aachernishev]

После добавления

RewriteEngine on
rewritecond %{http_host} ^domain.com [nc]
rewriterule ^(.*)$ http://www.domain.com/$1 [r=301,nc]

Не заходит в админку, как исправить?

Верно, и не должно =)

Чтобы заходило:

1. В файле admin/config.php :

Измените все ссылки вида :

http://domen.ru/

на ссылки вида :

http://www.domen.ru/

После этого в админку зайти получится.

2. Не помешает и исправить ссылку (URL) магазина: Система -> Настройки -> Адрес магазина (URL) :

http://domen.ru/

на ссылку вида :

http://www.domen.ru/

[shpakov]

Ребят, подскажите плиз, правильно ли я понимаю, что для склейки зеркал нужно в .htaccess

добавить 2 строки (разумеется поменять на свой сайт).

rewritecond %{http_host} ^www.vash_sait.ru [nc]

rewriterule ^(.*)$ http://vash_sait.ru/$1 [r=301,nc]

Вроде именно так, т.е. мы делаем Редирект 301: с WWW на без WWW .

Ну и яндексу в файле robot.txt указать что зеркало без www главное, например так:

User-agent: Yandex

Disallow:

Host: vash_sait.ru

Sitemap: http://vash_sait.ru/sitemap.xml.gz'>http://vash_sait.ru/sitemap.xml.gz

Sitemap: http://vash_sait.ru/sitemap.xml

(хотя я его сделал таким же как тут https://opencartforum.com/topic/3983-внутреня-оптимизация-сайта-на-opencart/)

Но меня больше интересует вот какой момент - покопавшись в инете нашел несколько статей про 301 редирект и там применяются такие строки:

RewriteCond %{HTTP_HOST} ^www.vash_sait\.ru$ [NC]

RewriteRule ^(.*)$ http://vash_sait.ru/$1 [R=301,L]

При чем дается пояснение "Не забывайте про обратную наклонную черту перед точкой (.) в строке RewriteCond — она обязательна. " а если посмотреть все примеры с этого форума, то там идет без наклонной черты.

Так как быть?

И вопрос второй, опять же примеры на форуме говорят что надо ставить (nc) - [r=301,nc] а примеры из инета - [R=301,L] и в чем тут разница?

Кто разбирается, поясните пожалуйста, как правильно?

www.vash_sait\.ru или или www.vash_sait.ru

[r=301,nc] или [R=301,L]

Буду всем благодарен за ответ.

[Yesvik]

При чем дается пояснение "Не забывайте про обратную наклонную черту перед точкой (.) в строке RewriteCond — она обязательна. " а если посмотреть все примеры с этого форума, то там идет без наклонной черты.

Так как быть?

На форуме слеш съедает парсер и многие не обращают на это внимание.

Точка без обратного слеша означает любой символ (в том числе и символ точки), а со слешем означает только символ точка.

Работать будут оба варианта, но правильнее с обратным слешем.

И вопрос второй, опять же примеры на форуме говорят что надо ставить (nc) - [r=301,nc] а примеры из инета - [R=301,L] и в чем тут разница?

NC - означает что правило не чувствительно к регистру символов и в данном случае нафиг не нужно...

L - означает что это последнее правило и следующие правила применять не надо.

Так что правильно писать [R=301,L]