Перейти к содержанию

Рекомендуемые сообщения

Доброго времени суток! Вчера вечером обнаружил что яндекс долбится в страницы типа  /?page=-1682 Перейдя по ссылке я увидел что страница доступна, и перенаправления на 404 страницу нет. А снизу в списке категорий пишется вот это:"Показано с -27329 по -27315 из 83 (всего 6 страниц)". Получается категория доступна по такому обращению и яндекс может легко позагонять кучу дублей. Кто-то сталкивался с таким? как исправить?

post-30398-0-47968400-1472291156_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вам надо настроить canonical или уникализировать страницы категориии, что бы они не считались дублями.

А можно по тупому:

 

В robots.txt закрыйть

Disallow: /*?page=
Disallow: /*&page=

 

Тема уже обсосана дальше некуда, гуглите форум

Изменено пользователем Waha
  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

как исправить?

 

1. проверить откуда такая ссылка

2. Посылать на..уй с таким ссылками, я бы вообще в таком случае отдавал бы не 404, а 403 forbidden

для реально отсутствующих  page=10 при всего 9 - можно и отдать 404, причина - удаление товаров,

3. Принять разумное решение о запрете индексации &page=

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

canonical настроен. не дает покоя сам факт доступности страницы по другому адресу, плюс яндекс обращается постоянно, перебирая номера. Уже до -1470 дошел

блокировать page через роботс не самый лучший вариант, гугл против. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Если в сайтмап таких страниц нет и в метатегах там, где 6 страниц, на шестой нет в rel="next" ссылки на седьмую и так до бесконечности (такое вполне мог напихать какой-то кривой SEO модуль), то можно предположить, что у Яндекса какой-то новый алгоритм, который делает предположение, что может существовать страница на единицу больше текущей и, когда он проверяет это предположение и получает статус 200, он идёт так до бесконечности. Если дело в последнем варианте, то вскоре это должны заметить многие.

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

в том то и дело что идет не рост страниц +1, а наоборот уходит в минус. /?page=-1682

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

значит со страницы -1 есть ссылка на -2 и т.д.

  • +1 2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

в том то и дело что идет не рост страниц +1, а наоборот уходит в минус. /?page=-1682

Да, минус там не заметен :)

Это более странно и, скорее всего, всё же вызвано внутренней проблемой.

 

В любом случае, проверьте сайтмап и метатеги на всех страницах в пределах одной категории (лучше всего, именно той, которая попала в Яндекс).

 

Ну и, если у всех таких страниц в индексе есть минус перед числом в ссылке, то можно просто поставить шаблонный редирект на 404.

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Может кто-то проверить на последней версии сборки ocstore вставить на странице категорий минус

пример: было ?page=3 стало: ?page=-3 Открывается ли у вас первая страница категории или 404? сегодня в яндекс вебмастере увидел и офигел, фото в приложении

post-30398-0-88439300-1472395833_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Да, минус там не заметен :)

Это более странно и, скорее всего, всё же вызвано внутренней проблемой.

 

В любом случае, проверьте сайтмап и метатеги на всех страницах в пределах одной категории (лучше всего, именно той, которая попала в Яндекс).

 

Ну и, если у всех таких страниц в индексе есть минус перед числом в ссылке, то можно просто поставить шаблонный редирект на 404.

Не поделитесь шаблоном на такой редирект?)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

404 не будет

 

но ошибка в выводе results - есть

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

https://webmaster.yandex.ru/tools/robotstxt/

Здесь проверил доступность страницы с минусом для робота. Так как обход яндексом был выявлен на ранней стадии, то в роботс.тхт был добавлен "Disallow: /*?page=-

Disallow: /*&page=-"
они все равно были загружены, но если смотреть по вебмастеру, то роботу не доступны. 
 

 

404 не будет

 

но ошибка в выводе results - есть

подскажите где искать ошибку?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Не поделитесь шаблоном на такой редирект?)

 

Как-то так:

 

RewriteCond %{QUERY_STRING} page=-(.*)
RewriteRule ^(.*)$ /404 [R=301,L]

Только вместо 404 - ссылка на вашу страницу 404

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
        if (isset($this->request->get['page'])) {
            $page = $this->request->get['page'];
        } else {
            $page = 1;
        }

"Ошибка" здесь

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Решение на поверхности  и я о нем говорил

 

проверка валидности page

 

как на <1, так и на > product_totals

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
        if (isset($this->request->get['page'])) {
            $page = $this->request->get['page'];
        } else {
            $page = 1;
        }

"Ошибка" здесь

 

 

кусок кода нашел

 

Решение на поверхности  и я о нем говорил

 

проверка валидности page

 

как на <1, так и на > product_totals

с программированием не дружу, может у вас есть наработки когда проверки на валидность page?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
может у вас есть наработки когда проверки на валидность page?

 

Есть..

 

При неверной странице  - отдает 404

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Есть..

 

При неверной странице  - отдает 404

поделиться можете?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

 

Также, генерируется дубль при дописывании любого символа, после вопросительного знака:

http://*****.ru/ra____le-shine.html?page=1555

Должно отдавать 404 ошибку.

 

Вот люди дают ТЗ и готовы оплатить.

 

Поделиться?

 

Я поделился - рассказал как это сделать - проверить валидность.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

за конструкцию if else хотите денег?) спасибо, разберусь сам 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вперед! Я вас не задерживаю..
Когда сделаете - поделитесь!

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Нашел временное решение для проблемы с отрицательным номером страницы категории:

Данный кусок позволяет отдавать 404 ошибку всем запросам с отрицательными страницами.

if(preg_match('/[-]/', $page))
{
    $this->response->addHeader($this->request->server['SERVER_PROTOCOL'] . ' 404 Not Found');
}

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты


!preg_match("/[^0-9]/s", $page) || ((int)$page < 1)

Изменено пользователем Otvet
  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

ой!!!

 

page=099

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.