Появление обращений ?page=-111

[porhun]

Доброго времени суток! Вчера вечером обнаружил что яндекс долбится в страницы типа  /?page=-1682 Перейдя по ссылке я увидел что страница доступна, и перенаправления на 404 страницу нет. А снизу в списке категорий пишется вот это:"Показано с -27329 по -27315 из 83 (всего 6 страниц)". Получается категория доступна по такому обращению и яндекс может легко позагонять кучу дублей. Кто-то сталкивался с таким? как исправить?

[ocdev_pro]

Вам надо настроить canonical или уникализировать страницы категориии, что бы они не считались дублями.

А можно по тупому:

 

В robots.txt закрыйть

Disallow: /*?page=

Disallow: /*&page=

 

Тема уже обсосана дальше некуда, гуглите форум

Змінено 27 серпня 2016 користувачем Waha

[chukcha]

как исправить?

 

1. проверить откуда такая ссылка

2. Посылать на..уй с таким ссылками, я бы вообще в таком случае отдавал бы не 404, а 403 forbidden

для реально отсутствующих  page=10 при всего 9 - можно и отдать 404, причина - удаление товаров,

3. Принять разумное решение о запрете индексации &page=

[porhun]

canonical настроен. не дает покоя сам факт доступности страницы по другому адресу, плюс яндекс обращается постоянно, перебирая номера. Уже до -1470 дошел

блокировать page через роботс не самый лучший вариант, гугл против. 

[Dotrox]

Если в сайтмап таких страниц нет и в метатегах там, где 6 страниц, на шестой нет в rel="next" ссылки на седьмую и так до бесконечности (такое вполне мог напихать какой-то кривой SEO модуль), то можно предположить, что у Яндекса какой-то новый алгоритм, который делает предположение, что может существовать страница на единицу больше текущей и, когда он проверяет это предположение и получает статус 200, он идёт так до бесконечности. Если дело в последнем варианте, то вскоре это должны заметить многие.

[porhun]

в том то и дело что идет не рост страниц +1, а наоборот уходит в минус. /?page=-1682

[Otvet]

значит со страницы -1 есть ссылка на -2 и т.д.

[Dotrox]

в том то и дело что идет не рост страниц +1, а наоборот уходит в минус. /?page=-1682

Да, минус там не заметен :)

Это более странно и, скорее всего, всё же вызвано внутренней проблемой.

 

В любом случае, проверьте сайтмап и метатеги на всех страницах в пределах одной категории (лучше всего, именно той, которая попала в Яндекс).

 

Ну и, если у всех таких страниц в индексе есть минус перед числом в ссылке, то можно просто поставить шаблонный редирект на 404.

[porhun]

спасибо, буду искать проблему

[porhun]

Может кто-то проверить на последней версии сборки ocstore вставить на странице категорий минус

пример: было ?page=3 стало: ?page=-3 Открывается ли у вас первая страница категории или 404? сегодня в яндекс вебмастере увидел и офигел, фото в приложении

[porhun]

Да, минус там не заметен :)

Это более странно и, скорее всего, всё же вызвано внутренней проблемой.

 

В любом случае, проверьте сайтмап и метатеги на всех страницах в пределах одной категории (лучше всего, именно той, которая попала в Яндекс).

 

Ну и, если у всех таких страниц в индексе есть минус перед числом в ссылке, то можно просто поставить шаблонный редирект на 404.

Не поделитесь шаблоном на такой редирект?)

[chukcha]

404 не будет

 

но ошибка в выводе results - есть

[porhun]

https://webmaster.yandex.ru/tools/robotstxt/

Здесь проверил доступность страницы с минусом для робота. Так как обход яндексом был выявлен на ранней стадии, то в роботс.тхт был добавлен "Disallow: /*?page=-

Disallow: /*&page=-"

они все равно были загружены, но если смотреть по вебмастеру, то роботу не доступны. 

 

 

404 не будет

 

но ошибка в выводе results - есть

подскажите где искать ошибку?

[Dotrox]

Не поделитесь шаблоном на такой редирект?)

 

Как-то так:

 

RewriteCond %{QUERY_STRING} page=-(.*)
RewriteRule ^(.*)$ /404 [R=301,L]

Только вместо 404 - ссылка на вашу страницу 404

[chukcha]

        if (isset($this->request->get['page'])) {
            $page = $this->request->get['page'];
        } else {
            $page = 1;
        }

"Ошибка" здесь

[chukcha]

Решение на поверхности  и я о нем говорил

 

проверка валидности page

 

как на <1, так и на > product_totals

[porhun]

        if (isset($this->request->get['page'])) {
            $page = $this->request->get['page'];
        } else {
            $page = 1;
        }

"Ошибка" здесь

 

 

кусок кода нашел

 

Решение на поверхности  и я о нем говорил

 

проверка валидности page

 

как на <1, так и на > product_totals

с программированием не дружу, может у вас есть наработки когда проверки на валидность page?

[chukcha]

может у вас есть наработки когда проверки на валидность page?

 

Есть..

 

При неверной странице  - отдает 404

[porhun]

Есть..

 

При неверной странице  - отдает 404

поделиться можете?

[chukcha]

 

Также, генерируется дубль при дописывании любого символа, после вопросительного знака:

http://*****.ru/ra____le-shine.html?page=1555

Должно отдавать 404 ошибку.

 

Вот люди дают ТЗ и готовы оплатить.

 

Поделиться?

 

Я поделился - рассказал как это сделать - проверить валидность.

[porhun]

за конструкцию if else хотите денег?) спасибо, разберусь сам 

[chukcha]

Вперед! Я вас не задерживаю..
Когда сделаете - поделитесь!

[porhun]

Нашел временное решение для проблемы с отрицательным номером страницы категории:

Данный кусок позволяет отдавать 404 ошибку всем запросам с отрицательными страницами.

if(preg_match('/[-]/', $page))

{

    $this->response->addHeader($this->request->server['SERVER_PROTOCOL'] . ' 404 Not Found');

}

[Otvet]

!preg_match("/[^0-9]/s", $page) || ((int)$page < 1)

Змінено 29 серпня 2016 користувачем Otvet

[chukcha]

ой!!!

 

page=099