[Поддержка] Парсер-менеджер товаров с торговых площадок

[igyan]

ВСё понял! На онлайнере криво работает поиск, и по это причине добавляются ссылки не товара а отзывов этого товара. По этой причине не парсится товар с онлайнера. когда вставляешь ссылку врчную всё парчит замечательно. прошу поправить поиск товара на онлайнере.

Я посмотрю, глючить может если есть точное совпадение, онлайнер перенаправляет на страницу с товаром, на этой странице нет ссылки на товар и я ее попытался склеить, похоже получилось не очень

[sonicking]

пол дня парсер работал на ура, проксей порядка 50 штук было............... а теперь снова............... Ошибка парсинга. Не найдены элементы!

 

05-12-2014 17:34:10: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=10745041&hid=294661&show-uid=740769914093286341&track=mdlttl
05-12-2014 17:34:10: Начало парсинга
05-12-2014 17:34:10: Cookie включены.
05-12-2014 17:34:10: Запрос: http://market.yandex.ru/model.xml?modelid=10745041&hid=294661&show-uid=740769914093286341&track=mdlttl
05-12-2014 17:34:10: Перенаправление -> http://market.yandex.ru
05-12-2014 17:34:10: Запрос: http://market.yandex.ru
05-12-2014 17:34:12: Удачный ответ от сервера
05-12-2014 17:34:12: Получено 37349 байт
05-12-2014 17:34:12: Ошибка! Не найдено название товара!
05-12-2014 17:34:12: Конец парсинга

[igyan]

Есть у такие подозрения, что яндекс, если большая нагрузка, включает какие-то фильтры и отсеивает часть трафика. В разное время капча выскакивает, бывает не выскакивает.

[SpyFox]

При парсинге с отметкой менять название, меняет модель. Как исправить?

[igyan]

При парсинге с отметкой менять название, меняет модель. Как исправить?

сделал по просьбе трудящихся

удалите строки

$data['model'] =  $data1['model'];

 

строки 995 и 1095

[sonicking]

При парсинге с отметкой менять название, меняет модель. Как исправить?

а у вас при прижатой галке меняет именно модель? а название остаётся прежним?

у меня если поставить галку меняется и модель и название товара

по совету автора добавлял строки, чтоб менялась только модель

 

 

Есть у такие подозрения, что яндекс, если большая нагрузка, включает какие-то фильтры и отсеивает часть трафика. В разное время капча выскакивает, бывает не выскакивает.

вожусь со вчерашнего обеда - пишет Ошибка парсинга. Не найдены элементы!, перепробовал уже все варианты (куки, прокси),один чёрт, да и капча не появляется...

работа стоит... печалька :о(

[igyan]

вожусь со вчерашнего обеда - пишет Ошибка парсинга. Не найдены элементы!, перепробовал уже все варианты (куки, прокси),один чёрт, да и капча не появляется...

работа стоит... печалька :о(

посмотрите что яндекс за странице отдает

добавьте после сторки 1246

$content =  $this->getContentParser($url);

вот это

echo $content; exit;

[sonicking]

добавил

выдает страницу яндекса и сверху это

HTTP/1.1 200 OK Server: nginx Date: Sun, 07 Dec 2014 08:01:01 GMT Content-Type: text/html; charset=UTF-8 Transfer-Encoding: chunked Connection: keep-alive Keep-Alive: timeout=120 Cache-Control: max-age=0, proxy-revalidate Expires: Sun, 07 Dec 2014 08:01:01 GMT X-Frame-Options: SAMEORIGIN X-Powered-By: Zinger XSCRIPT_PARENT_REQID_SEQ: 217c5f0d5e385483c473a5c79572e9f6,800c51d15a153cb00dd84e81b587a605,2ca1dc6f41c8acf0b83d60d3dc6b03f2,d2e238ec09377186768ca161e74ab11c,7b4bc25ac492f2edf211809416be5a47 Set-Cookie: yandexmarket=10,RUR,1,,,,2,0,0; domain=.market.yandex.ru; path=/; expires=Tue, 19 Jan 2038 03:14:07 GMT Content-Encoding: gzip

[igyan]

Страница с товаром?

[sonicking]

вот

[igyan]

похоже перенаправляет на главную маркета,

куки удалять пробовали? по идее должна капча появиться

можете удалить изображение

[sonicking]

похоже перенаправляет на главную маркета,

куки удалять пробовали? по идее должна капча появиться

можете удалить изображение

ну да, на главную

почистил куки в браузере, снова загрузил свежий файл с куками: с прокси - Ошибка парсинга. Не найдены элементы!, без прокси - дало спарсить десять товаров, потом снова Ошибка парсинга. Не найдены элементы!

удалил/отключил куки в модуле - спарсило один товар и снова Ошибка парсинга. Не найдены элементы!

[igyan]

отключать не надо, сейчас без кук яндекс не отдает страницу, будет постоянно капча, я проверял так даже в браузере

пробуйте если не парсит удалять куки и парсить без прокси

[sonicking]

в модуле:

куки включены, но нажата кнопка удалить, без прокси - я правильно понял?

Ошибка парсинга. Не найдены элементы!

 

07-12-2014 19:18:08: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=8220235
07-12-2014 19:18:08: Начало парсинга
07-12-2014 19:18:08: Cookie включены.
07-12-2014 19:18:08: Запрос: http://market.yandex.ru/model.xml?modelid=8220235
07-12-2014 19:18:08: Перенаправление -> http://market.yandex.ru
07-12-2014 19:18:08: Запрос: http://market.yandex.ru
07-12-2014 19:18:09: Удачный ответ от сервера
07-12-2014 19:18:09: Получено 35770 байт
07-12-2014 19:18:10: Ошибка! Не найдено название товара!
07-12-2014 19:18:10: Конец парсинга

[igyan]

Опять перенаправило на главную,

вставьте новую ссылку напрямую с яндекса, удалите куки и попробуйте парсить

[sonicking]

удалил куки. по новой нащел товар и вставил в парсер ссылку

всё так же...

[igyan]

может яндекс забанил ип вашего сервера, что даже на капчу не перекидавает, а сразу перенаправляет на главную

остается пробовать через прокси с куками и удалять куки после неудачного парсинга

[sonicking]

ну вот сейчас дало спарсить ещё один товар.

по бану врядли, всегда работал через прокси. как проверить на бан?

пробую с проксями и с куками..... и опять Ошибка парсинга. Не найдены элементы!

[sonicking]

удалил несколько проксей из листа

начило парсить

потом капча

ввёл

снова парсит

на долго ли?

 

21:57

теперь так в логе, хотя при проверке выдаёт около 80 рабочих проксиков

07-12-2014 20:58:09: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:09: Начало парсинга
07-12-2014 20:58:09: Cookie включены.
07-12-2014 20:58:09: Парсинг через прокси: 111.13.2.138:80
07-12-2014 20:58:09: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:11: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:11: Парсинг через прокси: 111.13.2.140:80
07-12-2014 20:58:11: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:12: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:12: Парсинг через прокси: 111.13.109.54:80
07-12-2014 20:58:12: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:14: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:14: Парсинг через прокси: 111.13.2.130:80
07-12-2014 20:58:14: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:15: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:15: Парсинг через прокси: 111.13.2.139:80
07-12-2014 20:58:15: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:17: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:17: Парсинг через прокси: 111.13.109.52:80
07-12-2014 20:58:17: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:19: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:19: Парсинг через прокси: 117.177.242.249:80
07-12-2014 20:58:19: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:20: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:20: Парсинг через прокси: 183.224.1.30:80
07-12-2014 20:58:20: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:22: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:22: Парсинг через прокси: 125.39.66.66:80
07-12-2014 20:58:22: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:24: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:24: Парсинг через прокси: 120.131.128.211:80
07-12-2014 20:58:24: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:25: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:25: Парсинг через прокси: 119.6.136.126:80
07-12-2014 20:58:25: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:27: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:27: Парсинг через прокси: 120.131.128.210:80
07-12-2014 20:58:27: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:29: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:29: В прокси-листе нет рабочих адресов...
07-12-2014 20:58:29: Задержка : 30 секунд.
07-12-2014 20:58:59: Конец парсинга
 

[sonicking]

такое ощущение, что яша поменял что то в вёрстке. некоторые ссылки на товары в парсере, которые до этого парсились, теперь выдают, что товар не найден. ищещ по новой этот товар, меняешь ссылку - парсица..........

или по ссылке из парсера товар есть, но парсинг не проходит. по новой меняем ссылку - парсица

[igyan]

Скорее всего дело в ссылках, яндекс передает в них дополнительные параметры, в ранних версиях парсера ссылки обрезались, раньше так прокатывало.

 Сейчас я сделал чтобы они сохранялись полностью.

[sonicking]

вот две ссылки на один и тот же товар:

старая

http://market.yandex.ru/model.xml?modelid=10552008

и новая
http://market.yandex.ru/model.xml?modelid=10552008&hid=90566&show-uid=458980814180359301&track=mdlimg&track=mdlttl

обе отдают при переходе одну и туже страницу на яше

по одной парситса, по другой нет

хотя бывает, что и по ссылке второго типа парсится с о второго, третьего раза или не парсится вообще... :cry:

 

когда примерно было обновление модуля в котором не обрезаются ссылки?

 

P.S. и можно ли как то определить у каких товаров ссылки резаные ? (не нажимая у каждого товара на парсинг, может как то выгрузить таблицу с ссылками и в ней отсортировать по какому нибудь признаку)

 

и ещё вопрос иногда при парсинге бывает две надписи

Список товаров обновлен!

Ошибка парсинга. Не найдены элементы!

в логе следующее

08-12-2014 12:44:08: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=8464809&hid=90566&show-uid=374187214093433051&track=mdlttl
08-12-2014 12:44:08: Начало парсинга
08-12-2014 12:44:08: Cookie включены.
08-12-2014 12:44:08: Парсинг через прокси: 37.49.137.243:80
08-12-2014 12:44:08: Запрос: http://market.yandex.ru/model.xml?modelid=8464809&hid=90566&show-uid=374187214093433051&track=mdlttl
08-12-2014 12:44:10: Удачный ответ от сервера
08-12-2014 12:44:10: Получено 62611 байт
08-12-2014 12:44:10: Название товара: Whirlpool AWO/C 6104
08-12-2014 12:44:10: Конец парсинга
 

в чём тут проблема?

[igyan]

точно не помню, обрезалось в первых версиях, все что после первого амперсанда

можно в базе в таблице parser_urs, посмотреть ссылки которые не содержат что-нибудь из

&hid=

&show-uid=

&track=mdlimg

&track=mdlttl

[SpyFox]

А в модуль можно добавить sotmarket.ru ?

[igyan]

А в модуль можно добавить sotmarket.ru ?

Надо посмотреть что там с количеством товаров, атрибутами, фото. Давно хотел еще добить доноров, но постоянно возникают проблемы с существующими.