[Поддержка] Парсер-менеджер товаров с торговых площадок

[igyan]

в ответе при поиске,

там не совсем апи,

страница с яваскриптом и редирект на список телефонов из поиска

[sotavip]

исправимо?

[igyan]

смогу поковырять только в выходной,

думаю что-нибудь получится

[sotavip]

как успехи?

[igyan]

сделал обновление

 

[DmitriyV]

у маркета ничего не менялось последнее время? Что-то стало парсится без Характеристик

[igyan]

не парсится вторая страница, где характеристики

посмотрите в логе

может что и поменяли, парсер перестал перенаправлять на капчу, надо смотреть

[sotavip]

проверьте

[igyan]

пока не разобрался, иногда капча, иногда пустой ответ

завтра буду еще смотреть 

[sotavip]

ok

[DmitriyV]

есть информация? до сих пор "траблы"!

[igyan]

18 часов назад, DmitriyV сказал:

есть информация? до сих пор "траблы"!

какая версия магазина?

как ведет себя парсер, опишите подробнее

[DmitriyV]

сайт Версия 2.1.0.2.1

модуль 2,2,2 парсится без характеристик

[igyan]

Сделал обновление

Подправил парсинг с яндекс

Так теперь должна появиться возможно вводить капчу в парсере

Проверял на 2,3 версии

[DmitriyV]

5 часов назад, igyan сказал:

Сделал обновление

Подправил парсинг с яндекс

Так теперь должна появиться возможно вводить капчу в парсере

Проверял на 2,3 версии

как правильно обновить парсер, чтобы не потерять все настройки? достаточно ли будет перенести файл из папки model?

 

[DmitriyV]

я так понял на 2,3 уже другая структура, и просто так не обновить, переносом, или что-то путаю?

Змінено 18 лютого 2020 користувачем DmitriyV

[igyan]

в архиве под 3 версии: 1.5, 2, 2.3

можете обновить 

\system\library\parsermanager\parser_yandex.php

\admin\controller\module\parsermanager.php

 

[DmitriyV]

обновил работает, но

такую ссылку парсит!

https://market.yandex.ru/product--videokarta-asus-rog-geforce-rtx-2070-1410mhz-pci-e-3-0-8192mb-14000mhz-256-bit-2xhdmi-2xdisplayport-hdcp-strix-gaming-oc/222082952?clid=703

.

а вот такую уже без характеристик

https://market.yandex.ru/product--videokarta-asus-rog-geforce-rtx-2070-1410mhz-pci-e-3-0-8192mb-14000mhz-256-bit-2xhdmi-2xdisplayport-hdcp-strix-gaming-oc/222082952?show-uid=15821167524872009872816001&nid=55314&lr=213&text=Видеокарта ASUS ROG GeForce RTX 2070 1410MHz PCI-E 3.0 8192MB 14000MHz 256 bit 2xHDMI 2xDisplayPort HDCP Strix Gaming OC&context=search

Змінено 19 лютого 2020 користувачем DmitriyV

[sotavip]

Решили вопрос?

[igyan]

17 часов назад, sotavip сказал:

Решили вопрос?

Попробовал сейчас, парсит

Это один товар, но ссылки получены скорее всего разными путями,

если искать через парсер, то парсит

возможно вставляли через браузер, и яндекс вставил кучу параметров, 

 

попробуйте заменить функцию в файле admin\controller\extension\module\parsermanager.php

это для всех версий

 public function parserYandex($url)
    {
		$url = parse_url($url, PHP_URL_SCHEME).'://'.parse_url($url, PHP_URL_HOST).'/'.parse_url($url, PHP_URL_PATH).'?'.strtr(rawurlencode(parse_url($url, 		PHP_URL_QUERY)), array('%20' => '+', '%3D' => '=', '%26' => '&',  '%26lt' => '','%26gt' => ''));
        require(DIR_SYSTEM . 'library/parsermanager/parser_yandex.php');
        return $data;
    }

 

[aleksus33]

Добрый день!

 Посмотрите пожалуйста что опять мог изменить хотлайн. Парсил товар Смартфон Samsung Galaxy S20 SM-G980 8/128GB Light Blue (SM-G980FLBD)

26-03-2020 12:31:41: Начало парсинга
26-03-2020 12:31:41: User agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36
26-03-2020 12:31:41: Cookie включены.
26-03-2020 12:31:41: Запрос: http://hotline.ua/sr/?q=SM-G980FZADSEK
26-03-2020 12:31:41: Перенаправление -> https://hotline.ua/sr/?q=SM-G980FZADSEK
26-03-2020 12:31:41: Запрос: https://hotline.ua/sr/?q=SM-G980FZADSEK
26-03-2020 12:31:41: Удачный ответ от сервера
26-03-2020 12:31:41: Получено 129263 байт
26-03-2020 12:31:41: Конец парсинга
 

[igyan]

Сегодня вечером посмотрю, все не парсится или какая-то категория товаров

[aleksus33]

Добрый день!

 Посмотрите пожалуйста что опять мог изменить хотлайн. Парсил товар Смартфон Samsung Galaxy S20 SM-G980 8/128GB Light Blue (SM-G980FLBD)

26-03-2020 12:31:41: Начало парсинга
26-03-2020 12:31:41: User agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36
26-03-2020 12:31:41: Cookie включены.
26-03-2020 12:31:41: Запрос: http://hotline.ua/sr/?q=SM-G980FZADSEK
26-03-2020 12:31:41: Перенаправление -> https://hotline.ua/sr/?q=SM-G980FZADSEK
26-03-2020 12:31:41: Запрос: https://hotline.ua/sr/?q=SM-G980FZADSEK
26-03-2020 12:31:41: Удачный ответ от сервера
26-03-2020 12:31:41: Получено 129263 байт
26-03-2020 12:31:41: Конец парсинга
 

[aleksus33]

Добрый день! Подскажите пожалуйста кто делает парсинг товаров с hotline, нормально парсится  с hotline или есть проблемы? Просто последние полгода все красиво парсилось, а буквально два дня назад проблема нарисовалась.

 

Спасибо.

[sotavip]

просьба проверить, не парсит ссылки

https://market.yandex.ru/product--smartfon-xiaomi-redmi-note-9-pro-6-128gb/662539009?track=tabs

https://market.yandex.ru/product--smartfon-xiaomi-redmi-note-9-pro-6-64gb/662540009?track=tabs

 

журнал

23-05-2020 11:19:40: Ссылка на товар:https://market.yandex.ru/product--smartfon-xiaomi-redmi-note-9-pro-6-64gb/662540009?track=tabs
23-05-2020 11:19:40: Начало парсинга
23-05-2020 11:19:40: User agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 YaBrowser/19.9.3.314 Yowser/2.5 Safari/537.36
23-05-2020 11:19:40: Cookie включены.
23-05-2020 11:19:40: Запрос: https://market.yandex.ru//product--smartfon-xiaomi-redmi-note-9-pro-6-64gb/662540009?track=tabs
23-05-2020 11:19:40: Перенаправление -> https://market.yandex.ru/product--smartfon-xiaomi-redmi-note-9-pro-6-64gb/662540009?track=tabs
23-05-2020 11:19:40: Запрос: https://market.yandex.ru/product--smartfon-xiaomi-redmi-note-9-pro-6-64gb/662540009?track=tabs
23-05-2020 11:19:41: Удачный ответ от сервера
23-05-2020 11:19:41: Получено 141331 байт
23-05-2020 11:19:41: Ошибка! Не найдено название товара!
23-05-2020 11:19:41: Конец парсинга