[Поддержка] Парсер-менеджер товаров с торговых площадок

[dexion]

страница должна обновляться, отданным контентом

хотя при массовом поиске не помню проверял это или нет, попробуйте

Жму "найти товар", ввожу там "ga-1000-1a", нахожу карточку, жму "выбрать", жму "показать страницу", вижу http://prnt.sc/c7cjrt  хотя ссылка нашлась, можно выбрать, все сработает. У меня вроде бы всегда так было, это вряд ли показатель.

 

Что значит "проверить парсер через прокси в браузерах"? Подключить в браузере прокси и полистать маркет? Или подключить в браузере прокси и попользоваться модулем? Или что-то другое? Что нужно увидеть, если прокси работает нормально?

[igyan]

установите прокси в настройках браузера, если прокси не рабочий будет ошибка,

internal server error тоже может быть по вине прокси

[dexion]

установите прокси в настройках браузера, если прокси не рабочий будет ошибка,

internal server error тоже может быть по вине прокси

Установил, маркет в браузере работает, айпи подменился: http://prntscr.com/c7d2br

[igyan]

значит прокси работает,

сложно сказать как поведет себя прокси при массовом парсинге

[dexion]

значит прокси работает,

сложно сказать как поведет себя прокси при массовом парсинге

Что делать в таком случае?

Насколько я помню, если проблема с прокси/баном маркета - выдается ошибка "Много перенаправлений..." или ничего не пишется в логе. Но в данном случае: 

18-08-2016 16:37:13: Удачный ответ от сервера

18-08-2016 16:37:13: Получено 70970 байт

Указал около 100 ссылок на карточки вручную, запустил парсер - все успешно спарсилось. Но ссылки так и отказывало находить. 

[igyan]

посмотрите при поиске ссылок срабатывает задержка между парсингом

хорошо бы увидеть что за страницу отдал парсер при ошибке, посмотрите что в

/download/content.htm

[dexion]

Да, задержка срабатывает, в логе она тоже указывается: 19-08-2016 02:35:58: Задержка : 3 секунд.

Ошибка была и при парсинге одного товара, там задержка ни к чему. 

В content.htm много кода, похожего на страницу маркета, в первых двух строчках:

HTTP/1.0 200 Connection established

HTTP/1.1 200 OK

Важно что в остальных?

 

 

 

UPD: вроде бы ожил парсер каким-то чудом...ссылки стали снова находиться и прикрепляться к товарам. Не ясно из-за чего ожил, и из-за чего не работал.

Змінено 19 серпня 2016 користувачем dexion

[igyan]

 

Да, задержка срабатывает, в логе она тоже указывается: 19-08-2016 02:35:58: Задержка : 3 секунд.

Ошибка была и при парсинге одного товара, там задержка ни к чему. 

В content.htm много кода, похожего на страницу маркета, в первых двух строчках:

HTTP/1.0 200 Connection established

HTTP/1.1 200 OK

Важно что в остальных?

 

как раз в в остальных строках и будет страница

[lost1980]

упил модуль для 2.0 но в после установки он не открывается, ошибка


Notice: Indirect modification of overloaded property ControllerModuleparsermanager::$data has no effect in /home/users/m/mobdevs/domains/isto

[igyan]

упил модуль для 2.0 но в после установки он не открывается, ошибка

Notice: Indirect modification of overloaded property ControllerModuleparsermanager::$data has no effect in /home/users/m/mobdevs/domains/isto

вы купили для 1,5

для 2,0 нужно дополнительно  оплатить 350 р

[KeNs]

На ocStore 2.1.0.2.1 запустится? И есть ли возможность посмотреть где нибудь демо?

[igyan]

На ocStore 2.1.0.2.1 запустится? И есть ли возможность посмотреть где нибудь демо?

На ocStore 2.1 запустится. на 2,2 запускается, но бывают выскакивают предупреждения, парсинг работает

демо для пока 2 нет, возможно сделаю 

[dima2000]

Delete

Змінено 5 вересня 2016 користувачем dima2000

[dexion]

Добрый день

Маркет обновил верстку, парсер похоже перестал из-за этого работать. При попытке парсинга пишет:

19-09-2016 18:13:33: Ссылка на товар:https://market.yandex.ru/product/10975061

19-09-2016 18:13:33: Начало парсинга

19-09-2016 18:13:33: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:48.0) Gecko/20100101 Firefox/48.0

19-09-2016 18:13:33: Cookie включены.

19-09-2016 18:13:33: Парсинг через прокси: *** пользователь: ***

19-09-2016 18:13:33: Запрос: https://market.yandex.ru/product/10975061

19-09-2016 18:13:34: Удачный ответ от сервера

19-09-2016 18:13:34: Получено 62355 байт

19-09-2016 18:13:34: Ошибка! Не найдено название товара!

19-09-2016 18:13:34: Конец парсинга

 

В демо та же ошибка.

Как скоро сможете поправить?

[igyan]

похоже поменяли, буду разбираться

[dexion]

похоже поменяли, буду разбираться

Можете ли сориентировать когда ждать результатов?

[seregakng]

похоже поменяли, буду разбираться

:| ждём обновление для 1.5.5.1 , яндекс зараза поменялся..

Заранее спасибо!!! 

[igyan]

Можете ли сориентировать когда ждать результатов?

1-2 дня

[axor]

после обновления модуля ссылки не пропадут? 

 

плюс не работают другие парсеры http://m.ua/ вообще не понятно что парсит(атрибутов нет, описаний нет, названия не понятные) типо этого  Характеристики и описание BSN Amino X [Amino X 435 g]

http://hotline.ua/ вообще не работает, причем давно.  Ошибка парсинга. Не найдены элементы!

вопросов нет только к онлайнеру, парсит идеально.

 

по маркету еще такая проблема, если искать товар в модуле то постоянно появляется капча, очень часто, так не должно быть, ведь я так же ищу на самом маркете на их сайте и кодов там не бывает, видимо от модуля не правильный запрос идет, может куки не полностью цепляет? или еще что.

Змінено 20 вересня 2016 користувачем axor

[igyan]

исправил парсер с яндекса, пока только тестовая версия на 8 часов до 16:00 22.09.16

заменить \admin\controller\module\parsermanager.php,

если будут проблемы с парсингом товаров указывать ссылки на товары

если с поиском указывать название товара

массовый поиск запускать не надо

до конца недели рассмотрю замечания и исправлю

 

что касается остальных парсеров

m.ua - был неудачный донор, надо будет  заменить

с hotlina работает с прокси, идеальный вариант парсинг с локалки с разблокировкой капчи в браузере, но товары надо переносить на хостинг

при поиске на яндексе в браузере вы заходите на основную страницу маркета, затем ищите товар, естественно в браузер с каждой страницы записываются куки, и они будут правильные

при поиске в парсере сразу идет посковый запрос, что не совсем правильно и яндекс может выкинуть капчу

я поменял поисковый запрос, возможно будет лучше, в любом случае нужно периодически подкидывать правильные куки из браузера

[axor]

с поиском стало лучше, товаров 100 без капчи нашел

парсит вроде норм

[igyan]

попарсите, желательно разные категории, 2-3 дня меня не будет, потом обновлю

[axor]

да уже категорий 10 спарсили, вроде норм

[dexion]

Похоже при парсинге атрибутов ошибка:

22-09-2016 13:18:56: Начало парсинга

22-09-2016 13:18:56: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:48.0) Gecko/20100101 Firefox/48.0

22-09-2016 13:18:56: Cookie включены.

22-09-2016 13:18:56: Парсинг через прокси: *** пользователь: ***

22-09-2016 13:18:56: Запрос: https://market.yandex.ru/product/10975061

22-09-2016 13:18:57: Удачный ответ от сервера

22-09-2016 13:18:57: Получено 66511 байт

22-09-2016 13:18:57: Название товара: LOCMAN 020000KBFOR1GOB

22-09-2016 13:18:57: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:48.0) Gecko/20100101 Firefox/48.0

22-09-2016 13:18:57: Cookie включены.

22-09-2016 13:18:57: Парсинг через прокси: *** пользователь: ***

22-09-2016 13:18:57: Запрос: https://market.yandex.ru/product/10975061hid=91259&track=tabs

22-09-2016 13:18:58: Неудачный ответ от сервера: 404, попробуйте позже

22-09-2016 13:18:59: Конец парсинга

 

https://market.yandex.ru/product/10975061/spec?hid=91259&track=tabs

и 

https://market.yandex.ru/product/10975061hid=91259&track=tabs

отличаются наличием "/spec?" 

Змінено 22 вересня 2016 користувачем dexion

[dexion]

С картинками и производителями тоже какая-то проблема:

22-09-2016 13:45:13: Ссылка на товар:https://market.yandex.ru/product/10625036

22-09-2016 13:45:13: Начало парсинга

22-09-2016 13:45:13: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:48.0) Gecko/20100101 Firefox/48.0

22-09-2016 13:45:13: Cookie включены.

22-09-2016 13:45:13: Парсинг через прокси: *** пользователь: ***

22-09-2016 13:45:13: Запрос: https://market.yandex.ru/product/10625036

22-09-2016 13:45:17: Удачный ответ от сервера

22-09-2016 13:45:17: Получено 66870 байт

22-09-2016 13:45:17: Название товара: LOCMAN 020300MKFFX0BR0

22-09-2016 13:45:17: Не найден производитель!

22-09-2016 13:45:17: Не найдены изображения!

22-09-2016 13:45:19: Конец парсинга

 

Цену спарсил, а картинку и производителя нет, хотя у товара они присутствуют. 

 

 

UPD: через 10 минут спарсил и картинку с производителем для этих же самых товаров. Но с первого раза почему то не прошло.

 

 

UPD2: у меня тоже проблема с поиском. Не ищет ссылки вообще. Парсит по добавленным вручную ссылкам исправно, а вот ссылки ни одной не находит, даже если жму "поиск" для одного товара. Выдает "много перенаправлений". Прокси рабочий, в браузере маркет с ним открывается нормально, куки не спасают. 

Змінено 22 вересня 2016 користувачем dexion