[Поддержка] Парсер-менеджер товаров с торговых площадок

[dima2000]

Не парсятся доп изображения

вот донор

вот лог 

27-02-2017 10:23:11: Ссылка на товар:https://catalog.onliner.by/hoods/germes/tosk60w
27-02-2017 10:23:11: Начало парсинга
27-02-2017 10:23:11: User agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36
27-02-2017 10:23:11: Cookie включены.
27-02-2017 10:23:11: Запрос: https://catalog.onliner.by/hoods/germes/tosk60w
27-02-2017 10:23:11: Удачный ответ от сервера
27-02-2017 10:23:11: Получено 112986 байт
27-02-2017 10:23:14: Запрос: https://content2.onliner.by/catalog/device/original/6589513af44c34748c24f8336e02a2d7.jpeg
27-02-2017 10:23:14: Удачный ответ от сервера
27-02-2017 10:23:14: Получено 35988 байт
27-02-2017 10:23:14: Запрос: https://content2.onliner.by/catalog/device/original/fe928b252062024f1d647e76a79d2c8d.jpeg
27-02-2017 10:23:14: Неудачный ответ от сервера: 404, попробуйте позже
27-02-2017 10:23:14: Запрос: https://content2.onliner.by/catalog/device/original/9b4d57f5489a85b6ea594bf6f912cff9.jpeg
27-02-2017 10:23:14: Неудачный ответ от сервера: 404, попробуйте позже
27-02-2017 10:23:14: Запрос: https://content2.onliner.by/catalog/device/original/619c5257f6a81f1e73390d50a3e0cc98.jpeg
27-02-2017 10:23:14: Неудачный ответ от сервера: 404, попробуйте позже
27-02-2017 10:23:14: Конец парсинга

 

[dima2000]

Что-то разработчики один за одним исчезают

[igyan]

я вам уже несколько раз объяснял, что нет доп. изображений без логотипа поэтому не парсятся

[piratu]

Добрый день! 

Не парсит через прокси:

Цитата

06-03-2017 18:59:23: Начало парсинга
06-03-2017 18:59:23: Парсинг через прокси: 212.86.102.37:2831 пользователь:***:***
06-03-2017 18:59:23: Запрос: http://hotline.ua/sr/?q=hw102
06-03-2017 18:59:24: Неудачный ответ от сервера: 0, попробуйте позже
06-03-2017 18:59:24: Конец парсинга

и при проверке списка прокси пишет Undefined index: primary_port in ..../MCurl.php on line 248

Без прокси все ок

[igyan]

В 06.03.2017 в 20:07, piratu сказал:

Добрый день! 

Не парсит через прокси:

и при проверке списка прокси пишет Undefined index: primary_port in ..../MCurl.php on line 248

Без прокси все ок

попробуйте, с другим прокси, с онлайнера, можно бесплатным

возможно дело в самом прокси

под какую версию парсер и когда вы покупали?

 

[cbv]

В 26.02.2017 в 18:59, cbv сказал:

Здравствуйте!

Планируете ли добавление антикапчи?

 

[igyan]

В 08.03.2017 в 14:32, cbv сказал:

 

нет антикапчу не планирую,

добавлю донора маил торг

[seregakng]

уже сутки наблюдаю проблемы парсинга с маркета, парсит нормально одну карточку(заполняет), потом выдаёт капчу после этого пишет "Пробуте парсить снова!", жму парсить опять выдаёт капчу и так с полчаса, потом опять одну карточку парсит нормально(заполняет) и опять по кругу капчу.

вот лог когда не парсит

 

Цитата

16-03-2017 02:46:46: Ссылка на товар:https://market.yandex.ru/product/10127284?hid=765280&nid=54931&text=Bosch%20MSM%2064010&srnum=3
16-03-2017 02:46:46: Начало парсинга
16-03-2017 02:46:46: User agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36
16-03-2017 02:46:46: Cookie включены.
16-03-2017 02:46:46: Запрос: https://market.yandex.ru/product/10127284?hid=765280&nid=54931&text=Bosch MSM 64010&srnum=3
16-03-2017 02:46:46: Перенаправление -> https://market.yandex.ru/showcaptcha?retpath=https%3A//market.yandex.ru/product/10127284%3Fhid%3D765280%26nid%3D54931%26text%3DBosch%20MSM%2064010%26srnum%3D3_0428aa6794253880dd5a444787537793&t=0/1489621606/476b7ea47b8ead801cb0edc97964197d&s=a6e3186e4123eddf8f3b352b34019cbe
16-03-2017 02:46:46: Запрос: https://market.yandex.ru/showcaptcha?retpath=https%3A//market.yandex.ru/product/10127284%3Fhid%3D765280%26nid%3D54931%26text%3DBosch%20MSM%2064010%26srnum%3D3_0428aa6794253880dd5a444787537793&t=0/1489621606/476b7ea47b8ead801cb0edc97964197d&s=a6e3186e4123eddf8f3b352b34019cbe
16-03-2017 02:46:46: Удачный ответ от сервера
16-03-2017 02:46:46: Получено 4597 байт
16-03-2017 02:46:46: Конец парсинга
 

 

 

куки чистил, товары разные пробовал, но так и нечего не получается. Такое ощущение что маркет установил какие-то лимиты

помогите пожалуйста.

[piratu]

В 08.03.2017 в 12:44, igyan сказал:

попробуйте, с другим прокси, с онлайнера, можно бесплатным

возможно дело в самом прокси

под какую версию парсер и когда вы покупали?

 

с прокси разобрался, открыл порт на хостинге.

Подскажите в каком виде записывать список прокси в проксилист? 

записываю в формате xxx.xxx.xx.xx:xxxx пишет undefined index: primary_port on line 248

[igyan]

18 часов назад, seregakng сказал:

уже сутки наблюдаю проблемы парсинга с маркета, парсит нормально одну карточку(заполняет), потом выдаёт капчу после этого пишет "Пробуте парсить снова!", жму парсить опять выдаёт капчу и так с полчаса, потом опять одну карточку парсит нормально(заполняет) и опять по кругу капчу.

вот лог когда не парсит

 

 

 

куки чистил, товары разные пробовал, но так и нечего не получается. Такое ощущение что маркет установил какие-то лимиты

помогите пожалуйста.

подкиньте, куки из браузера

возможно дело в ссылке, попробуйте удалить часть Post запроса, яндекс проверяет что передается

пробуйте https://market.yandex.ru/product/10127284

или вставьте новую ссылку

 

[igyan]

4 часа назад, piratu сказал:

с прокси разобрался, открыл порт на хостинге.

Подскажите в каком виде записывать список прокси в проксилист? 

записываю в формате xxx.xxx.xx.xx:xxxx пишет undefined index: primary_port on line 248

под какую версию парсер и когда вы покупали?

[seregakng]

3 часа назад, igyan сказал:

 

Змінено 16 березня 2017 користувачем seregakng

[seregakng]

3 часа назад, igyan сказал:

подкиньте, куки из браузера

возможно дело в ссылке, попробуйте удалить часть Post запроса, яндекс проверяет что передается

пробуйте https://market.yandex.ru/product/10127284

или вставьте новую ссылку

 

 

куки подкидывал, 

ссылки разные пробовал, и эта тоже не помогла

[aleksus33]

Добрый день! Столкнулся с такой проблемой. Парсер использую с торговой площадки hotline. Парсил ноутбуки и при условии что ноубук нашелся, после нажатии кнопки парсить выдает ошибку "Ошибка парсинга. Не найдены элементы!" Хотя данный товар есть на хотлайне. Вводишь другую модель ноутбука все прекрасно парсит.

 

В любом случае СПАСИБО за модуль, но если будет время посмотрите в чем проблема.

Спасибо!!!

 

 

 

[phoen]

aleksus33

 

точно такая же проблема с хотлайном, иногда проскакивают ноуты, если удалить ссылку и опять ее добавить, но чаще выдает ошибку.

[igyan]

в логе не показано какой элемент не находит?

скиньте ссылки на товары

 

[phoen]

У меня такой лог

23-03-2017 15:05:46: Ссылка на товар: ссылку удалил
23-03-2017 15:05:46: Начало парсинга
23-03-2017 15:05:46: Cookie включены.
23-03-2017 15:05:46: Парсинг через прокси:
23-03-2017 15:05:46: Запрос: ссылку удалил
23-03-2017 15:05:48: Удачный ответ от сервера
23-03-2017 15:05:48: Получено 54209 байт
23-03-2017 15:05:48: Конец парсинга

 

Змінено 23 березня 2017 користувачем phoen

[igyan]

по логу не понятно, посмотрите последняя страница та, что должна спарсится иди капча

[aleksus33]

В 23.03.2017 в 07:46, igyan сказал:

в логе не показано какой элемент не находит?

скиньте ссылки на товары

 

Добрый день!

Скрины товара с ошибкой и лог  с ошибкой прилагаю.

[seregakng]

 

Не парсит атрибуты

вот лог

Цитата

29-03-2017 13:31:19: Ссылка на товар:https://market.yandex.ru/product/13004995?hid=91052&track=tabs
29-03-2017 13:31:19: Начало парсинга
29-03-2017 13:31:19: User agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36
29-03-2017 13:31:19: Cookie включены.
29-03-2017 13:31:19: Запрос: https://market.yandex.ru/product/13004995?hid=91052&track=tabs
29-03-2017 13:31:20: Удачный ответ от сервера
29-03-2017 13:31:20: Получено 258038 байт
29-03-2017 13:31:20: Название товара: Viewsonic VA1903a
29-03-2017 13:31:20: User agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36
29-03-2017 13:31:20: Cookie включены.
29-03-2017 13:31:20: Запрос: https://market.yandex.ru/product/13004995/spec?hid=91052&track=tabs
29-03-2017 13:31:22: Удачный ответ от сервера
29-03-2017 13:31:22: Получено 255594 байт
29-03-2017 13:31:22: Конец парсинга

 

вчера нормально всё было сегодня такая фигня.

пробовал разные категории товаров, но так не чего и не добился, конкретно атрибуты не сохраняет в карточки. 

[lost1980]

не парсит атрибуты, шеф, все пропало

Цитата

30-03-2017 19:05:08: Ссылка на товар:https://market.yandex.ru/product/1717193991
30-03-2017 19:05:08: Начало парсинга
30-03-2017 19:05:08: User agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0
30-03-2017 19:05:08: Cookie включены.
30-03-2017 19:05:08: Запрос: https://market.yandex.ru/product/1717193991
30-03-2017 19:05:08: Удачный ответ от сервера
30-03-2017 19:05:08: Получено 222785 байт
30-03-2017 19:05:09: Название товара: Triumf Active WB-21
30-03-2017 19:05:09: Запрос: https://mdata.yandex.net/i?path=b0202120730_img_id291731499144268381.jpeg&size=9
30-03-2017 19:05:09: Удачный ответ от сервера
30-03-2017 19:05:09: Получено 123415 байт
30-03-2017 19:05:09: Запрос: https://mdata.yandex.net/i?path=b0202120814_img_id4836026653525549454.jpeg&size=9
30-03-2017 19:05:09: Удачный ответ от сервера
30-03-2017 19:05:09: Получено 118450 байт
30-03-2017 19:05:09: Запрос: https://mdata.yandex.net/i?path=b0202120850_img_id9104486212188277055.jpeg&size=9
30-03-2017 19:05:09: Удачный ответ от сервера
30-03-2017 19:05:09: Получено 117030 байт
30-03-2017 19:05:09: Запрос: https://mdata.yandex.net/i?path=b0202120932_img_id6392812398634687976.jpeg&size=9
30-03-2017 19:05:09: Удачный ответ от сервера
30-03-2017 19:05:09: Получено 107547 байт
30-03-2017 19:05:09: User agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0
30-03-2017 19:05:09: Cookie включены.
30-03-2017 19:05:09: Запрос: https://market.yandex.ru/product/1717193991/spec?hid=10683251&track=tabs
30-03-2017 19:05:10: Удачный ответ от сервера
30-03-2017 19:05:10: Получено 228283 байт
30-03-2017 19:05:11: Конец парсинга

[igyan]

У меня одного уведомления в теме с форума не приходят?

Посмотрю атрибуты сегодня

[seregakng]

4 часа назад, igyan сказал:

У меня одного уведомления в теме с форума не приходят?

Посмотрю атрибуты сегодня

 

мне приходят только когда в личку пишут.

Очень нужно, подправте сегодня пожалуйста

[igyan]

в начале недели будет обновление добавлен торг маил ру

и возможность парсить атрибуты с мобильной версии яндекса

[DmitriyV]

перестал парситься маркет. просит капчу и на этом все(