[Поддержка] Парсер-менеджер товаров с торговых площадок

[sonicking]

Одинаковые id не должны быть, сделайте поиск по базе по id, может что увидите.

 

Для изменения модели добавьте в файл admin/controller/module/parsermanager.php в строках  984 и 1084(после условия) добавить

$data['model'] =  $data1['model'];

одинаковых id не нашлось :о(

 

по поводу модели

вставил то что вы сказали в файл - ничего не изменилось, может ни туда вставил? можно поподробнее

[igyan]

Ошибка постоянно?

 

Будет изменять модель если стоит галочка переименовывать название

если хотите без галочки поставьте выше условия

f (isset($setting['source_setting']['title']) && $setting['source_setting']['title'] == '1'){  

[sonicking]

нет, ошибка не постоянно, бывает иногда при массовом парсинге

 

вроде разобрался куда вставлять, потестирую

если после IF и поставить галочку, модель добавляется/заменяется на имя товара с донора, но и название товара заменяется

а если перд IF и без галочки, то добавляет только модель

[rezopolis3000]

Поддерживается версия Opencart 2.0?

[igyan]

Поддерживается версия Opencart 2.0?

Не проверял, нет дистрибутива

[Keyser]

я пытаюсь протестировать демку, но не прасятся товары с яндекс маркета, я менял прокси на демо, но ошибка одна и та же "Нет данных для парсинга".

 

Это и в релизе так? Как спарсить я ЯМаркета?

 

И еще момент, попробовал с хотлайн - нормально. Но ставит товару наличие - 1. Можно его изменить на 100?

Змінено 26 листопада 2014 користувачем Keyser

[igyan]

На демо последняя версия. Парсинг с подкидывание кук из браузера и периодической проверкой прокси в парсере.

[zoldiar]

Какое бы я название не вписывал в поиск, парсер постоянно пишет одно и тоже ТОВАРОВ НЕ НАЙДЕНО. Странным образом нашел какие то шины для машины по производителю постельного белья.

Созданный товар с одним названием, в списке парсера вообще не отображается. Получается что товар в магазине есть но парсер его не видит в существующем списке.

Складывается впечатление что это какой то муляж парсера.

[Keyser]

Какое бы я название не вписывал в поиск, парсер постоянно пишет одно и тоже ТОВАРОВ НЕ НАЙДЕНО. Странным образом нашел какие то шины для машины по производителю постельного белья.

Созданный товар с одним названием, в списке парсера вообще не отображается. Получается что товар в магазине есть но парсер его не видит в существующем списке.

Это у вас на каком агрегаторе? Я.Маркет?

[zoldiar]

Это у вас на каком агрегаторе? Я.Маркет?

Пробую парсить с маркета, с куками. Ввожу например Фляга или Фляга Filson Flask Black результат всегда пустой, если ввожу book находит  всего 2 товара 

[kycii89]

Onliner перестал парсить, у них поменялась структура!
Проверьте пожалуйста

[svt75]

Onliner перестал парсить, у них поменялась структура!

Проверьте пожалуйста

У меня тоже самое! Не парсит - Ошибка парсинга. Не найдены элементы!

[igyan]

Сделал обновление,

Добавлена возможность ввода капчи при парсинге с яндекса без прокси.

Интерфейс немного кривой, не успел доработать, так как пришлось сделать обновление из-за онлайнера. После ввода капчи в окне поиска, окно нужно закрыть и можно снова искать.

Основная идея -  получения кук непосредственно привязанных к вашему серверу.

Принцип работы:

1. Если не ищет товары или не парсит, смотрим логи если там "много перенаправлений..", то удаляем куки.

2. Пробуем парсить, скорее всего сразу появится капча.

3. Вводим капчу и ждем обновления станицы с предложение парсить.

4. Пробуем парсить или искать товар. Если не получилось смотрим пункт 1.

[svt75]

онлайнер отработал всего лишь час после чего опять тоже самое ошибка в парсинге.

 

03-12-2014 09:39:12: Ссылка на товар:http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews

03-12-2014 09:39:12: Начало парсинга

03-12-2014 09:39:12: Запрос: http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews

03-12-2014 09:39:12: Удачный ответ от сервера

03-12-2014 09:39:12: Получено 15463 байт

03-12-2014 09:39:13: Ошибка! Не найдено название товара!

03-12-2014 09:39:13: Конец парсинга

[igyan]

Попробуйте почистить куки

[svt75]

03-12-2014 15:09:47: Ссылка на товар:http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews

03-12-2014 15:09:47: Начало парсинга

03-12-2014 15:09:47: Запрос: http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews

03-12-2014 15:09:50: Удачный ответ от сервера

03-12-2014 15:09:50: Получено 15452 байт

03-12-2014 15:09:50: Ошибка! Не найдено название товара!

03-12-2014 15:09:50: Конец парсинга

 

Ошибка не уходит. Может опять что-то поменяли?

[igyan]

не поменяли я проверил, возможно тоже стали проверять по ip, поробуйте через прокси

[digitalbrest]

Хотел спросить - с онлайнером ситуация временная или они тоже начали бороться?

[sonicking]

Приветствую.

список проксиков выдаёт 1-5 живых (раньше было порядка 100 штук)

при вводе капчи нет перехода к парсингу, постоянный круговорот, капча, капча, капча (было один раз, перешло на страницу парсинга и после нажатия кнопки "парсит" снова капча)

 

03-12-2014 17:42:46: Начало парсинга
03-12-2014 17:42:46: Cookie включены.
03-12-2014 17:42:46: Парсинг через прокси: 202.171.253.109:80
03-12-2014 17:42:46: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA
03-12-2014 17:42:46: Неудачный ответ от сервера: 404, попробуйте позже
03-12-2014 17:42:46: Парсинг через прокси: 202.171.253.110:80
03-12-2014 17:42:46: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA
03-12-2014 17:42:47: Неудачный ответ от сервера: 404, попробуйте позже
03-12-2014 17:42:47: Парсинг через прокси: 119.188.94.145:80
03-12-2014 17:42:47: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA
03-12-2014 17:42:50: Неудачный ответ от сервера: 0, попробуйте позже
03-12-2014 17:42:50: Парсинг через прокси: 36.250.74.87:80
03-12-2014 17:42:50: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA
03-12-2014 17:42:54: Удачный ответ от сервера
03-12-2014 17:42:54: Получено 10204 байт
03-12-2014 17:42:54: Конец парсинга

[svt75]

Пробовал по всякому и с прокси и без, толку нет.

 

03-12-2014 22:15:45: Ссылка на товар:http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews

03-12-2014 22:15:45: Начало парсинга

03-12-2014 22:15:45: Запрос: http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews

03-12-2014 22:15:46: Удачный ответ от сервера

03-12-2014 22:15:46: Получено 15440 байт

03-12-2014 22:15:46: Ошибка! Не найдено название товара!

03-12-2014 22:15:46: Конец парсинга

 

ошибка не меняется.

[igyan]

 

Пробовал по всякому и с прокси и без, толку нет.

 

03-12-2014 22:15:45: Ссылка на товар:http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews

03-12-2014 22:15:45: Начало парсинга

03-12-2014 22:15:45: Запрос: http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews

03-12-2014 22:15:46: Удачный ответ от сервера

03-12-2014 22:15:46: Получено 15440 байт

03-12-2014 22:15:46: Ошибка! Не найдено название товара!

03-12-2014 22:15:46: Конец парсинга

 

ошибка не меняется.

 

Почему-то у вас ссылка ведет на отзывы, попробуйте по прямой ссылке на товар

как получали ссылку, через поиск?

[igyan]

Приветствую.

список проксиков выдаёт 1-5 живых (раньше было порядка 100 штук)

при вводе капчи нет перехода к парсингу, постоянный круговорот, капча, капча, капча (было один раз, перешло на страницу парсинга и после нажатия кнопки "парсит" снова капча)

 

03-12-2014 17:42:46: Начало парсинга

03-12-2014 17:42:46: Cookie включены.

03-12-2014 17:42:46: Парсинг через прокси: 202.171.253.109:80

03-12-2014 17:42:46: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA

03-12-2014 17:42:46: Неудачный ответ от сервера: 404, попробуйте позже

03-12-2014 17:42:46: Парсинг через прокси: 202.171.253.110:80

03-12-2014 17:42:46: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA

03-12-2014 17:42:47: Неудачный ответ от сервера: 404, попробуйте позже

03-12-2014 17:42:47: Парсинг через прокси: 119.188.94.145:80

03-12-2014 17:42:47: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA

03-12-2014 17:42:50: Неудачный ответ от сервера: 0, попробуйте позже

03-12-2014 17:42:50: Парсинг через прокси: 36.250.74.87:80

03-12-2014 17:42:50: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA

03-12-2014 17:42:54: Удачный ответ от сервера

03-12-2014 17:42:54: Получено 10204 байт

03-12-2014 17:42:54: Конец парсинга

Да с прокси есть проблемы я парсил их с бесплатного ресурса, что-то теперь там глухо, буду искать еще источники

Если пасрить через прокси, капча может быть часто. С капчей попробуйте без прокси

[sonicking]

попробовал без прокси

куки включал и отключал

 

03-12-2014 21:51:35: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=10415512&hid=6269371&show-uid=054852414176398271&track=mdlimg&track=mdlttl
03-12-2014 21:51:35: Начало парсинга
03-12-2014 21:51:35: Запрос: http://market.yandex.ru/model.xml?modelid=10415512&hid=6269371&show-uid=054852414176398271&track=mdlimg&track=mdlttl&nocookiesupport=yes
03-12-2014 21:51:35: Перенаправление -> http://market.yandex.ru
03-12-2014 21:51:35: Запрос: http://market.yandex.ru
03-12-2014 21:51:36: Перенаправление -> http://market.yandex.ru/index
03-12-2014 21:51:36: Запрос: http://market.yandex.ru/index
03-12-2014 21:51:37: Удачный ответ от сервера
03-12-2014 21:51:37: Получено 33433 байт
03-12-2014 21:51:37: Ошибка! Не найдено название товара!
03-12-2014 21:51:37: Конец парсинга
 

[svt75]

ВСё понял! На онлайнере криво работает поиск, и по это причине добавляются ссылки не товара а отзывов этого товара. По этой причине не парсится товар с онлайнера. когда вставляешь ссылку врчную всё парчит замечательно. прошу поправить поиск товара на онлайнере.

[igyan]

попробовал без прокси

куки включал и отключал

 

Куки не надо отключать

Попробуйте найти прокси с которого можно зайти на маркет из браузера и вставить его в парсер