[Поддержка] Парсер-менеджер товаров с торговых площадок

[igyan]

Сделал обновление модуля после смены верстки яндексом,

с запоминанием папки для изображение не получилось,

остальные пожелания постарался учесть

[seregakng]

Сделал обновление модуля после смены верстки яндексом,

с запоминанием папки для изображение не получилось,

остальные пожелания постарался учесть

Всё нашёл, спасибо)

[seregakng]

Сделал обновление модуля после смены верстки яндексом,

с запоминанием папки для изображение не получилось,

остальные пожелания постарался учесть

 

Обновил теперь парсеринг завершается вот этим

 

Notice: Undefined index: attribute_id in /home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in /home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in /home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in /home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in /home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in /home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in /home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in /home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in /home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Warning: Cannot modify header information - headers already sent by (output started at /home/kngshop8/public_html/admin/index.php:86) in /home/kngshop8/public_html/vqmod/vqcache/vq2-system_engine_controller.php on line 28Warning: Cannot modify header information - headers already sent by (output started at /home/kngshop8/public_html/admin/index.php:86) in /home/kngshop8/public_html/vqmod/vqcache/vq2-system_engine_controller.php on line 29

 

 

вот ЛОГ 

 

13-02-2015 13:57:59: Ссылка на товар:http://market.yandex.ru/product/8279756/?hid=90580&text=AEG%20BE%204013421M&ortext=AEG%20BE%204013421M

13-02-2015 13:57:59: Начало парсинга

13-02-2015 13:57:59: Cookie включены.

13-02-2015 13:57:59: Парсинг через прокси: 109.60.249.107:3128

13-02-2015 13:57:59: Запрос: http://market.yandex.ru/product/8279756/?hid=90580&text=AEG%20BE%204013421M&ortext=AEG%20BE%204013421M

13-02-2015 13:58:00: Удачный ответ от сервера

13-02-2015 13:58:00: Получено 116776 байт

13-02-2015 13:58:01: Название товара: AEG BE 4013421 M

13-02-2015 13:58:01: Парсинг через прокси: 109.60.249.107:3128

13-02-2015 13:58:01: Запрос: http://mdata.yandex.net/i?path=b0207171418_img_id8138877357204886379.jpeg

13-02-2015 13:58:21: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 13:58:21: Парсинг через прокси: 222.88.236.236:80

13-02-2015 13:58:21: Запрос: http://mdata.yandex.net/i?path=b0207171418_img_id8138877357204886379.jpeg

13-02-2015 13:58:21: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 13:58:21: Парсинг через прокси: 212.68.51.58:80

13-02-2015 13:58:21: Запрос: http://mdata.yandex.net/i?path=b0207171418_img_id8138877357204886379.jpeg

13-02-2015 13:58:24: Удачный ответ от сервера

13-02-2015 13:58:24: Получено 250598 байт

13-02-2015 13:58:24: Парсинг через прокси: 109.60.249.107:3128

13-02-2015 13:58:24: Запрос: http://mdata.yandex.net/i?path=b0207171418_img_id8138877357204886379.jpeg

13-02-2015 13:58:39: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 13:58:39: Парсинг через прокси: 222.88.236.236:80

13-02-2015 13:58:39: Запрос: http://mdata.yandex.net/i?path=b0207171418_img_id8138877357204886379.jpeg

13-02-2015 13:58:39: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 13:58:39: Парсинг через прокси: 212.68.51.58:80

13-02-2015 13:58:39: Запрос: http://mdata.yandex.net/i?path=b0207171418_img_id8138877357204886379.jpeg

13-02-2015 13:58:43: Удачный ответ от сервера

13-02-2015 13:58:43: Получено 250598 байт

13-02-2015 13:58:43: Cookie включены.

13-02-2015 13:58:43: Парсинг через прокси: 109.60.249.107:3128

13-02-2015 13:58:43: Запрос: http://market.yandex.ru/product/8279756/spec?hid=90580&track=tabs

13-02-2015 13:58:45: Удачный ответ от сервера

13-02-2015 13:58:45: Получено 72757 байт

13-02-2015 13:58:46: Конец парсинга

13-02-2015 13:58:36: Ссылка на товар:http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 13:58:36: Начало парсинга

13-02-2015 13:58:36: Cookie включены.

13-02-2015 13:58:36: Парсинг через прокси: 109.60.249.107:3128

13-02-2015 13:58:36: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 13:58:39: Удачный ответ от сервера

13-02-2015 13:58:39: Получено 95991 байт

13-02-2015 13:58:40: Название товара: AEG BS 731442 NM

13-02-2015 13:58:40: Парсинг через прокси: 109.60.249.107:3128

13-02-2015 13:58:40: Запрос: http://mdata.yandex.net/i?path=b1127172837_img_id1588944086392537393.jpeg

13-02-2015 13:58:41: Удачный ответ от сервера

13-02-2015 13:58:41: Получено 250699 байт

13-02-2015 13:58:41: Парсинг через прокси: 109.60.249.107:3128

13-02-2015 13:58:41: Запрос: http://mdata.yandex.net/i?path=b1127172837_img_id1588944086392537393.jpeg

13-02-2015 13:58:58: Удачный ответ от сервера

13-02-2015 13:58:58: Получено 250699 байт

13-02-2015 13:58:58: Cookie включены.

13-02-2015 13:58:58: Парсинг через прокси: 109.60.249.107:3128

13-02-2015 13:58:58: Запрос: http://market.yandex.ru/product/10589674/spec?hid=90580&track=tabs

13-02-2015 13:58:59: Удачный ответ от сервера

13-02-2015 13:58:59: Получено 72754 байт

13-02-2015 13:58:59: Конец парсинга

[igyan]

что в логах

попробуйте повторно спарсить,

[seregakng]

что в логах

попробуйте повторно спарсить,

 

три товара подряд по два раза попробовал одно и тоже

[igyan]

ссылку на товар дайте

[seregakng]

ссылку на товар дайте

допустим этот

http://market.yandex.ru/product/7348476/?hid=90580&text=AEG%20BE%205013421M&ortext=AEG%20BE%205013421M

[igyan]

у меня спарсилось

сделайте парсинг и покажите лог

[seregakng]

Вот лог

 

13-02-2015 14:13:16: Ссылка на товар:http://market.yandex.ru/product/9340193/?hid=90580&text=Bosch%20HBA%2023BN21&ortext=Bosch%20HBA%2023BN21

13-02-2015 14:13:16: Начало парсинга

13-02-2015 14:13:16: Cookie включены.

13-02-2015 14:13:16: Парсинг через прокси: 183.207.229.138:80

13-02-2015 14:13:16: Запрос: http://market.yandex.ru/product/9340193/?hid=90580&text=Bosch%20HBA%2023BN21&ortext=Bosch%20HBA%2023BN21

13-02-2015 14:13:19: Удачный ответ от сервера

13-02-2015 14:13:19: Получено 38554 байт

13-02-2015 14:13:20: Название товара: Bosch HBA23BN21

13-02-2015 14:13:20: Парсинг через прокси: 183.207.229.138:80

13-02-2015 14:13:20: Запрос: http://mdata.yandex.net/i?path=b0331171809_img_id1103191216808900510.jpg

13-02-2015 14:13:23: Удачный ответ от сервера

13-02-2015 14:13:23: Получено 94573 байт

13-02-2015 14:13:23: Парсинг через прокси: 183.207.229.138:80

13-02-2015 14:13:23: Запрос: http://mdata.yandex.net/i?path=b0331171809_img_id1103191216808900510.jpg

13-02-2015 14:13:25: Удачный ответ от сервера

13-02-2015 14:13:25: Получено 94573 байт

13-02-2015 14:13:25: Cookie включены.

13-02-2015 14:13:25: Парсинг через прокси: 183.207.229.138:80

13-02-2015 14:13:25: Запрос: http://market.yandex.ru/product/9340193/spec?hid=90580&track=tabs

13-02-2015 14:13:27: Удачный ответ от сервера

13-02-2015 14:13:27: Получено 18728 байт

13-02-2015 14:13:28: Конец парсинга

 

 

вот какие товары получаются, характеристики товара читай

 

http://kngshop.ru/bytovaya-tehnika/vstraivaemaya-tehnika/duhovye-shkafy/duhovoj-shkaf-bosch-hba-23bn21-ut-00002045-duhovoj-shkaf-bos.html

[seregakng]

у меня спарсилось

сделайте парсинг и покажите лог

 

Очистил Cookie всё ровно тоже самое

 

 

пишет

 

Notice: Undefined index: attribute_id in /home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in/home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in/home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in/home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in/home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in/home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in/home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in/home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Notice: Undefined index: attribute_id in/home/kngshop8/public_html/admin/controller/module/parsermanager.php on line 2058Warning: Cannot modify header information - headers already sent by (output started at /home/kngshop8/public_html/admin/index.php:86) in /home/kngshop8/public_html/vqmod/vqcache/vq2-system_engine_controller.php on line 28Warning: Cannot modify header information - headers already sent by (output started at /home/kngshop8/public_html/admin/index.php:86) in /home/kngshop8/public_html/vqmod/vqcache/vq2-system_engine_controller.php on line 29

Змінено 13 лютого 2015 користувачем seregakng

[igyan]

они на некоторые атрибуты ввели подсказки,

ошибка из-за длинных атрибутов,

надо подправить

[seregakng]

они на некоторые атрибуты ввели подсказки,

ошибка из-за длинных атрибутов,

надо подправить

 

Жду исправления!  :oops:  Подправите?

[igyan]

заменил архив, пробуйте

[seregakng]

заменил архив, пробуйте

 

Теперь думает до "504 Gateway Time-out", в итоге нечего не парсерит, жму назад пишет: "Ошибка парсинга. Не найдены элементы!"

 

 

Вот ЛОГ

 

13-02-2015 15:08:24: Ссылка на товар:http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:08:24: Начало парсинга

13-02-2015 15:08:24: Cookie включены.

13-02-2015 15:08:24: Парсинг через прокси: 188.161.248.250:80

13-02-2015 15:08:24: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:08:39: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 15:08:39: Парсинг через прокси: 59.46.72.246:80

13-02-2015 15:08:39: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:08:39: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 15:08:39: Парсинг через прокси: 193.184.90.145:80

13-02-2015 15:08:39: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:08:41: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 15:08:41: Парсинг через прокси: 64.14.41.42:80

13-02-2015 15:08:41: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:08:41: Неудачный ответ от сервера: 404, попробуйте позже

13-02-2015 15:08:41: Парсинг через прокси: 46.48.150.143:80

13-02-2015 15:08:41: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:08:56: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 15:08:56: Парсинг через прокси: 123.183.211.9:80

13-02-2015 15:08:56: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:09:11: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 15:09:11: Парсинг через прокси: 123.183.220.217:80

13-02-2015 15:09:11: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:09:26: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 15:09:26: Парсинг через прокси: 123.183.220.126:80

13-02-2015 15:09:26: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:09:41: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 15:09:41: Парсинг через прокси: 112.220.65.195:80

13-02-2015 15:09:41: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:09:56: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 15:09:56: Парсинг через прокси: 85.185.45.4:80

13-02-2015 15:09:56: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:10:11: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 15:10:11: Парсинг через прокси: 14.49.42.34:80

13-02-2015 15:10:11: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:10:14: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 15:10:14: Парсинг через прокси: 85.185.45.241:80

13-02-2015 15:10:14: Запрос: http://market.yandex.ru/product/10589674/?hid=90580&text=AEG%20BS%20731442NM&ortext=AEG%20BS%20731442NM

13-02-2015 15:10:29: Неудачный ответ от сервера: 0, попробуйте позже

13-02-2015 15:10:29: В прокси-листе нет рабочих адресов...

13-02-2015 15:10:29: Конец парсинга

[seregakng]

заменил архив, пробуйте

 

Обновил прокси, всё стало на свои места.. !! спасибо!)

[seregakng]

заменил архив, пробуйте

 

несколько товаров было нормально и теперь пишет опять нет элементов для парсеринга

 

вот лог

 

 

13-02-2015 15:18:42: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=4645612&hid=90595&text=Bosch%20HMT%2085ML23&srnum=14&ortext=Bosch%20HMT%2085ML23

13-02-2015 15:18:42: Начало парсинга

13-02-2015 15:18:42: Cookie включены.

13-02-2015 15:18:42: Парсинг через прокси: 183.207.229.138:80

13-02-2015 15:18:42: Запрос: http://market.yandex.ru/model.xml?modelid=4645612&hid=90595&text=Bosch%20HMT%2085ML23&srnum=14&ortext=Bosch%20HMT%2085ML23

13-02-2015 15:18:43: Перенаправление -> http://market.yandex.ru

13-02-2015 15:18:43: Запрос: http://market.yandex.ru

13-02-2015 15:18:47: Удачный ответ от сервера

13-02-2015 15:18:47: Получено 35581 байт

13-02-2015 15:18:49: Ошибка! Не найдено название товара!

13-02-2015 15:18:49: Конец парсинга

[igyan]

проблемы с прокси

пробуйте без прокси, подкиньте куки

есть вероятность, что поменяли код с капчей, капча появляется?

[seregakng]

проблемы с прокси

пробуйте без прокси, подкиньте куки

есть вероятность, что поменяли код с капчей, капча появляется?

без прокси работает, но я думаю это ненадолго. капча не появляется

[sonicking]

с запоминанием папки для изображение не получилось,

 

печалька... (как говорят у нас покупатели на слово нет - совсем совсем нет?) совсем совсем не получилось? есть смысл ждать

[seregakng]

проблемы с прокси

пробуйте без прокси, подкиньте куки

есть вероятность, что поменяли код с капчей, капча появляется?

 

Парсерит две одинаковые фото

http://kngshop.ru/bytovaya-tehnika/kuhonnaya-tehnika/sokovyzhimalki/redmondrj-m920s-redmondrj-m920s-redmond-sokovyzhimalki.html

[seregakng]

проблемы с прокси

пробуйте без прокси, подкиньте куки

есть вероятность, что поменяли код с капчей, капча появляется?

 

И не парсерит ноутбуки

http://market.yandex.ru/model.xml?modelid=11874879&hid=91013&text=59-430327&srnum=3&ortext=59-430327

Они в старом дизайне.

[igyan]

печалька... (как говорят у нас покупатели на слово нет - совсем совсем нет?) совсем совсем не получилось? есть смысл ждать

надо делать интерфейс для добавления, выбора, удаления путей - это не совсем просто

самое простое это сделать текстовый файл с именем категории и путь, чтобы вы сами делали сопоставление

категория|путь

[igyan]

И не парсерит ноутбуки

http://market.yandex.ru/model.xml?modelid=11874879&hid=91013&text=59-430327&srnum=3&ortext=59-430327

Они в старом дизайне.

буду смотреть

[sonicking]

надо делать интерфейс для добавления, выбора, удаления путей - это не совсем просто

самое простое это сделать текстовый файл с именем категории и путь, чтобы вы сами делали сопоставление

категория|путь

если получится - будет здорово!

[hardsopht]

Купил модуль, буду тестировать.