[Поддержка] Парсер-менеджер товаров с торговых площадок

[CongoG]

Автор, помогите, что это может означать?

Notice: Undefined index: cookie_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2112Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2117Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2138Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2138Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2138Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2138Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2138Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2138Warning: Cannot modify header information - headers already sent by (output started at D:\Web_Lab\OpenServer\domains\newsite1.com\admin\index.php:85) in D:\Web_Lab\OpenServer\domains\newsite1.com\vqmod\vqcache\vq2-system_engine_controller.php on line 28Warning: Cannot modify header information - headers already sent by (output started at D:\Web_Lab\OpenServer\domains\newsite1.com\admin\index.php:85) in D:\Web_Lab\OpenServer\domains\newsite1.com\vqmod\vqcache\vq2-system_engine_controller.php on line 29

[igyan]

Заметил небольшой баг, если в названии товара есть слова на русском,то не находит товар. Например при парсинге с onliner вводишь Apacer AH354 Black 16 Гб не находит товар, а вводишь Apacer AH354 Black , находит, хотя на сайте onliner написано Apacer AH354 Black 16 Гб

 

Попробовал сделать поиск, получается при точном поиске онлайнер отправляет сразу на страницу товара и парсер не понимает верстку этой страницы. Поэтому придется лучше делать не совсем точный поиск, чтобы был выбор из нескольких товаров

[igyan]

 

Автор, помогите, что это может означать?

Notice: Undefined index: cookie_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2112Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2117Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2138Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2138Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2138Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2138Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2138Notice: Undefined index: proxy_check in D:\Web_Lab\OpenServer\domains\newsite1.com\admin\controller\module\parsermanager.php on line 2138Warning: Cannot modify header information - headers already sent by (output started at D:\Web_Lab\OpenServer\domains\newsite1.com\admin\index.php:85) in D:\Web_Lab\OpenServer\domains\newsite1.com\vqmod\vqcache\vq2-system_engine_controller.php on line 28Warning: Cannot modify header information - headers already sent by (output started at D:\Web_Lab\OpenServer\domains\newsite1.com\admin\index.php:85) in D:\Web_Lab\OpenServer\domains\newsite1.com\vqmod\vqcache\vq2-system_engine_controller.php on line 29

Выбор с включением/выключеним прокси стоят?

[CongoG]

Выбор с включением/выключеним прокси стоят?

От блин, да, все заработало, спасибо большое, все работает прекрасно, самый лучший модуль, на трех магазинах стоит и все шикарно!!!

igyan если бы вы еще решили проблему с этим проклятым яндекс-маркетом, чтобы он без проблем отдавал товар без прокси))

Может лучше его заменить другой площадкой...

И еще, от такого автора как вы, хотелось бы видеть экспорт товара с магазина на АУКРО, я думаю с руками оторвут;)

Спасибо!

[Mortuus]

Установил модуль.

Нажимаю "Изменить" и меня выбрасывает в ошибку:

 

Notice: Undefined index: source in  /public_html/admin/controller/module/parsermanager.php on line 326

Notice: Error: Unknown system variable 'SQL_MAX_JOIN_SIZE'
Error No: 1193
SET SQL_MAX_JOIN_SIZE = 4294967295999999 in /public_html/system/database/mysql.php on line 50

 

Подскажите, что это и как бороться?

 

ocStore 1.5.5.1.2

[igyan]

Сделайте настройки как на скрине, похоже у вас не выбран источник парсинга

со вторым удалите строки в файле admin/model/module/parser.php

$sql = "SET SQL_MAX_JOIN_SIZE = 4294967295999999";
$query = $this->db->query($sql); 

 

там в двух местах

[Mortuus]

Удалил строчки в 2-х местах - и в настройки парсера вошел.

 

Пытаюсь подключить парсинг из маркета.

Как Вы написали выше, по товарам в маркете ходил, куки собрал и закрузил.

Прокси-лист скачал последний, загрузил, а вот проверку не проходит: останавливается и выводит сообщение "error".

И, самое главное, товары не ищет.

Если вставляю ссылку на товар, жму добавить - Нет данных для парсинга.

 

Лог:

22-10-2014 15:37:59: Запрос: http://market.yandex.ru/search.xml?text=LG+Nexus+5
22-10-2014 15:37:59: Перенаправление -> 
22-10-2014 15:37:59: Запрос: 
22-10-2014 15:37:59: Неудачный ответ от сервера: 0, попробуйте позже
22-10-2014 15:37:59: Конец парсинга

 

А из onliner.by товар добавляет.

Добавил код, как Вы рекомендовали выше, и картинки стали без вотермарков.

[igyan]

попробуйте удалять часть прокси и сделать проверку

[Mortuus]

Уффф.... что уже только не делал.

Сократил список прокси до 10-15. Норм, парсер стал находить рабочие.

Запускаю поиск, находит товары, выбираю.

Жму "Добавить товар" и выдаёт: Ошибка парсинга. Не найдены элементы!

 

22-10-2014 17:30:59: Ссылка на товар:

22-10-2014 17:30:59: Начало парсинга

22-10-2014 17:30:59: Cookie включены.

22-10-2014 17:30:59: Парсинг через прокси: 188.160.1.101:8080

22-10-2014 17:30:59: Запрос: 

22-10-2014 17:30:59: Перенаправление ->

22-10-2014 17:30:59: Запрос: 

22-10-2014 17:31:00: Удачный ответ от сервера

22-10-2014 17:31:00: Получено 3964 байт

22-10-2014 17:31:00: Конец парсинга

 

Все прокси перепробовал, с инета списки прокси подставлял.

Находит, но не добавляет.

[igyan]

дайте ссылку на товар, на некоторые товары яндекс поменял верстку

[Mortuus]

Не помогло.

Прокси рабочие находит, сохраняю, (+) - добавляю ссылку, Добавить товар.

"Ошибка парсинга. Не найдены элементы!"

[igyan]

Не помогло.

Прокси рабочие находит, сохраняю, (+) - добавляю ссылку, Добавить товар.

"Ошибка парсинга. Не найдены элементы!"

дайте ссылку на товар, на некоторые товары яндекс поменял верстку

я проверю

[Mortuus]

а, Вам ссылку дать?

 

Проверяю по товарам

Samsung T111

http://market.yandex.ru/model.xml?modelid=10711550&hid=6427100&text=samsung%20t111&srnum=410 

 

 

Samsung T705

http://market.yandex.ru/model.xml?modelid=10890865&hid=6427100&show-uid=156078114139862001&track=mdlttl

[sonicking]

Установил модуль.

Нажимаю "Изменить" и меня выбрасывает в ошибку:

 

Notice: Undefined index: source in  /public_html/admin/controller/module/parsermanager.php on line 326

Notice: Error: Unknown system variable 'SQL_MAX_JOIN_SIZE'

Error No: 1193

SET SQL_MAX_JOIN_SIZE = 4294967295999999 in /public_html/system/database/mysql.php on line 50

 

Подскажите, что это и как бороться?

 

ocStore 1.5.5.1.2

в базе нет таблицы SQL_MAX_JOIN_SIZE, но есть MAX_JOIN_SIZE (написано в спецификации sql, что это одно и тоже)

у себя просто поменял в parser.php SQL_MAX_JOIN_SIZE на MAX_JOIN_SIZE (в двух местах) и всё работает

[Texnolog]

Доброго времени суток. Выдаёт при добавлении товара "Ошибка парсинга. Не найдены элементы!"

1. Прокси подгрузил и проверил - работают
2. Куки новые подгрузил (как в инструкции)
3. Сохранил настройки
4. Нашёл нужный товар Samsung Galaxy Alpha ( http://market.yandex.ru/model.xml?modelid=10995269&hid=91491 ) и выбрал его
5. И при добавлении получил "Ошибка парсинга. Не найдены элементы!"
6. Попробовал через прямую ссылку.
7. И все ровно при добавлении получил "Ошибка парсинга. Не найдены элементы!"


Лог при поиске и добавлении товара по имени:

23-10-2014 00:43:48: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=10995269&hid=91491&show-uid=400469114140106232&track=mdlttl
23-10-2014 00:43:48: Начало парсинга
23-10-2014 00:43:48: Cookie включены.
23-10-2014 00:43:48: Парсинг через прокси: 199.19.214.131:80
23-10-2014 00:43:48: Запрос: http://market.yandex.ru/model.xml?modelid=10995269&hid=91491&show-uid=400469114140106232&track=mdlttl
23-10-2014 00:43:51: Удачный ответ от сервера
23-10-2014 00:43:51: Получено 130023 байт
23-10-2014 00:43:51: Конец парсинга

Лог при добавлении прямой ссылки на товар:

23-10-2014 00:50:17: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=10995269&hid=91491
23-10-2014 00:50:17: Начало парсинга
23-10-2014 00:50:17: Cookie включены.
23-10-2014 00:50:17: Парсинг через прокси: 199.19.214.131:80
23-10-2014 00:50:17: Запрос: http://market.yandex.ru/model.xml?modelid=10995269&hid=91491
23-10-2014 00:50:27: Удачный ответ от сервера
23-10-2014 00:50:27: Получено 127259 байт
23-10-2014 00:50:28: Конец парсинга

[CongoG]

igyan подскажите пожалуйста, хочу убрать модельное окно при вставки ссылки на новый товар, чтобы можно было просто вставить ссылку в поле и нажать "Добавить новый товар" без модельного окна и т.д...

Просто это увеличит скорость добавления необходимых товаров и уменьшит кол-во действий.

Заранее благодарен!

[igyan]

Это окно сделано яваскриптом, оно используется не только в поиске, убрать не получиться.

[Texnolog]

igyan - спасибо за новую версию.

Проблема с "Ошибка парсинга. Не найдены элементы!" решилась с выходом 1.0.6

 

Товар снова добавляется

[igyan]

igyan - спасибо за новую версию.

Проблема с "Ошибка парсинга. Не найдены элементы!" решилась с выходом 1.0.6

 

Товар снова добавляется

Прокси и куки все осталось по прежнему, надо будет указывать

Я подправил изменения верстки

[Wladimir]

igyan - спасибо за новую версию.

Есть ли возможность добавить замену названия модели товара при парсинге?

[igyan]

igyan - спасибо за новую версию.

Есть ли возможность добавить замену названия модели товара при парсинге?

Даже не знаю если смысл, можно сделать вместо артикула, напишите завтра вечером в личку

[srMax]

сегодня купил модуль, при парсинге:

 

Notice: Undefined index: manufacturer_id in /var/www/u1545532/data/www/xn----htbckhd7bgk.xn--p1ai/admin/controller/module/parsermanager.php on line 970Warning: Cannot modify header information - headers already sent by (output started at /var/www/u1545532/data/www/xn----htbckhd7bgk.xn--p1ai/admin/index.php:85) in /var/www/u1545532/data/www/xn----htbckhd7bgk.xn--p1ai/vqmod/vqcache/vq2-system_engine_controller.php on line 28Warning: Cannot modify header information - headers already sent by (output started at /var/www/u1545532/data/www/xn----htbckhd7bgk.xn--p1ai/admin/index.php:85) in/var/www/u1545532/data/www/xn----htbckhd7bgk.xn--p1ai/vqmod/vqcache/vq2-system_engine_controller.php on line 29

 

перезагружаю страницу, вроде спарсилось, но без фото

 

установил версию 1.0.5

Ошибка парсинга. Не найдены элементы!

Парсинг не идет

 

Во все разы подключал прокси больше 100 рабочих, куки очистил

[igyan]

сегодня купил модуль, при парсинге:

 

Notice: Undefined index: manufacturer_id in /var/www/u1545532/data/www/xn----htbckhd7bgk.xn--p1ai/admin/controller/module/parsermanager.php on line 970Warning: Cannot modify header information - headers already sent by (output started at /var/www/u1545532/data/www/xn----htbckhd7bgk.xn--p1ai/admin/index.php:85) in /var/www/u1545532/data/www/xn----htbckhd7bgk.xn--p1ai/vqmod/vqcache/vq2-system_engine_controller.php on line 28Warning: Cannot modify header information - headers already sent by (output started at /var/www/u1545532/data/www/xn----htbckhd7bgk.xn--p1ai/admin/index.php:85) in/var/www/u1545532/data/www/xn----htbckhd7bgk.xn--p1ai/vqmod/vqcache/vq2-system_engine_controller.php on line 29

 

перезагружаю страницу, вроде спарсилось, но без фото

 

установил версию 1.0.5

Ошибка парсинга. Не найдены элементы!

Парсинг не идет

 

Во все разы подключал прокси больше 100 рабочих, куки очистил

Здравствуйте, отключите создавать производителя, парсер не может найти прозводителя

[srMax]

Здравствуйте, отключите создавать производителя, парсер не может найти прозводителя

ошибка ушла

но изображения так и не парсятся

 

изображения не парсятся с Яндекса, с onliner.by прошло хорошо

Змінено 28 жовтня 2014 користувачем srMax

[igyan]

Дайте ссылку на товар