[Поддержка] Парсер-менеджер товаров с торговых площадок

[igyan]

тяжело сказать, боремся постоянно

[sonicking]

ещё такую выдал ошибку

 

Warning: mysql_query() [function.mysql-query]: MySQL server has gone away in D:\OpenCart Project\sonic39.ru\system\database\mysql.php on line 22Warning: mysql_query() [function.mysql-query]: Error reading result set's header in D:\OpenCart Project\sonic39.ru\system\database\mysql.php on line 22Notice: Error: MySQL server has gone away
Error No: 2006
SELECT * FROM manufacturer WHERE name = 'LG' in D:\OpenCart Project\sonic39.ru\system\database\mysql.php on line 50

 

и вот такую таблицу

 

 

( ! ) Fatal error: Maximum execution time of 180 seconds exceeded in D:\OpenCart Project\sonic39.ru\admin\controller\module\parsermanager.php on line 765 Call Stack # Time Memory Function Location 1 0.0010 434336 {main}( ) ..\index.php:0 2 1.2631 2436704 Front->dispatch( ) ..\index.php:167 3 1.2731 2626024 Front->execute( ) ..\vq2-system_engine_front.php:29 4 1.2951 4385552 call_user_func_array:{D:\OpenCart Project\sonic39.ru\vqmod\vqcache\vq2-system_engine_front.php:42} ( ) ..\vq2-system_engine_front.php:42 5 1.2951 4385688 ControllerModuleparsermanager->parsingAllProducts( ) ..\vq2-system_engine_front.php:42

[igyan]

Очень странно что у вас на локалке ложится sql сервер, возможно настройки надо подкрутить

[sonicking]

Очень странно что у вас на локалке ложится sql сервер, возможно настройки надо подкрутить

что можете посоветовать (установлен OpenServer)

сегодня ещё пытался парсить - переодически отдаёт только картинку и описание (атрибуты - капча)

переодически - это на 50 попыток 3 спарсенных товара (только картинка и описание)

[igyan]

Я тестирую на ручной сборке apache+php5.3+mysql

[domdude]

Привет, есть новости по яндекс маркету? Хочется спарсить что нибудь у них...

[igyan]

Пока нового ничего нет, в API яндекс отказал.

Пробуйте подкидывать куки,  вроде как работает.

[svt75]

Возникла проблема с пробелами, некоторые пробелы прописываются кодом:  

такие пробелы в:

1) названии (между производителем и моделью (в результате чего некорректно работает поиск по сайту) )

2) а в следствие чего и в ссылке: сайт.by/mobilnye-telefony/lenovo%С2%A0vibe-x/ 

3) описании (что заметно при выгрузке на тот же маркет)

 

Поправьте. 

 

Скриншоты:

 

Ссылка:

 

Маркет (новые товары, которые добавлялись данным парсером отмечены)

[igyan]

Дайте несколько ссылок на глючные товары и опишите какие галочки стоят

[domdude]

у меня аналогичная проблема....на маркет не пускают из-за нее...

[igyan]

у меня аналогичная проблема....на маркет не пускают из-за нее...

Дайте несколько ссылок на глючные товары и опишите какие галочки стоят

[MNS]

Выдает либо нет товаров, хотя проверял на .ua есть товары, либо это:
Warning: mysql_query() [function.mysql-query]: Unable to save result set in /home/mixin/domains/detalivtule.ru/public_html/system/database/mysql.php on line 22Notice: Error: Subquery returns more than 1 row
Error No: 1242
SELECT DISTINCT *, (SELECT keyword FROM oc_url_alias WHERE query = 'product_id=452') AS keyword FROM oc_product p LEFT JOIN oc_product_description pd ON (p.product_id = pd.product_id) WHERE p.product_id = '452' AND pd.language_id = '1' in /home/mixin/domains/detalivtule.ru/public_html/system/database/mysql.php on line 50

Либо в се ок..

В ЧЕМ ПРОБЛЕМА?!

[igyan]

если при поиске не находит товар, скорее всего проблема в недопустимых символах в названии товара, тогда надо вводить прямую ссылку на товар

[Delmi]

Здравствуйте , 

Меня интересует этот модуль , возможно в него поменять доноров ?

И если есть что-то относительно multilanguage в него ?

[lexxkrt]

Выдает либо нет товаров, хотя проверял на .ua есть товары, либо это:

Warning: mysql_query() [function.mysql-query]: Unable to save result set in /home/mixin/domains/detalivtule.ru/public_html/system/database/mysql.php on line 22Notice: Error: Subquery returns more than 1 row

Error No: 1242

SELECT DISTINCT *, (SELECT keyword FROM oc_url_alias WHERE query = 'product_id=452') AS keyword FROM oc_product p LEFT JOIN oc_product_description pd ON (p.product_id = pd.product_id) WHERE p.product_id = '452' AND pd.language_id = '1' in /home/mixin/domains/detalivtule.ru/public_html/system/database/mysql.php on line 50

Либо в се ок..

В ЧЕМ ПРОБЛЕМА?!

Скорее всего у вас есть товары с одинаковыми алиасами (кейвордами) либо в таблицу oc_url_alias дважды записались строки к одному товару, либо избавьтесь от повторяющихся либо поправьте (SELECT keyword FROM oc_url_alias WHERE query = 'product_id=452' limit 1)

[DesigNight]

настроил маркет, слава Богу пошло все за исключением одного, товар в маркете нашелся, нажимаю парсить он все делает и в конце траблы 

 

Unknown: preg_replace(): The /e modifier is deprecated, use preg_replace_callback instead in /var/www/u0031878/data/www/compmarkets.ru/admin/controller/module/parsermanager.php on line 74Warning: Cannot modify header information - headers already sent by (output started at /var/www/u0031878/data/www/compmarkets.ru/admin/index.php:86) in /var/www/u0031878/data/www/compmarkets.ru/vqmod/vqcache/vq2-system_engine_controller.php on line28Warning: Cannot modify header information - headers already sent by (output started at /var/www/u0031878/data/www/compmarkets.ru/admin/index.php:86) in /var/www/u0031878/data/www/compmarkets.ru/vqmod/vqcache/vq2-system_engine_controller.php on line 29

 

Вот лог 

02-10-2014 20:28:14: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=7941296&hid=723088&show-uid=765373714122671971&track=mdlttl

02-10-2014 20:28:14: Начало парсинга

02-10-2014 20:28:14: Cookie включены.

02-10-2014 20:28:14: Парсинг через прокси: 197.210.252.44:80

02-10-2014 20:28:14: Запрос: http://market.yandex.ru/model.xml?modelid=7941296&hid=723088&show-uid=765373714122671971&track=mdlttl

02-10-2014 20:28:16: Удачный ответ от сервера

02-10-2014 20:28:16: Получено 61501 байт

02-10-2014 20:28:16: Название товара: A4Tech D-300 DustFree HD Mouse Black USB

02-10-2014 20:28:16: Парсинг через прокси: 197.210.252.44:80

02-10-2014 20:28:16: Запрос: http://mdata.yandex.net/i?path=b0329104853_img_id965501975939114438.jpg

02-10-2014 20:28:17: Удачный ответ от сервера

02-10-2014 20:28:17: Получено 24222 байт

02-10-2014 20:28:17: Конец парсинга

 

С виду все ровно и хорошо, инфа спарсилась для товара но ошибка смущает... это только один товар я попробовал

 

В остальных случаях наверно не нравится название товара и пишет трабл

Notice: Undefined index: productsearch in/var/www/u0031878/data/www/compmarkets.ru/admin/controller/module/parsermanager.php on line 2049

 

Что делать?

[DesigNight]

Скажите я купил этот модуль, все парсит все хорошо, но где переключение на следующую страницу(в конце списка товаров), при нажатии на 2,3,4,5... отображается только первая страница 

[igyan]

Укажите количество отображаемых страниц, например 10, должно помочь

[lesha898989]

Как  подправить ссылки на картинки с Onliner.by, был бы благодарен.
Оригинальные картинки без ватермарка лежат в каталоге original

Если честно, я вообще не не знаю как данный модуль берет адрес картинки с онлайнера, но я знаю точно, что картинки большого размера с ватермарком находятся по пути catalog/device/MAIN/, а такая же картинка, но без ватермарка лежит по адресу catalog/device/ORIGINAL/. Если в данном модуле прописать второй путь, то картинки будут скачиваться без ватермарка. Для справки, на онлайнере простая иерархия хранения картинок товара:

 

[1]

http://content2.onliner.by/catalog/device/

icon

/51be96de3bce2c35ee5775a6fcfc261f.jpg // тут хранится иконка товара, размер 113px × 68px

[2]

http://content2.onliner.by/catalog/device/

100

/311e3edd908697055dbbbbe8c2457383.jpg //та же картинка уменьшенного размера, размер 100px × 100px

[3]

http://content2.onliner.by/catalog/device/

main

/311e3edd908697055dbbbbe8c2457383.jpg // та же картинка увеличенного размера но с ватермарк, размер 700px × 420px

[4]

http://content2.onliner.by/catalog/device/

original

/311e3edd908697055dbbbbe8c2457383.jpg //та же картинка, но оригинального размера и без ватермарк, 3 000px × 1 798px

Идея заключается в следующем: Модуль качает картинку из [3] (судя по размерам), а хотелось бы что бы качал из [4]
Я писал парсер с онлайнера, правда на Delphi, в php ни в зуб ногой... я делал просто: находил адрес картинки из [2], и просто менял "100" на "original", получил [4] и скачивал уже большую, красивую картинку

[igyan]

Напишите во вторник на почту постараюсь подправить

[SpyFox]

Под версией 1.5.6.3.2 работает?

[igyan]

В этой версии не тестировал, вся действия в файлах парсера, могут только не соответствовать некоторые поля в базе

под 1.5.6.1 работает

[SpyFox]

То есть надо будет руками таблицу править?

[igyan]

Нет ничего править не надо, может появиться ошибка при добавлении товара через парсер,

напишите в личку или на почту я подправлю парсер

[SpyFox]

Парсер такой товар спарсит?

 

http://market.yandex.ru/search.xml?hid=91031&text=AV-F125TXF&srnum=1

 

Или только такой?

 

http://market.yandex.ru/model.xml?modelid=10790065&hid=91031&text=R7%20265%202GD5%20OC&srnum=28