[Поддержка] Парсер-менеджер товаров с торговых площадок

[igyan]

  В 23.05.2014 в 19:24, sonicking сказав:

сделал

только строка не 1029 - она пустая, 1028

эффект тот же

вставьте вначале файла после <?php

error_reporting(E_ALL);

ini_set('display_errors', 1);

посмотрите ошибку

[igyan]

  В 24.05.2014 в 05:54, Karfagen сказав:

На ocStore-1.5.5.1.2 работает? Есть смысл покупать? если постоянные проблемы с прокси.

На версии 15511 работает, на 15512 не тестировал.

Прокси, которые у меня на сайте, бесплатные, парсятся с сайта бесплатных прокси и проверяются на доступ к яндекс.маркет. Ни время доступа, ни постоянное соединение они не гарантируют. Подходят больше для тестирования, для постоянной работы лучше пользоваться платными.

[Гість]

Отпишите кто нибудь кто ставил на 15512, работает или нет.

[sonicking]

  В 24.05.2014 в 06:39, igyan сказав:

вставьте вначале файла после <?php

error_reporting(E_ALL);

ini_set('display_errors', 1);

посмотрите ошибку

то что до этого предлагалось (закоментировать строку) - убрать или оставить?

где смотреть ошибку?

 

P.S. помойму всё таки дело в проксях.... посоветуйте хорошие платные, желательно недорогие

[igyan]

  В 24.05.2014 в 07:20, sonicking сказав:

то что до этого предлагалось (закоментировать строку) - убрать или оставить?

где смотреть ошибку?

 

P.S. помойму всё таки дело в проксях.... посоветуйте хорошие платные, желательно недорогие

Вставьте и спарсите что-нибудь, в режиме, когда у вас был белый экран, если была ошибка, то она появится на экране.

[sonicking]

вот такая ошибка

Fatal error: Call to undefined method ModelCatalogProduct::getProductTags() in /home/sonic105/domains/sonic39.ru/public_html/admin/controller/module/parsermanager.php on line 1030

[igyan]

Закомментируйте строку 1030

[sonicking]

закомментировал - теперь ошибки нет, но и данные никакие не добавляет

[igyan]

  В 24.05.2014 в 16:10, sonicking сказав:

закомментировал - теперь ошибки нет, но и данные никакие не добавляет

Очень странно, если дошло до этого места, значит данные уже получены

Попробуйте с разных ресурсов без прокси, добавление  и замену

[sonicking]

с других ресурсов все работает вроде (и добавление и замена)

[igyan]

При пасрсинге с яндекса в логе название товара есть?

[sonicking]

24-05-2014 20:21:46: Ссылка на товар:http://market.yandex.ru/model-spec.xml?modelid=10405169&hid=6269371
24-05-2014 20:21:46: Начало парсинга
24-05-2014 20:21:46: Cookie включены.
24-05-2014 20:21:46: Запрос: http://market.yandex.ru/model-spec.xml?modelid=10405169&hid=6269371
24-05-2014 20:21:47: Удачный ответ от сервера
24-05-2014 20:21:47: Получено 44108 байт
24-05-2014 20:21:47: Название товара: Explay DVR-013
24-05-2014 20:21:47: Cookie включены.
24-05-2014 20:21:47: Запрос: http://market.yandex.ru/model.xml?modelid=10405169&hid=6269371
24-05-2014 20:21:48: Удачный ответ от сервера
24-05-2014 20:21:48: Получено 90470 байт
24-05-2014 20:21:48: Конец парсинга

[igyan]

нужные галочки у вас точно включены?

Страница с товаром парсится, должно работать.

[sonicking]

да вроде ничего не менял

 

а в итоге и описание и атрибуты пустые

 

а может переставить модуль?

[igyan]

  В 25.05.2014 в 08:15, sonicking сказав:

да вроде ничего не менял

 

а в итоге и описание и атрибуты пустые

 

а может переставить модуль?

Яндекс постоянно подкидывает проблемы, не хочет делиться инфой

попробуйте перставить и сделайте изменения, которые делали раньше

Добавьте новый товар, включите все галочки, без прокси

Если не получится пишите на почту, поробуем разобраться

[sonicking]

почистил кэш, переставил модуль, правки не делал:

 

добавил новый товар (FINEVU CR-2000S)

прокси выкл

добавлять данные (без производителя)

- всё работает

 

этот же (уже спарсенный) товар

прокси вкл

добавлять данные (без производителя)

- Ошибка парсинга. Не найдены элементы!

 

этот же (уже спарсенный) товар

прокси выкл

заменять данные (без производителя)

- белый экран

 

этот же (уже спарсенный) товар

прокси вкл

заменять данные (без производителя)

- Ошибка парсинга. Не найдены элементы!

 

удалил и снова добавил этот же товар

прокси вкл

поиск - товар не найден

 

добавил строки для отображения ошибок, заккоментировал строку показанную в ошибке

($data['product_tag'] = $this->model_catalog_product->getProductTags($product_id); - за что она отвечает?)

 

добавил новый товар (FINEVU CR-2000S)

прокси выкл

добавлять данные (без производителя)

- всё работает

 

этот же (уже спарсенный) товар

прокси вкл

добавлять данные (без производителя)

- Ошибка парсинга. Не найдены элементы!

 

этот же (уже спарсенный) товар

прокси выкл

заменять данные (без производителя)

- работает (только в связи с заккоментированной строкой может не все данные выдает???)

 

этот же (уже спарсенный) товар

прокси вкл

заменять данные (без производителя)

- Ошибка парсинга. Не найдены элементы!

 

беру старый товар (с ссылкой), очищаю все данные

парсинг, список товара обновлён, но всё пусто

[igyan]

Получается с прокси не работает,

И со старыми ссылками перестало работать, может это связано с измениями на яндексе.

Закомметированныя строка переписывает теги товара, если их не было, ничего страшного не будет.

Если не надоело, попробуйте взять старую ссылку и добавить к ней '&nocookiesupport=yes' и сделать парсинг без кук

 http://market.yandex.ru/model.xml?modelid=9338645&nocookiesupport=yes

[sonicking]

не надоело :-)

взял, добавил, отключил куки - работает

с проксями не работает и производителя не добавляет

[igyan]

после проверки прокси, рабочие есть?

замените в system/library/MCurl.php настройки, или добавьте последнюю строку, у вас ее скорее всего нет

$this->options  = array(
				CURLOPT_SSL_VERIFYPEER => 0,
				CURLOPT_RETURNTRANSFER => 1,
				CURLOPT_MAXREDIRS      => 10,
				CURLOPT_CONNECTTIMEOUT => 15,
				CURLOPT_TIMEOUT => 20,
				CURLOPT_USERAGENT = 'Mozilla/5.0 (Windows; U; Windows NT 6.0; ru; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2',
			);	

и попробуйте парсить товар без кук, с прокси и с добавлением строки, что было выше

посмотрите в лог

[sonicking]

  В 28.05.2014 в 07:26, igyan сказав:

после проверки прокси, рабочие есть?

замените в system/library/MCurl.php настройки, или добавьте последнюю строку, у вас ее скорее всего нет

$this->options  = array(				CURLOPT_SSL_VERIFYPEER => 0,				CURLOPT_RETURNTRANSFER => 1,				CURLOPT_MAXREDIRS      => 10,				CURLOPT_CONNECTTIMEOUT => 15,				CURLOPT_TIMEOUT => 20,				CURLOPT_USERAGENT = 'Mozilla/5.0 (Windows; U; Windows NT 6.0; ru; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2',			);

и попробуйте парсить товар без кук, с прокси и с добавлением строки, что было выше

посмотрите в лог

 

добавил, с небольшим исправлением, т.к. выдавало ошибку при входе в модуль (добавил то что выделенно красным CURLOPT_USERAGENT =>)

выдало - Ошибка парсинга. Не найдены элементы!

в логе отсутствует название товара:

28-05-2014 10:13:08: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=10399036&nocookiesupport=yes

28-05-2014 10:13:08: Начало парсинга

28-05-2014 10:13:08: Парсинг через прокси: 91.209.127.231:80

28-05-2014 10:13:08: Запрос: http://market.yandex.ru/model.xml?modelid=10399036&nocookiesupport=yes

28-05-2014 10:13:09: Перенаправление -> http://market.yandex.ru/showcaptcha?cc=1&retpath=http%3A//market.yandex.ru/model.xml%3Fmodelid%3D10399036%26amp;nocookiesupport%3Dyes_cb917958a0a045ac241c6503dc9c537a&t=0/1401271989/082566e4729a66300623f6b2b9c878a3

28-05-2014 10:13:09: Запрос: http://market.yandex.ru/showcaptcha?cc=1&retpath=http%3A//market.yandex.ru/model.xml%3Fmodelid%3D10399036%26amp;nocookiesupport%3Dyes_cb917958a0a045ac241c6503dc9c537a&t=0/1401271989/082566e4729a66300623f6b2b9c878a3

28-05-2014 10:13:09: Удачный ответ от сервера

28-05-2014 10:13:09: Получено 9885 байт

28-05-2014 10:13:09: Конец парсинга

уже и не знаю куда копать, модуль очень нужный!!!

может я всё таки не то, что то делаю?

может Вы сами посмотрите?

[sonicking]

вопрос к автору модуля

перешёл на другой хостинг, при входе в модуль ошибка:

Notice: Error: Unknown system variable 'SQL_MAX_JOIN_SIZE'
Error No: 1193
SET SQL_MAX_JOIN_SIZE = 4294967295999999 in /home/sonicru/public_html/system/database/mysql.php on line 49

 

вопрос всем пользователям

с проксями с сайта автора у кого нибудь работает? думаю прикупить платные, но не хотелось бы денежку в трубу кидать

[igyan]

SET SQL_MAX_JOIN_SIZE = 4294967295999999  - закомментируйте или удалите строку 184 в файле admin/model/module/parser.php

 

Пока не понятно почему у вас не работает с прокси. Мне бы самому посмотреть, если дадите доступ по фтп к папке, например test, должна быть там где ваш магазин. (лучше по почте)

 

Неплохо было бы если бы кто-нибудь поделился проксями, на моем хостинге тоже бан, но работают

Но похоже не все зависит от прокси, но и от настроек хостинга, может от версии библиотеки curl

[sonicking]

ВСЁ УЖЕ ДЕЛАЮ НА НОВОМ ХОСТИНГЕ

 

удалил

 

Notice: Undefined variable: sql in /home/sonicru/public_html/admin/model/module/parser.php on line 185Notice: Error: Query was empty
Error No: 1065
in /home/sonicru/public_html/system/database/mysql.php on line 49

 

переставил

 

Notice: Undefined index: source in /home/sonicru/public_html/admin/controller/module/parsermanager.php on line 326Notice: Error: Unknown system variable 'SQL_MAX_JOIN_SIZE'
Error No: 1193
SET SQL_MAX_JOIN_SIZE = 4294967295999999 in /home/sonicru/public_html/system/database/mysql.php on line 49

 

такой папки test нету :о(

 

напишите точно какие Вам дать данные - вышлю, а то работа стоит :о(

 

по поводу прокси - попробую прикупить и попробовать, но сначала надо завести парсер на новом хостинге

[igyan]

  В 28.05.2014 в 17:50, sonicking сказав:

ВСЁ УЖЕ ДЕЛАЮ НА НОВОМ ХОСТИНГЕ

 

удалил

 

Notice: Undefined variable: sql in /home/sonicru/public_html/admin/model/module/parser.php on line 185Notice: Error: Query was empty

Error No: 1065

in /home/sonicru/public_html/system/database/mysql.php on line 49

 

переставил

 

Notice: Undefined index: source in /home/sonicru/public_html/admin/controller/module/parsermanager.php on line 326Notice: Error: Unknown system variable 'SQL_MAX_JOIN_SIZE'

Error No: 1193

SET SQL_MAX_JOIN_SIZE = 4294967295999999 in /home/sonicru/public_html/system/database/mysql.php on line 49

 

такой папки test нету :о(

 

напишите точно какие Вам дать данные - вышлю, а то работа стоит :о(

 

вот инфа о сервере хостера

 

по поводу прокси - попробую прикупить и попробовать, но сначала надо завести парсер на новом хостинге

да удалите и следующую строку

пишите на почту

удалите из сообщений данные  хостинга

[sonicking]

очень благодарен автору за хорошую поддержку!

найденные проблемы были устранены в кратчайшие сроки!

 

строки с адресом товара теперь не обрезаются

производители добавляются (в старых версиях то работало, то нет)

 

P.S. если у вас при запуске модуля выдаёт $sql = "SET SQL_MAX_JOIN_SIZE = 4294967295999999";

замените в файле \admin\model\module\parser.php строки ~ 184 и 290 на $sql = "SET MAX_JOIN_SIZE = 4294967295999999";

мне помогло, у меня на новом хостинге в базе нет переменной SQL_MAX_JOIN_SIZE, а есть только MAX_JOIN_SIZE

а на старом была