[Поддержка] Парсер-менеджер товаров с торговых площадок

[zteprk]

пытаюсь загрузить файлы с прокси и куками отвечает что не тот файл .... загружаю в формате txt может другой формат нужен то какой ???

у меня загружает

Змінено 7 серпня 2015 користувачем zteprk

[zteprk]

Ссылки ищет через раз. в логе все ок. парсит всего 5 товаров за раз. если больше то пишет что не найдены ссылки. прошу помощи.

[igyan]

пытаюсь загрузить файлы с прокси и куками отвечает что не тот файл .... загружаю в формате txt может другой формат нужен то какой ???

имя файла proxy_list.txt

[igyan]

Ссылки ищет через раз. в логе все ок. парсит всего 5 товаров за раз. если больше то пишет что не найдены ссылки. прошу помощи.

попробуйте парсить через нормальные прокси

[zteprk]

сменил прокси.
теперь вот такое

504 Gateway Time-out

[zteprk]

вот это от чего может быть?

Прошлый парсинг закончился неудачей! Список товаров для парсинга не пустой!

08-08-2015 06:29:03: Cookie включены.

08-08-2015 06:29:03: Парсинг через прокси: 111.161.126.98:80

08-08-2015 06:29:03: Запрос: https://market.yandex.ru/product/6027562/spec?hid=90589&track=tabs

08-08-2015 06:29:07: Перенаправление -> http://market.yandex.ru

08-08-2015 06:29:07: Запрос: http://market.yandex.ru

08-08-2015 06:29:15: Перенаправление -> https://market.yandex.ru/

08-08-2015 06:29:15: Запрос: https://market.yandex.ru/

08-08-2015 06:29:20: Удачный ответ от сервера

08-08-2015 06:29:20: Получено 30859 байт

08-08-2015 06:29:20: Конец парсинга

[zteprk]

Сейчас вот такое выдает.

08-08-2015 12:48:50: Ссылка на товар:https://market.yandex.ru/product/10589675?hid=90580

08-08-2015 12:48:50: Начало парсинга

08-08-2015 12:48:50: Cookie включены.

08-08-2015 12:48:50: Запрос: https://market.yandex.ru/product/10589675?hid=90580

08-08-2015 12:48:50: Перенаправление -> http://market.yandex.ru

08-08-2015 12:48:50: Запрос: http://market.yandex.ru

08-08-2015 12:48:50: Перенаправление -> https://market.yandex.ru/

08-08-2015 12:48:50: Запрос: https://market.yandex.ru/

08-08-2015 12:48:52: Удачный ответ от сервера

08-08-2015 12:48:52: Получено 30964 байт

08-08-2015 12:48:52: Ошибка! Не найдено название товара!

08-08-2015 12:48:52: Конец парсинга

 

ссылки на товар имеются. с трудом но 28 штук получить удалось. 
Еще если что то получается то потом белый экран. и войти на сайт можно только через минут пять. вообще не открывается.

Змінено 8 серпня 2015 користувачем zteprk

[igyan]

Если перенаправление - очищайте куки

Большое количество товаров без нормальных прокси вы не спарсите

[zteprk]

Если перенаправление - очищайте куки

Большое количество товаров без нормальных прокси вы не спарсите

посоветуйте где брать лучше прокси сервера?

[igyan]

за ресурсами с прокси я не слежу, посмотрите в сообщениях где-то было

если будут прокси с именем пользователя и паролем

нужно будет прописать вручную в скрипте, это баг я пока не исправил

в файле

\system\library\MCurl.php

вставить после строки 67

$this->options[CURLOPT_PROXY] = $proxy;

эту строку

$this->options[CURLOPT_PROXYUSERPWD] = "user:password";

где

user и password - данные, которые вам дадут

[zteprk]

нашел реально действующие прокси. оставил 5 штук живых.

начинаешь парсить 28 товаров уже со ссылками. вываливается в белый экран.не помогает смена php с 5.5 на 5.6

[igyan]

лучше версию 5,4

белый экран, скорее всего ошибка или пустой ответ

попробойте удалить куки или импортировать из браузера и  без прокси

[Gost123456]

Очень прошу реализовать в модуле парсинг изображения товара с любого сайта, открыв фото товара в отдельной вкладке.

То есть, нашли изображение нашего товара, ткнули правой кнопкой мыши в картинку, нажали "Открыть в соседней вкладке", далее переходим в парсер, прописываем в него ссылку из новой вкладки, нажимаем спарсить, и парсер подянет главное фото товара, со всеми вытекающими:

- правильное имя товара, без дублей и перезаписи (очень хотелось бы, чтобы в названии изображения использовался id товара из нашей базы данных);

- верное расположение товара на хостинге, среди остальный спарсеных фото.

В магазине ооочень много уникальных товаров(запчасти), и полноценного сайта донора не найти.

[zteprk]

покажите как из мозилы куки выгрузить? есть в магазине мозилы но он ставиться но нигде не появляется. 

второй день с бубном вокруг этого парсера бегаю а воз и ныне там. прокси хватает на один два товара. сменил php на хостинге. сайт упал без возвратно. пришлось с бекапа восстанавливать. Блин как с FiltrPro столько нюансов что бы все заработало. и то не факт что будет. Рекомендации от создателя. или ошибка или ответ пустой. где и как узнать это. в описании парсера написано что подробный лог. ничего там не подробно. сиди гадай. конечно стоит не дорого. поэтому даже не надеюсь его запустить. еще по экспериментирую пару дней и снесу наверное.

[Gost123456]

покажите как из мозилы куки выгрузить? есть в магазине мозилы но он ставиться но нигде не появляется. 

второй день с бубном вокруг этого парсера бегаю а воз и ныне там. прокси хватает на один два товара. сменил php на хостинге. сайт упал без возвратно. пришлось с бекапа восстанавливать. Блин как с FiltrPro столько нюансов что бы все заработало. и то не факт что будет. Рекомендации от создателя. или ошибка или ответ пустой. где и как узнать это. в описании парсера написано что подробный лог. ничего там не подробно. сиди гадай. конечно стоит не дорого. поэтому даже не надеюсь его запустить. еще по экспериментирую пару дней и снесу наверное.

 

Ну что за блаж несёте в массы. Всё работает. Паникуйте, что ничего не работает, тогда, когда сможете повторить ошибку на демо, иначе, проблема только в Ваших руках, или голове.

Змінено 9 серпня 2015 користувачем Gost123456

[zteprk]

Я не сомневаюсь что проблема у меня. Но вопрос как ее решить? ставил и на чистую OsStore. и на боевой магазин. ошибки постоянно разные. так не не понимаю что от чего происходит. все ошибки писал вверху. 

[zteprk]

сегодня с утра попробовал еще раз.
получил вот такое.

Fatal error: Call to a member function find() on a non-object in /home/XXXXXXXXXX/public_html/admin/controller/module/parsermanager.php on line 1537

[NemoTec]

С сегодняшнего дня, при попытке вручную найти товар на сайте-доноре в окне вылазит ошибка и с последующим поиском она дублируется.

 

Notice: Undefined index: src in /www/admin/controller/module/parsermanager.php on line 2437

Змінено 10 серпня 2015 користувачем NemoTec

[zteprk]

Всех поздравляю кто парсил яшу.
https://market.yandex.ru

 

халява закончилась. с бесплатными прокси. Придется раскошелится на приличную сумму.

[kredit24]

Ребят, подскажите, если парсить не из маркета, а из 2-х других источников, прокси и прочая лабуда нужна?

[yakim81]

Огромная просьба к автору в модуле и в админке выводить версию модуля. Обновляюсь нечасто, и теперь запутался - какая версия модуля у меня стоит на сайте ((. Спасибо. Модуль очень хороший

[remaikee]

Здравствуйте.

Не работают кнопки перехода по страницам в модуле.

Т.е. модуль находит кучу товара, разбивает его по страницам, а при переходе на любую страницу показывает товар с первой страницы.

Подскажите, как это можно решить?

Стоит OpenCart v1.5.6.1 "Русская сборка".

 

В остальном работает вроде хорошо :) до яндекс-маркета ещё не добирался, но с двух других парсит вполне прилично :)

[remaikee]

Ребят, подскажите, если парсить не из маркета, а из 2-х других источников, прокси и прочая лабуда нужна?

У меня парсит без прокси и прочей лабуды :)

[remaikee]

Не работают кнопки перехода по страницам в модуле.

Т.е. модуль находит кучу товара, разбивает его по страницам, а при переходе на любую страницу показывает товар с первой страницы.

Подскажите, как это можно решить?

 

Решил задачку указав в настройках парсера количество товара на странице. До этого значение стояло по умолчанию пустое.

[sonicking]

Всех поздравляю кто парсил яшу.

https://market.yandex.ru

 

халява закончилась. с бесплатными прокси. Придется раскошелится на приличную сумму.

 

уважаемый автор - подтвердите или опровергните пожалуйста данную информацию

P.S. с сайта список прокси не скачивается опять