Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

[Поддержка] Парсер-менеджер товаров с торговых площадок


igyan

Recommended Posts

пытаюсь загрузить файлы с прокси и куками отвечает что не тот файл .... загружаю в формате txt может другой формат нужен то какой ???

у меня загружает

Змінено користувачем zteprk
Надіслати
Поділитися на інших сайтах


пытаюсь загрузить файлы с прокси и куками отвечает что не тот файл .... загружаю в формате txt может другой формат нужен то какой ???

имя файла proxy_list.txt

Надіслати
Поділитися на інших сайтах

Ссылки ищет через раз. в логе все ок. парсит всего 5 товаров за раз. если больше то пишет что не найдены ссылки. прошу помощи.

попробуйте парсить через нормальные прокси

Надіслати
Поділитися на інших сайтах

вот это от чего может быть?

Прошлый парсинг закончился неудачей! Список товаров для парсинга не пустой!

08-08-2015 06:29:03: Cookie включены.

08-08-2015 06:29:03: Парсинг через прокси: 111.161.126.98:80
08-08-2015 06:29:07: Перенаправление -> http://market.yandex.ru
08-08-2015 06:29:07: Запрос: http://market.yandex.ru
08-08-2015 06:29:15: Перенаправление -> https://market.yandex.ru/
08-08-2015 06:29:15: Запрос: https://market.yandex.ru/
08-08-2015 06:29:20: Удачный ответ от сервера
08-08-2015 06:29:20: Получено 30859 байт
08-08-2015 06:29:20: Конец парсинга
Надіслати
Поділитися на інших сайтах


Сейчас вот такое выдает.

08-08-2015 12:48:50: Ссылка на товар:https://market.yandex.ru/product/10589675?hid=90580
08-08-2015 12:48:50: Начало парсинга
08-08-2015 12:48:50: Cookie включены.
08-08-2015 12:48:50: Запрос: https://market.yandex.ru/product/10589675?hid=90580
08-08-2015 12:48:50: Перенаправление -> http://market.yandex.ru
08-08-2015 12:48:50: Запрос: http://market.yandex.ru
08-08-2015 12:48:50: Перенаправление -> https://market.yandex.ru/
08-08-2015 12:48:50: Запрос: https://market.yandex.ru/
08-08-2015 12:48:52: Удачный ответ от сервера
08-08-2015 12:48:52: Получено 30964 байт
08-08-2015 12:48:52: Ошибка! Не найдено название товара!
08-08-2015 12:48:52: Конец парсинга
 
ссылки на товар имеются. с трудом но 28 штук получить удалось. 
Еще если что то получается то потом белый экран. и войти на сайт можно только через минут пять. вообще не открывается.
Змінено користувачем zteprk
Надіслати
Поділитися на інших сайтах


Если перенаправление - очищайте куки

Большое количество товаров без нормальных прокси вы не спарсите

Надіслати
Поділитися на інших сайтах

Если перенаправление - очищайте куки

Большое количество товаров без нормальных прокси вы не спарсите

посоветуйте где брать лучше прокси сервера?

Надіслати
Поділитися на інших сайтах


за ресурсами с прокси я не слежу, посмотрите в сообщениях где-то было

если будут прокси с именем пользователя и паролем

нужно будет прописать вручную в скрипте, это баг я пока не исправил

в файле

\system\library\MCurl.php

вставить после строки 67

$this->options[CURLOPT_PROXY] = $proxy;

эту строку

$this->options[CURLOPT_PROXYUSERPWD] = "user:password";

где

user и password - данные, которые вам дадут

Надіслати
Поділитися на інших сайтах

нашел реально действующие прокси. оставил 5 штук живых.

начинаешь парсить 28 товаров уже со ссылками. вываливается в белый экран.не помогает смена php с 5.5 на 5.6

Надіслати
Поділитися на інших сайтах


лучше версию 5,4

белый экран, скорее всего ошибка или пустой ответ

попробойте удалить куки или импортировать из браузера и  без прокси

Надіслати
Поділитися на інших сайтах

Очень прошу реализовать в модуле парсинг изображения товара с любого сайта, открыв фото товара в отдельной вкладке.

То есть, нашли изображение нашего товара, ткнули правой кнопкой мыши в картинку, нажали "Открыть в соседней вкладке", далее переходим в парсер, прописываем в него ссылку из новой вкладки, нажимаем спарсить, и парсер подянет главное фото товара, со всеми вытекающими:

- правильное имя товара, без дублей и перезаписи (очень хотелось бы, чтобы в названии изображения использовался id товара из нашей базы данных);

- верное расположение товара на хостинге, среди остальный спарсеных фото.

В магазине ооочень много уникальных товаров(запчасти), и полноценного сайта донора не найти.

Надіслати
Поділитися на інших сайтах


покажите как из мозилы куки выгрузить? есть в магазине мозилы но он ставиться но нигде не появляется. 

второй день с бубном вокруг этого парсера бегаю а воз и ныне там. прокси хватает на один два товара. сменил php на хостинге. сайт упал без возвратно. пришлось с бекапа восстанавливать. Блин как с FiltrPro столько нюансов что бы все заработало. и то не факт что будет. Рекомендации от создателя. или ошибка или ответ пустой. где и как узнать это. в описании парсера написано что подробный лог. ничего там не подробно. сиди гадай. конечно стоит не дорого. поэтому даже не надеюсь его запустить. еще по экспериментирую пару дней и снесу наверное.

Надіслати
Поділитися на інших сайтах


покажите как из мозилы куки выгрузить? есть в магазине мозилы но он ставиться но нигде не появляется. 

второй день с бубном вокруг этого парсера бегаю а воз и ныне там. прокси хватает на один два товара. сменил php на хостинге. сайт упал без возвратно. пришлось с бекапа восстанавливать. Блин как с FiltrPro столько нюансов что бы все заработало. и то не факт что будет. Рекомендации от создателя. или ошибка или ответ пустой. где и как узнать это. в описании парсера написано что подробный лог. ничего там не подробно. сиди гадай. конечно стоит не дорого. поэтому даже не надеюсь его запустить. еще по экспериментирую пару дней и снесу наверное.

 

Ну что за блаж несёте в массы. Всё работает. Паникуйте, что ничего не работает, тогда, когда сможете повторить ошибку на демо, иначе, проблема только в Ваших руках, или голове.

Змінено користувачем Gost123456
Надіслати
Поділитися на інших сайтах


Я не сомневаюсь что проблема у меня. Но вопрос как ее решить? ставил и на чистую OsStore. и на боевой магазин. ошибки постоянно разные. так не не понимаю что от чего происходит. все ошибки писал вверху. 

Надіслати
Поділитися на інших сайтах


сегодня с утра попробовал еще раз.
получил вот такое.

Fatal error: Call to a member function find() on a non-object in /home/XXXXXXXXXX/public_html/admin/controller/module/parsermanager.php on line 1537

Надіслати
Поділитися на інших сайтах


С сегодняшнего дня, при попытке вручную найти товар на сайте-доноре в окне вылазит ошибка и с последующим поиском она дублируется.

 

Notice: Undefined index: src in /www/admin/controller/module/parsermanager.php on line 2437

Змінено користувачем NemoTec
Надіслати
Поділитися на інших сайтах

Всех поздравляю кто парсил яшу.
https://market.yandex.ru

 

халява закончилась. с бесплатными прокси. Придется раскошелится на приличную сумму.

Надіслати
Поділитися на інших сайтах


  • 3 weeks later...

Огромная просьба к автору в модуле и в админке выводить версию модуля. Обновляюсь нечасто, и теперь запутался - какая версия модуля у меня стоит на сайте ((. Спасибо. Модуль очень хороший

Надіслати
Поділитися на інших сайтах


Здравствуйте.

Не работают кнопки перехода по страницам в модуле.

Т.е. модуль находит кучу товара, разбивает его по страницам, а при переходе на любую страницу показывает товар с первой страницы.

Подскажите, как это можно решить?

Стоит OpenCart v1.5.6.1 "Русская сборка".

 

В остальном работает вроде хорошо :) до яндекс-маркета ещё не добирался, но с двух других парсит вполне прилично :)

Надіслати
Поділитися на інших сайтах


Не работают кнопки перехода по страницам в модуле.

Т.е. модуль находит кучу товара, разбивает его по страницам, а при переходе на любую страницу показывает товар с первой страницы.

Подскажите, как это можно решить?

 

Решил задачку указав в настройках парсера количество товара на странице. До этого значение стояло по умолчанию пустое.

Надіслати
Поділитися на інших сайтах


Всех поздравляю кто парсил яшу.

https://market.yandex.ru

 

халява закончилась. с бесплатными прокси. Придется раскошелится на приличную сумму.

 

уважаемый автор - подтвердите или опровергните пожалуйста данную информацию

P.S. с сайта список прокси не скачивается опять

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.