[Поддержка] Парсер-менеджер товаров с торговых площадок

[igyan]

  В 19.06.2018 в 12:34, AKIR сказав:

Прокси работает при режиме ввода 1 сервера,

при загрузке файла proxy_list.txt вида :

 

i8o8uTY:HlXXrwpo33@5.188.131.18:2200
i8o8uTY:HlXXrwpo33@109.248.142.157:2200

выдает ошибку: "Найдено рабочих прокси - Нет файла: proxy_list.txt0",

хотя по отдельности прокси работают в парсере,

В чем причина?

Expand  

 

если нужна авторизация на прокси, проверка работать не будет

проверяйте в браузере, после чего можете подкинуть куки

вид файла с прокси

 

5.188.131.18:2200

109.248.142.157:2200

 

и тд

[AKIR]

  В 20.06.2018 в 06:40, igyan сказав:

замените в контроллере  и в шаблоне

HTTP_SERVER на

HTTPS_SERVER

Expand  

Если Вы про эти строки , то я изменил , проблема не решилась

[igyan]

в контроллере в функции viewYandexCaptcha

в строке

    <form method="POST"   action="<?php echo HTTP_SERVER."index.php?route=extension/module/parsermanager/setyandexcaptcha&token=".$this->session->data['token'];?>">        

 

изменено ?

 

такая же капча сработает при сработает при парсинге товара, проверьте, как она работает

[AKIR]

  В 24.06.2018 в 16:46, igyan сказав:

в контроллере в функции viewYandexCaptcha 

в строке

    <form method="POST"   action="<?php echo HTTP_SERVER."index.php?route=extension/module/parsermanager/setyandexcaptcha&token=".$this->session->data['token'];?>">        

 

изменено ?

 

такая же капча сработает при сработает при парсинге товара, проверьте, как она работает

Expand  

Да , изменено.

При вводе captcha, меня выбрасывает в "страница не найдена"

Змінено 24 червня 2018 користувачем AKIR

[igyan]

какая ссылка в адресной строке?

[igyan]

уберите слеш после parsermanager в строках

 

 $this->response->redirect($this->url->link('extension/module/parsermanager/', 'token=' . $this->session->data['token'], 'SSL'));

 

[AKIR]

  В 26.06.2018 в 10:50, igyan сказав:

уберите слеш после parsermanager в строках

 

 $this->response->redirect($this->url->link('extension/module/parsermanager/', 'token=' . $this->session->data['token'], 'SSL'));

 

Expand  

Теперь заработало, спасибо!

[ARTEXO]

А как работа с OpenCart 3 ?

[igyan]

  В 09.07.2018 в 04:38, ARTEXO сказав:

А как работа с OpenCart 3 ?

Expand  

 OpenCart 3 не тестировал

[AKIR]

замучился вручную прописывать количество товара на 100 вместо 1,

так что если кому будет полезно :

[EraLno]

А с просто интернет магазина будет парсинг идти если буду ссылки прям на товар кидать? в демо говорит товар не найден.

[AKIR]

  В 13.07.2018 в 11:09, EraLno сказав:

А с просто интернет магазина будет парсинг идти если буду ссылки прям на товар кидать? в демо говорит товар не найден.

Expand  

 

У меня парсит , единственное, если парсить с яндекс.маркета , то он банит уже с 4-6 товара, так что придётся запастись proxy, мне штук 10 хватает (я брал в 5proxy.ru , обычные shared), я забиваю по 30-40 позиций в день.

 

ещё вам понадобится какой-нибудь плагин для подмены cookies на сервере (у меня Сookies Quick Manager для firefox)

 

"товар не найден" - это почти наверняка Вас забанили на яше  после нескольких попыток спарсить товар

 

Мне в общем и целом парсер нравится , если бы я вручную атрибуты забивал, я бы умер уже.

[PAA]

Сделайте поддержку opencart 3 !!!

[igyan]

  В 19.07.2018 в 21:16, PAA сказав:

Сделайте поддержку opencart 3 !!!

Expand  

я попробую, не раньше начала августа

 

[dimetrio1986]

Добрый день! подскажите почему то с хотлайна перестались парсится фото товаров, хотя описания и атрибуты копируются нормально

[igyan]

  В 22.08.2018 в 11:17, dimetrio1986 сказав:

Добрый день! подскажите почему то с хотлайна перестались парсится фото товаров, хотя описания и атрибуты копируются нормально

Expand  

Здравствуйте, скиньте пару ссылок на товары, которые парсите

[dexion]

@igyan Здравствуйте. Покупал модуль 05.05.2016, затем продлевал его лицензию еще на год. В данный момент лицензия не продлена. Могу ли я получить версию под опенкарт 1.5 php 7.2? Обновления модуля не требуются, только версии зашифрованных файлов под 7.2.

[igyan]

под 7,2  для версии 1,5 надо генерировать

 

[dimetrio1986]

Добрый день! Есть возможность пофиксить парсинг с хотлайна, дело в том что описание товара обрезается за счет <span class="hidden" , и текст обрезается

Вот пример HTML:

 <p data-specification-box="">     Mi 6 - флагман 2017 года в модельном ряду компании Xiaomi. Данная модель обладает рядом качеств, которые позволяют ей конкурировать с устройствами от других именитых брендов в значительно более высоких ценовых категориях. Среди достоинств, в первую очередь стоит отметить дизайн смартфона. В качества материалов корпуса используется алюминий и стекло. Также предусмотрена версия выполненная из керамики. Корпус во всех случаях обладает влагостойкими свойствами. В качестве<span class="hidden" data-expand-box="card_10092908"> дисплея используется 5,15-дюймова IPS-матрица с разрешением Full HD. Одной из изюминок устройства является использование наиболее производительного на момент выпуска смартфона процессора Qualcomm Snapdragon 835. Также смартфон поставляется в нескольких конфигурациях памяти - 64 или 128 ГБ. Оперативной памяти во всех случаях - 6 ГБ. За автономность отвечает несъемный аккумулятор емкостью 3350 мАч, обеспечивающий, по заявлению производителя, сутки автономной работы. Фотографические возможности смартфона представлены двумя основными камерами с максимальным разрешением 12 МП каждая.</span></p>

и соответсвенно текст обрывается на сайте и уже так выглядит:

Mi 6 - флагман 2017 года в модельном ряду компании Xiaomi. Данная модель обладает рядом качеств, которые позволяют ей конкурировать с устройствами от других именитых брендов в значительно более высоких ценовых категориях. Среди достоинств, в первую очередь стоит отметить дизайн смартфона. В качества материалов корпуса используется алюминий и стекло. Также предусмотрена версия выполненная из керамики. Корпус во всех случаях обладает влагостойкими свойствами. В качестве... и тут текст обрывается 

На хотлайне описание скрывает часть текста, и парсер парсит этот тег или класс, я не знаю точно ак оно называется...

[igyan]

в следующем обновлении исправлю

 

[AKIR]

Вот и дождались, Яндекс.Маркет как обычно отчудил  - изменил ссылки на товар с вида :

https://market.yandex.ru/product/10666969

на какой-то мутантный гибрид ЧПУ со старым числовым кодом:

https://market.yandex.ru/product--split-sistema-lg-cb09l-uu09w/10666969

Похоже это временный вариант для последующего перехода к виду

https://market.yandex.ru/product--split-sistema-lg-cb09l-uu09w/

Причём еще не все товары переведены на данный вид ссылок, вообще сейчас каша какая-то.

 

Теперь прямые ссылки не парсятся, парсить стало возможно только  через поиск,

а поиск не всегда находит нужный товар,

поэтому вопрос автору:

Вы в курсе проблемы и пытаетесь её как-либо решить?

[igyan]

буду смотреть, что там поменялось

[DmitriyV]

интересно. ждем ответа

[DmitriyV]

автор модуля часто отвечает? весь день жду проделние активации(

вот бы в модуль какую то напоминалку хотя бы за пару дней что актицация скоро закончиться

[igyan]

  В 02.10.2018 в 11:19, AKIR сказав:

Вот и дождались, Яндекс.Маркет как обычно отчудил  - изменил ссылки на товар с вида :

https://market.yandex.ru/product/10666969

на какой-то мутантный гибрид ЧПУ со старым числовым кодом:

https://market.yandex.ru/product--split-sistema-lg-cb09l-uu09w/10666969

Похоже это временный вариант для последующего перехода к виду

https://market.yandex.ru/product--split-sistema-lg-cb09l-uu09w/

Причём еще не все товары переведены на данный вид ссылок, вообще сейчас каша какая-то.

 

Теперь прямые ссылки не парсятся, парсить стало возможно только  через поиск,

а поиск не всегда находит нужный товар,

поэтому вопрос автору:

Вы в курсе проблемы и пытаетесь её как-либо решить?

Expand  

 

попробовал парсить ссылки

https://market.yandex.ru/product--planshet-apple-ipad-pro-10-5-512gb-wi-fi/1727654915?track=tabs

https://market.yandex.ru/product--noutbuk-xiaomi-mi-notebook-pro-15-6/1773316603

https://market.yandex.ru/product/10666969

все данные добавились,

поиск сработал

 

что конкретно не парсится?