[Поддержка] Парсер-менеджер товаров с торговых площадок

[igyan]

Проверил, краткое описание парсится,характеристики подправил

тестовый файл на 8 часов

Заменить

\system\library\parsermanager\

 

parser_yandex.php

[sotavip]

12 часов назад, igyan сказал:

Проверил, краткое описание парсится,характеристики подправил

тестовый файл на 8 часов

Заменить

\system\library\parsermanager\

 

parser_yandex.php 59 \u043a\u0411 · 1 download

все ок

[sotavip]

добрый день! продлите модуль пож-та

Змінено 14 листопада 2020 користувачем sotavip

[DmitriyV]

при парсинге через товар вылазит капча, куки вроде накидывал новые но так же

[igyan]

С Яндексом по другому вряд-ли получится, можно прикрутить антикапчу, но тогда придется платить за качу при каждом показе. 

Как вы используете парсинг с Яндекса, для обновления или добавления товаров.

[DmitriyV]

для обновления атрибутов, фото товара

[igyan]

Добавлена поддержка 3 версии Opencart

Проверял парсинг с Онлайнера и Хотлайна. С Яндексом могут быть проблемы, поэтому в дальнейшем возможен отказ от этого донора, или его работа без гарантии. 

Если есть сайты с нормальной информацией могу рассмотреть их добавление в парсер.

[aleksus33]

Доброе утро! Отписался в личку по продлению лицензии для модуля. 

[sotavip]

В 13.12.2020 в 01:29, igyan сказал:

Добавлена поддержка 3 версии Opencart

Проверял парсинг с Онлайнера и Хотлайна. С Яндексом могут быть проблемы, поэтому в дальнейшем возможен отказ от этого донора, или его работа без гарантии. 

Если есть сайты с нормальной информацией могу рассмотреть их добавление в парсер.

 

для ocstore 2.1 с яндекс маркета будет парсить? посмотрите сейчас еще раз  (Ошибка парсинга. Не найдены элементы!)  

[igyan]

Что у вас в логе парсера?

[sotavip]

9 часов назад, igyan сказал:

Что у вас в логе парсера?

 

[sotavip]

16 часов назад, igyan сказал:

Что у вас в логе парсера?

поправьте пожалуйста

[igyan]

У меня на сервере и на локалке такая же проблемы, на все запросы ответ 403. Посылка всевозможных заголовков не помогает, яндекс как-то определяет что это парсинг, возможно по IP. Надо пробовать прокси, которые заменяют IP

К сожалению парсинг с хостинга яндекс научился блокировать, рано или поздно придется перейти на другие виды заполнения. 

Есть вариант работать из локально из браузера через расширение и пересылать данные по API. Я когда-то занимался  этим вопросом, потом бросил

Если есть интерес и тестовый сервер, можно попробовать

[sotavip]

13 минут назад, igyan сказал:

У меня на сервере и на локалке такая же проблемы, на все запросы ответ 403. Посылка всевозможных заголовков не помогает, яндекс как-то определяет что это парсинг, возможно по IP. Надо пробовать прокси, которые заменяют IP

К сожалению парсинг с хостинга яндекс научился блокировать, рано или поздно придется перейти на другие виды заполнения. 

Есть вариант работать из локально из браузера через расширение и пересылать данные по API. Я когда-то занимался  этим вопросом, потом бросил

Если есть интерес и тестовый сервер, можно попробовать

 

интерес есть, тестового сервера нет, где его взять?

[igyan]

можно сделать на своем хостинге, домен 3 уровня

test.domain.xx

и сделать копию сайта

[sotavip]

11 часов назад, igyan сказал:

можно сделать на своем хостинге, домен 3 уровня

test.domain.xx

и сделать копию сайта

данные отправил в лс

[sotavip]

как у вас дела? что с яндекс маркет, возможно парсить там? хотя бы товары поштучно

[igyan]

На выходных попробую сервисы прокси.

[sotavip]

20 часов назад, igyan сказал:

На выходных попробую сервисы прокси.

Ok

[sotavip]

В 22.01.2021 в 21:52, igyan сказал:

На выходных попробую сервисы прокси.

как успехи?

[DmitriyV]

тоже жду инфу

[igyan]

8 минут назад, DmitriyV сказал:

тоже жду инфу

У вас тоже 403 ошибка

[DmitriyV]

не дает капчу

 

27-01-2021 14:13:51: Ссылка на товар:https://market.yandex.ru/product--materinskaia-plata-asus-prime-b450m-a-ii/734035012?track=tabs
27-01-2021 14:13:51: Начало парсинга
27-01-2021 14:13:51: User agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36
27-01-2021 14:13:51: Cookie включены.
27-01-2021 14:13:51: Запрос: https://market.yandex.ru/product--materinskaia-plata-asus-prime-b450m-a-ii/734035012?track=tabs
27-01-2021 14:13:51: Перенаправление -> https://market.yandex.ru/showcaptcha?retpath=https%3A//market.yandex.ru/product--materinskaia-plata-asus-prime-b450m-a-ii/734035012%3Ftrack%3Dtabs_9e10edfbe1e40ab6a7bb566802eb32b5&t=0/1611746031/4541ee8b2c1203ce6ebca586f80ae25a&s=f4cfacdd470b16905b4b33c9252d46e1
27-01-2021 14:13:51: Запрос: https://market.yandex.ru/showcaptcha?retpath=https%3A//market.yandex.ru/product--materinskaia-plata-asus-prime-b450m-a-ii/734035012%3Ftrack%3Dtabs_9e10edfbe1e40ab6a7bb566802eb32b5&t=0/1611746031/4541ee8b2c1203ce6ebca586f80ae25a&s=f4cfacdd470b16905b4b33c9252d46e1
27-01-2021 14:13:51: Удачный ответ от сервера
27-01-2021 14:13:51: Получено 6624 байт
27-01-2021 14:13:51: Конец парсинга
 

[igyan]

Надо пробовать прокси, если у вас нет, напишите в личку данные на вход в админку. Вечером попробую через прокси

[DmitriyV]

Добрый день.

А нет мыслей возможности парсить с екаталога ? https://www.e-katalog.ru/