[Поддержка] SimplePars - Универсальный парсер для ИМ

[partshez]

6 минут назад, yurok79 сказал:

Здравствуйте, подскажите как отключить логи. Файл очень сильно разрастается, чтобы его не чистить все время.

 

Обновить модуль до последней версии и настроить шаблон очистки логов перед началом парсинга

Змінено 2 листопада 2021 користувачем partshez

[Kiyoshi]

4 часа назад, yurok79 сказал:

Здравствуйте, а какая последняя версия модуля? Обновляться можно просто "поверх"? Ничего не поломаю.

 

Здравствуйте.

1. SimplePars v4.7_stable.zip

2. Можно поверх, после в адресной строке браузера введите: ваш_сайт/inst.php далее по инструкций в установшике.
3. В зависимости с какой версий обновляетесь если очень старой то нужно будет еще в границах парсинга для повторяющихся границ задать разделитель вместо ; указать {csvnc}

[partshez]

5 часов назад, yurok79 сказал:

Здравствуйте, а какая последняя версия модуля? Обновляться можно просто "поверх"? Ничего не поломаю.

 

4.8-6 последняя 

[WEB_COAST]

Здравствуйте, можно ли выгрузить товары в YML не с сайта-донора, а те товары, которые уже загружены на мой сайт? Хотелось бы создать фид для Яндекса.

[partshez]

2 часа назад, WEB_COAST сказал:

Здравствуйте, можно ли выгрузить товары в YML не с сайта-донора, а те товары, которые уже загружены на мой сайт? Хотелось бы создать фид для Яндекса.

Симплпарс не умеет это делать. Предназначен для другого

[Viktor34145544345345435353]

Здравствуйте, купили модуль, установили (SimplePars v4.7_stable) , активировали, но нужна поддержка...

Во первых создали задание для понимания работы на 5 товаров, но увы оно не запускается ? (а есть вообще кнопка запуск ??)

На хостинге бегет все сделали по инструкции, там просто.. что должно быть в кроне на сайте ?

И можете подправить наш тестовый парсинг по одной категории, дальше мы сами по образцу

SPsetting.json

[Axelenz]

29 минут назад, Viktor34145544345345435353 сказал:

Здравствуйте, купили модуль, установили (SimplePars v4.7_stable) , активировали, но нужна поддержка...

Во первых создали задание для понимания работы на 5 товаров, но увы оно не запускается ? (а есть вообще кнопка запуск ??)

На хостинге бегет все сделали по инструкции, там просто.. что должно быть в кроне на сайте ?

И можете подправить наш тестовый парсинг по одной категории, дальше мы сами по образцу

На вкладке Парсинг в ИМ "кнопка запуска" называется Старт парсинга, если планируете загружать непосредственно в магазин.

Во-вторых у Вас стояло создание кеша.

В третьих Вы хотели использовать не все ссылки, а только ссылки со своего списка, а рабочий список или нет...

 

Т.е. исправьте на использование всех ссылок и парсите, пока не используйте кеш, попробуйте хотя бы так что-то получить.

Да... и читайте всё время логи... там всё рассказывается...

 

Я поправил эти ньюансы и начинает парсить и выходим на ошибку 403...

2021-11-03 12:53:41| Парсинг : ОТВЕТ  | Forbidden, доступ запрещен. Ответ сервера [403] Ссылка | https://cs-online.su/catalog/vanny/stalnye_vanny/77370/

 

А это уже совершенно другая история )

 

 

Змінено 3 листопада 2021 користувачем Axelenz

[yastman]

Добрый день @Rassol2

Подскажите, если купить качественные прокси,к примеру 10 шт, это ускорит процесс сбора ссылок у донора?

[Rassol2]

2 минуты назад, yastman сказал:

Добрый день @Rassol2

Подскажите, если купить качественные прокси,к примеру 10 шт, это ускорит процесс сбора ссылок у донора?

Прокси это скорее про безопасность нежели про скорость. 
 

всегда быстрее передавать данные из рук в руки чем через посредников. 

[kinder]

Добрый вечер! Настраиваю работу со скриптом парсящим группы атрибутов и столкнулся с проблемой. Никак не могу придумать, как привязать к концу представителя группы атрибутов тег {g-stop}, как по мне, то мои знания модуля и опыт на данный момент не позволяет мне за что-либо зацепиться в разметке либо в использовании поиск/замены. Может опытные товарищи подскажут выход из данной ситуации, скрин для лучшего понимания сути вопроса прилагаю. Спасибо.

[Rassol2]

2 минуты назад, kinder сказал:

Может опытные товарищи подскажут выход из данной ситуации, скрин для лучшего понимания сути вопроса прилагаю. Спасибо.

Только если спрячете скриншот под спойлер ))
я все больше и больше предоставляю подержку с телефона, и это дикий ад

Вы можете указать такое правило.
<div class="h3">{skip}</div>|{g-start}$1{g-stop}

Как то вот так. И все будет чудесно

[Rassol2]

@kinder И правило это повыше запишите. До того момента когда будут заменятся или вырезается html теги, мы же все таки к ним цепляемся. Могу предположить что это правило можно первым добавить.

[kinder]

4 минуты назад, Rassol2 сказал:

@kinder И правило это повыше запишите. До того момента когда будут заменятся или вырезается html теги, мы же все таки к ним цепляемся. Могу предположить что это правило можно первым добавить.

Вы маг и чародей)) Спасибо большое, все супер!

[Rassol2]

1 минуту назад, kinder сказал:

Вы маг и чародей)) Спасибо большое, все супер!

не за что.
Рад что у вас все получилось.

[aqua_st]

Добрый день!

Нужна помощь. Ситуация следующая:

Настроен сбор ссылок с сайта донора. Сайт имеет две языковые версии "сайт.com.ua/product.html" и "сайт.com.ua/ua/product.html"

Соотвецтвенно код страницы имеет вид:

-для русского языка:

Спойлер

-для украинского:

Спойлер

Собраны ссылки с одним языком "сайт.com.ua/ua/product.html" - украинским

Далее при обработке во вкладке "Настройки парсинга", в окне кода и в окне превью, вижу код с русской версии сайта, хотя url записан правильно (украинская версия)

Спойлер

Кто-нибудь сталкивался с такой ситуацией, и есть ли выход?

Спасибо!

[partshez]

30 минут назад, aqua_st сказал:

Добрый день!

Нужна помощь. Ситуация следующая:

Настроен сбор ссылок с сайта донора. Сайт имеет две языковые версии "сайт.com.ua/product.html" и "сайт.com.ua/ua/product.html"

Соотвецтвенно код страницы имеет вид:

-для русского языка:

  Показать контент

-для украинского:

  Показать контент

Собраны ссылки с одним языком "сайт.com.ua/ua/product.html" - украинским

Далее при обработке во вкладке "Настройки парсинга", в окне кода и в окне превью, вижу код с русской версии сайта, хотя url записан правильно (украинская версия)

  Показать контент

Кто-нибудь сталкивался с такой ситуацией, и есть ли выход?

Спасибо!

Переключите язык на укр, и посмотрите куки.
Возьмите куки которые отвечают за язык и добавьте их в настройки запросов.

[Flint2000]

@aqua_st вы сайт покажите для начала, возможно у вас не правильно формируется lang

[aqua_st]

40 минут назад, partshez сказал:

Переключите язык на укр, и посмотрите куки.
Возьмите куки которые отвечают за язык и добавьте их в настройки запросов.

Спасибо помогло.

[Mixxxa163]

Добрый день. При парсинге у донора свои категории-подкатегории-подподкатегории. А товары необходимо размещать в категории уже созданные на сайте. Либо тех которых нет - создать. Парсил с категориями донора, потом вручную переносил в бачэдиторе, досоздавал категории при необходимости. Но как мне кажется, это приводит к созданию ненужных URL либо к 301. Есть ли метод, которым при парсинге в ИМ, можно указывать конкретно товары из категории донора парсить в созданную или имеющуюся категорию на сайте..?

[Rassol2]

9 минут назад, Mixxxa163 сказал:

Добрый день. При парсинге у донора свои категории-подкатегории-подподкатегории. А товары необходимо размещать в категории уже созданные на сайте. Либо тех которых нет - создать. Парсил с категориями донора, потом вручную переносил в бачэдиторе, досоздавал категории при необходимости. Но как мне кажется, это приводит к созданию ненужных URL либо к 301. Есть ли метод, которым при парсинге в ИМ, можно указывать конкретно товары из категории донора парсить в созданную или имеющуюся категорию на сайте..?

Здравствуйте.
Да такой метод есть, и имя ему поиск замена.
Заменяем категории донора на ваши, и все.

[Flint2000]

10 хвилин назад, Mixxxa163 сказав:

Есть ли метод, которым при парсинге в ИМ, можно указывать конкретно товары из категории донора парсить в созданную или имеющуюся категорию на сайте..?

Есть. Во вкладке поиск/замена настраиваете замену категорий донора на свои

[Dmitry76]

Всем привет.
Огромная просьба, помочь посмотреть, будет ли отдавать донор информацию.

Никак не могу разобраться, толи донор меня как-то идентифицирует и блокирует, толи периодически меняет на своем сайте защиту и начинает отдавать информацию посредством js скриптов, которые SimplePars пока не умеет обрабатывать.

Т.е. 2-3 недели качаю информацию с него, все нормально, далее начинает блокировать и что бы я не делал(с нескольких сайтов, хостеров захожу, с разных компов, прокси подставляю разные), не отдает 2-3 недели.

Донор: https://www.eldorado.ru/cat/detail/besprovodnye-naushniki-s-mikrofonom-tfn-airjam-black-hs-bt004bk/

 

Важно мнение не одного человека, а разных,  с разными ip-адресами и т.д.

[Rassol2]

10 минут назад, Dmitry76 сказал:

Всем привет.
Огромная просьба, помочь посмотреть, будет ли отдавать донор информацию.

Никак не могу разобраться, толи донор меня как-то идентифицирует и блокирует, толи периодически меняет на своем сайте защиту и начинает отдавать информацию посредством js скриптов, которые SimplePars пока не умеет обрабатывать.

Т.е. 2-3 недели качаю информацию с него, все нормально, далее начинает блокировать и что бы я не делал(с нескольких сайтов, хостеров захожу, с разных компов, прокси подставляю разные), не отдает 2-3 недели.

Донор: https://www.eldorado.ru/cat/detail/besprovodnye-naushniki-s-mikrofonom-tfn-airjam-black-hs-bt004bk/

 

Важно мнение не одного человека, а разных,  с разными ip-адресами и т.д.

Да здесь установлена зашита.
И вы скорее всего на неё и попадаете.
 

[partshez]

22 минуты назад, Dmitry76 сказал:

Всем привет.
Огромная просьба, помочь посмотреть, будет ли отдавать донор информацию.

Никак не могу разобраться, толи донор меня как-то идентифицирует и блокирует, толи периодически меняет на своем сайте защиту и начинает отдавать информацию посредством js скриптов, которые SimplePars пока не умеет обрабатывать.

Т.е. 2-3 недели качаю информацию с него, все нормально, далее начинает блокировать и что бы я не делал(с нескольких сайтов, хостеров захожу, с разных компов, прокси подставляю разные), не отдает 2-3 недели.

Донор: https://www.eldorado.ru/cat/detail/besprovodnye-naushniki-s-mikrofonom-tfn-airjam-black-hs-bt004bk/

 

Важно мнение не одного человека, а разных,  с разными ip-адресами и т.д.

Ищите конкурента. Про Эльдорадо можно забыть

[Dmitry76]

2 часа назад, Rassol2 сказал:

Да здесь установлена зашита.
И вы скорее всего на неё и попадаете.
 

просто не пойму логику донора, 2-3 недели все качается, потом защита 2-3 недели, потом опять все норм. Или пока еще в процессе тестирования делают что ли?