[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

@farshmac В ближайшие время я хочу сделать в редакторе товаров отдельно блок с техническими заданиями.
По типу очистить логи модуля.
Или очистить кеш проекта.

Что бы можно было создать шаблон и применять его в кроне.
Допустим сделать что перед началом парсинга модуль выполняет задание по очистке логов. И очистке кеша страниц.

А в момент парсинга заново создает кеш и логи.

И если так сделать то модуль сам все обновляет, и при этом у вас будет удобная возможность почитать что делается. И при необходимости используя свежий кеш что то подправить вручную .

[Rassol2]

Внимание!!!
Хочу напомнить всем что с 2021.03.01 цена на модули составит 1960р

[Stin]

Я опять со свей проблемой. 

Вот если я в бане, то по идее у меня не должно быть доступа к сайту донору, но беру ссылку на конкретную позицию с сайта и прописываю ее в настройках парсинга, страница парсится вроде как. но пишет, 

Цитата

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Код ответа = 28
3. Текст ответа = Connection timed out after 15005 milliseconds
4. Ссылка = https://h-d.by/index.php?route=product/product&path=66&product_id=129657
5. Больше информации можно получить в логах модуля SimplePars

Так в бане или нет? Через обработчик XML вообще не загружает, пробовал увеличивать время обработки в настройках, не помогает. 

[Kiyoshi]

Здравствуйте судя пологам модуль не успевает получить ответ от сервера за задано время попробуйте поменять https://prnt.sc/108peju

[Stin]

Да пробовал. ставил и 59 сек. не помогает. результат тот же. не видит страницу в формате HTML

[Rassol2]

25 минут назад, Stin сказал:

Я опять со свей проблемой. 

Вот если я в бане, то по идее у меня не должно быть доступа к сайту донору, но беру ссылку на конкретную позицию с сайта и прописываю ее в настройках парсинга, страница парсится вроде как. но пишет, 

Так в бане или нет? Через обработчик XML вообще не загружает, пробовал увеличивать время обработки в настройках, не помогает. 

и что вы не видите что сайт донор вам отвечает тоже самое.
На этот вопрос я вам уже дал ранее ответ.

Что поменялось с того моего ответа ?

[Rassol2]

@Stin Я вам в сегодня уже дал ответ на этот вопрос.
 

Спойлер

И вы снова пишите вопрос по той же самой ситуации.
 

Спойлер

Это один и тот же ответ от донора.
Просто вы смотрите на него в разных местах.
1. в логе.
2. В коде сайта. (Тут модуль делает такое же сообщение что бы вы сразу понимали почему код страницы не выводится.)

[partshez]

42 минуты назад, Stin сказал:

 

Вероятность бана 99 процентов. Читайте инструкции и пробуйте все варианты. Выше я писал. Куки, заголовки, авторизация. Модуль имеет для этого большой функционал.

Возьмите бесплатные прокси. Попробуйте так обойти блокировку. 

Если есть возможность, настройте парсинг с другого сервера. Например, сайт друга. 

Так поймете. Это бан Вашего сервера или другая причина

Или попросите сделать это других людей на Вашем сайте за чашечку кофе

Змінено 27 лютого 2021 користувачем partshez

[Dash_ei]

Здравствуйте!
После настройки прокси парсинга, столкнулись со странной проблемой.
Существует граница парсинга, отвечающая за изображения. На странице отладки границ парсинга, ссылка на изображение выводится правильно (можно убедиться, открыв её в адресной строке и получив изображение). Но несмотря на это, на странице парсинга в ИМ изображение не отображается, его тег имеет вид <img src="../image/catalog/SPshow/d78ec0ac0944061464cba033c94fda57.jpg"> .. При отработке парсинга в ИМ товары, естественно, грузятся без изображений. В чем может быть причина?
Версия ocStore 2.3.0.2.3

Версия SimplePars v3.7-7

[amd4]

Доброго дня! 

Что то не могу понять, 

1.Стартовая ссылка прописана с одной категорией . Например https://svetavto.com.ua/galogen/ 

2.В верху, в полях сбора ссылок "Текст начала сбора" и "Текст конца сбора"  прописано пагинация на все страницы.

3.Внизу, в полях фильтрация,  В Тексте начала сбора и конца сбора привязан контейнер всех товаров на одной странице. 

Так одну категорию парсит. все хорошо. 

 

 

1.Меняешь стартовую ссылку на главную https://svetavto.com.ua

2.В  поле сбора ссылок, В "Шаблоне ссылок очереди" (где напротив И ИЛИ) , прописываешь эту  категорию /galogen. 

3.Пагинацию страниц и контейнер всех товаров. В "Текст начала сбора" и "Текст конца сбора" в верхнем и нижнем поле не трогаешь. 

 Ничего не парсит, Вообще ничего.  

 

Убираешь внизу в фильтрации сылок,  В "Текст начала сбора" и "Текст конца сбора" ,  блок  всех товаров на одной странице, парсит абсолютно все ссылки в том числе авторизация и все категории не обращая внимания на /galogen. 

 

 

Так разве принудительно прописав нужные категории в поле сбора ссылок , спарсить нельзя ? Только создавать для каждой категории новый проект , так что ли ?

 

Змінено 28 лютого 2021 користувачем amd4

[sws]

В 26.02.2021 в 20:45, sws сказал:

при старте парсинга обработка идёт, но папка product не создаётся и фото туда не грузит. Что может быть? Мне нужно только фото под названием артикула и всё.

 

[partshez]

43 минуты назад, sws сказал:

 

Преустановите модуль. Проверьте права на этой папке. Проверьте настройки модуля. В Предпросмотре фото товара видны? В отладочной информации на вкладке Изображения по ссылкам фото открываются?

[skydsl]

Помогите пожалуйста с функцией поиск и замена, есть поставщик у которого есть выгрузка, но выгрузке иногда у атрибута нет значения, и после обработки получаю повторяющиеся разделители {csvnc}{csvnc}{csvnc}, соответственно на предпросмотре все "едет".

https://prnt.sc/1094m6z 

[partshez]

1 час назад, skydsl сказал:

Помогите пожалуйста с функцией поиск и замена, есть поставщик у которого есть выгрузка, но выгрузке иногда у атрибута нет значения, и после обработки получаю повторяющиеся разделители {csvnc}{csvnc}{csvnc}, соответственно на предпросмотре все "едет".

https://prnt.sc/1094m6z 

Оствить два преобразования в разделитель. Остальные правила удалить. И добавить правило удаления всех тегов

[Rassol2]

10 часов назад, Dash_ei сказал:

Здравствуйте!
После настройки прокси парсинга, столкнулись со странной проблемой.
Существует граница парсинга, отвечающая за изображения. На странице отладки границ парсинга, ссылка на изображение выводится правильно (можно убедиться, открыв её в адресной строке и получив изображение). Но несмотря на это, на странице парсинга в ИМ изображение не отображается, его тег имеет вид <img src="../image/catalog/SPshow/d78ec0ac0944061464cba033c94fda57.jpg"> .. При отработке парсинга в ИМ товары, естественно, грузятся без изображений. В чем может быть причина?
Версия ocStore 2.3.0.2.3

Версия SimplePars v3.7-7

Причин может быть много, скидывайте файл настроек и я посмотрю.
Всегда начинайте поиск ответа изучая логи модуля.

[Rassol2]

7 часов назад, amd4 сказал:

1.Меняешь стартовую ссылку на главную https://svetavto.com.ua

2.В  поле сбора ссылок, В "Шаблоне ссылок очереди" (где напротив И ИЛИ) , прописываешь эту  категорию /galogen. 

3.Пагинацию страниц и контейнер всех товаров. В "Текст начала сбора" и "Текст конца сбора" в верхнем и нижнем поле не трогаешь. 

 Ничего не парсит, Вообще ничего.  

Ну комон.
В первом случаи у вас грузится страница категории https://svetavto.com.ua/galogen/   внутри которой есть страницы пагинации. Все попадает под фильтры.
Во втором случаи у вас грузится главная страница https://svetavto.com.ua/

Где есть ссылки на категорию но нет пагинации !! Соответственно ваши фильтры не верны.

 

7 часов назад, amd4 сказал:

Так разве принудительно прописав нужные категории в поле сбора ссылок , спарсить нельзя ? Только создавать для каждой категории новый проект , так что ли ?

Не выдумывайте все можно сделать.

[Rassol2]

2 часа назад, sws сказал:

 

Просто так не может не работать. Модуль он не человек он не может сегодня решить что то не делать по собственному желанию

Смотрим логи что там написано ?
 

[Rassol2]

1 час назад, skydsl сказал:

Помогите пожалуйста с функцией поиск и замена, есть поставщик у которого есть выгрузка, но выгрузке иногда у атрибута нет значения, и после обработки получаю повторяющиеся разделители {csvnc}{csvnc}{csvnc}, соответственно на предпросмотре все "едет".

https://prnt.sc/1094m6z 

Напишите мне в личку где приобретали модуль, и скиньте файл настроек я вам настрою атрибуты.

[skydsl]

15 минут назад, partshez сказал:

Оствить два преобразования в разделитель. Остальные правила удалить. И добавить правило удаления всех тегов

попробовал, все равно получаю повторяющийся разделитель и пустые атрибуты без значений...

https://prnt.sc/1096sc2

[Rassol2]

59 минут назад, skydsl сказал:

попробовал, все равно получаю повторяющийся разделитель и пустые атрибуты без значений...

https://prnt.sc/1096sc2

Собственно тут решение тоже есть.
Интересно оно тем что нужно не использовать разделитель повторяющихся границ парсинга. Такое возможно начиная с 4.2-*_beta
По этому поделюсь решением.

Делаем повторяющуюся границу париснга, где убираем полностью разделитель.
 

Спойлер

При использовании такой границы парсинга, без разделителя, все ответственность по указаннию {csvnc} падает на нас.
Дальше немного хитрости.
 

Спойлер

Первое правило удаляет код, он нам нигде не нужен.
Второе правило вырезает весь атрибут, если в нем нет значения. Вот это самое важное правило, именно оно позволяет все остальное сдережировать.
Третье и четвертое, вырезает аппендициты которые присутствуют только в том случаи если нет значения атрибута. Чисто подчищаем.

Пятое и шестое правило растравляет нужные {csvnc} И расставит оно только в тех границах не правило номер два не вырезало все из за отсуцтвия значений.
Седьмое и восьмое просто наводи порядок, удаляя лишние теги и переносы строк.

Это стало возможно благодаря перестройки системы в версии 4.2 где разделитель теперь нужно проставлять только самим.

[Rassol2]

Внимание!!!
Хочу напомнить всем что с 2021.03.01 цена на модули составит 1960р

[amd4]

2 часа назад, Rassol2 сказал:

Ну комон.
В первом случаи у вас грузится страница категории https://svetavto.com.ua/galogen/   внутри которой есть страницы пагинации. Все попадает под фильтры.
Во втором случаи у вас грузится главная страница https://svetavto.com.ua/

Где есть ссылки на категорию но нет пагинации !! Соответственно ваши фильтры не верны.

 

Не выдумывайте все можно сделать.

Т.е. Верхний  "Шаблон ссылок очереди"   для этого не предназначен?   

Просто насколько  я  помню и понял по видео инструкции и текстовой инструкции оно как раз для этого и предназначено. 

 

И я понимал это так - что в первом случае, что во втором грузится страница категории https://svetavto.com.ua/galogen/ .

Только различие в том, что в первом случае , ставиться принудительно в Стартовой ссылке  одна категория, а во втором , в поле   "Шаблон ссылок очереди" можно поставить их несколько и суть будет одна.  

Не так да? 

 

[Rassol2]

8 минут назад, amd4 сказал:

И я понимал это так - что в первом случае, что во втором грузится страница категории https://svetavto.com.ua/galogen/ .

Только различие в том, что в первом случае , ставиться принудительно в Стартовой ссылке  одна категория, а во втором , в поле   "Шаблон ссылок очереди" можно поставить их несколько и суть будет одна.  

Не так да? 

Как во втором случаи может загрузится страница https://svetavto.com.ua/galogen/ 

Если у вас указан текст начала и конца который ведет на страницы пагинаций которых нет в стартовой ссылке.

https://svetavto.com.ua/

Внимательно подумайте.

[amd4]

48 минут назад, Rassol2 сказал:

Как во втором случаи может загрузится страница https://svetavto.com.ua/galogen/ 

Если у вас указан текст начала и конца который ведет на страницы пагинаций которых нет в стартовой ссылке.

https://svetavto.com.ua/

Внимательно подумайте.

 

Но если вверху я указываю вместо пагинаций главное меню категорий, ( он находит /galogen/). Вопросов тут нет. 

То внизу пагинации не работают. А если указать див-контейнер продуктов , находит 150 товаров (три категории по 50шт на страницу) .

И глубина ссылок не хочет искать остальные страницы. 

При пустых нижних полях парсит с галогена все ссылки с авторизацией, корзиной  и т.д. 

Что я делаю не так. 

Змінено 28 лютого 2021 користувачем amd4

[Rassol2]

1 минуту назад, amd4 сказал:

Но если я указываю вместо пагинаций главное меню категорий, ( он находит /galogen/). Вопросов тут нет. 

То внизу пагинации не работают. А если указать див-контейнер продуктов , находит 150 товаров (три категории по 50шт на страницу) .

И глубина ссылок не хочет искать остальные страницы. 

При пустых нижних полях парсит с галогена все ссылки с авторизацией, корзиной  и т.д. 

Что я делаю не так. 

По слова я вас понять не могу. Но точно знаю что можно достать все.
Если вы где то сделали опечатку и у вас что то не работает но на словах вы думаете что все верно. Не забывайте об это.