Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

@farshmac В ближайшие время я хочу сделать в редакторе товаров отдельно блок с техническими заданиями.
По типу очистить логи модуля.
Или очистить кеш проекта.

Что бы можно было создать шаблон и применять его в кроне.
Допустим сделать что перед началом парсинга модуль выполняет задание по очистке логов. И очистке кеша страниц.

А в момент парсинга заново создает кеш и логи.

И если так сделать то модуль сам все обновляет, и при этом у вас будет удобная возможность почитать что делается. И при необходимости используя свежий кеш что то подправить вручную .

  • +1 3
Надіслати
Поділитися на інших сайтах

Внимание!!!
Хочу напомнить всем что с 2021.03.01 цена на модули составит 1960р

  • +1 1
Надіслати
Поділитися на інших сайтах

Я опять со свей проблемой. 

Вот если я в бане, то по идее у меня не должно быть доступа к сайту донору, но беру ссылку на конкретную позицию с сайта и прописываю ее в настройках парсинга, страница парсится вроде как. но пишет, 

Цитата
  1. НЕУДАЧНЫЙ ЗАПРОС!!!
  2. Код ответа = 28
  3. Текст ответа = Connection timed out after 15005 milliseconds
  4. Ссылка = https://h-d.by/index.php?route=product/product&path=66&product_id=129657
  5. Больше информации можно получить в логах модуля SimplePars

Так в бане или нет? Через обработчик XML вообще не загружает, пробовал увеличивать время обработки в настройках, не помогает. 

Надіслати
Поділитися на інших сайтах


25 минут назад, Stin сказал:

Я опять со свей проблемой. 

Вот если я в бане, то по идее у меня не должно быть доступа к сайту донору, но беру ссылку на конкретную позицию с сайта и прописываю ее в настройках парсинга, страница парсится вроде как. но пишет, 

Так в бане или нет? Через обработчик XML вообще не загружает, пробовал увеличивать время обработки в настройках, не помогает. 

и что вы не видите что сайт донор вам отвечает тоже самое.
На этот вопрос я вам уже дал ранее ответ.

Что поменялось с того моего ответа ?

Надіслати
Поділитися на інших сайтах

@Stin Я вам в сегодня уже дал ответ на этот вопрос.
 

Спойлер

L6tS2R1.png


И вы снова пишите вопрос по той же самой ситуации.
 

Спойлер

zAGCwdE.png


Это один и тот же ответ от донора.
Просто вы смотрите на него в разных местах.
1. в логе.
2. В коде сайта. (Тут модуль делает такое же сообщение что бы вы сразу понимали почему код страницы не выводится.)

Надіслати
Поділитися на інших сайтах

42 минуты назад, Stin сказал:

 

Вероятность бана 99 процентов. Читайте инструкции и пробуйте все варианты. Выше я писал. Куки, заголовки, авторизация. Модуль имеет для этого большой функционал.

Возьмите бесплатные прокси. Попробуйте так обойти блокировку. 

Если есть возможность, настройте парсинг с другого сервера. Например, сайт друга. 

Так поймете. Это бан Вашего сервера или другая причина

Или попросите сделать это других людей на Вашем сайте за чашечку кофе

Змінено користувачем partshez
Надіслати
Поділитися на інших сайтах


Здравствуйте!
После настройки прокси парсинга, столкнулись со странной проблемой.
Существует граница парсинга, отвечающая за изображения. На странице отладки границ парсинга, ссылка на изображение выводится правильно (можно убедиться, открыв её в адресной строке и получив изображение). Но несмотря на это, на странице парсинга в ИМ изображение не отображается, его тег имеет вид <img src="../image/catalog/SPshow/d78ec0ac0944061464cba033c94fda57.jpg"> .. При отработке парсинга в ИМ товары, естественно, грузятся без изображений. В чем может быть причина?
Версия ocStore 2.3.0.2.3

Версия SimplePars v3.7-7

Надіслати
Поділитися на інших сайтах


Доброго дня! 

Что то не могу понять, 

1.Стартовая ссылка прописана с одной категорией . Например https://svetavto.com.ua/galogen/ 

2.В верху, в полях сбора ссылок "Текст начала сбора" и "Текст конца сбора"  прописано пагинация на все страницы.

3.Внизу, в полях фильтрация,  В Тексте начала сбора и конца сбора привязан контейнер всех товаров на одной странице. 

Так одну категорию парсит. все хорошо. 

 

 

1.Меняешь стартовую ссылку на главную https://svetavto.com.ua

2.В  поле сбора ссылок, В "Шаблоне ссылок очереди" (где напротив И ИЛИ) , прописываешь эту  категорию /galogen. 

3.Пагинацию страниц и контейнер всех товаров. В "Текст начала сбора" и "Текст конца сбора" в верхнем и нижнем поле не трогаешь. 

 Ничего не парсит, Вообще ничего.  

 

Убираешь внизу в фильтрации сылок,  В "Текст начала сбора" и "Текст конца сбора" ,  блок  всех товаров на одной странице, парсит абсолютно все ссылки в том числе авторизация и все категории не обращая внимания на /galogen. 

 

 

Так разве принудительно прописав нужные категории в поле сбора ссылок , спарсить нельзя ? Только создавать для каждой категории новый проект , так что ли ?

 



2112092956_.thumb.jpg.56c6955cf812486017af9f9ef322df39.jpg

Змінено користувачем amd4
Надіслати
Поділитися на інших сайтах


В 26.02.2021 в 20:45, sws сказал:

при старте парсинга обработка идёт, но папка product не создаётся и фото туда не грузит. Что может быть? Мне нужно только фото под названием артикула и всё.

 

Надіслати
Поділитися на інших сайтах


43 минуты назад, sws сказал:

 

Преустановите модуль. Проверьте права на этой папке. Проверьте настройки модуля. В Предпросмотре фото товара видны? В отладочной информации на вкладке Изображения по ссылкам фото открываются?

Надіслати
Поділитися на інших сайтах


Помогите пожалуйста с функцией поиск и замена, есть поставщик у которого есть выгрузка, но выгрузке иногда у атрибута нет значения, и после обработки получаю повторяющиеся разделители {csvnc}{csvnc}{csvnc}, соответственно на предпросмотре все "едет".

https://prnt.sc/1094m6z 

Надіслати
Поділитися на інших сайтах


1 час назад, skydsl сказал:

Помогите пожалуйста с функцией поиск и замена, есть поставщик у которого есть выгрузка, но выгрузке иногда у атрибута нет значения, и после обработки получаю повторяющиеся разделители {csvnc}{csvnc}{csvnc}, соответственно на предпросмотре все "едет".

https://prnt.sc/1094m6z 

Оствить два преобразования в разделитель. Остальные правила удалить. И добавить правило удаления всех тегов

Надіслати
Поділитися на інших сайтах


10 часов назад, Dash_ei сказал:

Здравствуйте!
После настройки прокси парсинга, столкнулись со странной проблемой.
Существует граница парсинга, отвечающая за изображения. На странице отладки границ парсинга, ссылка на изображение выводится правильно (можно убедиться, открыв её в адресной строке и получив изображение). Но несмотря на это, на странице парсинга в ИМ изображение не отображается, его тег имеет вид <img src="../image/catalog/SPshow/d78ec0ac0944061464cba033c94fda57.jpg"> .. При отработке парсинга в ИМ товары, естественно, грузятся без изображений. В чем может быть причина?
Версия ocStore 2.3.0.2.3

Версия SimplePars v3.7-7

Причин может быть много, скидывайте файл настроек и я посмотрю.
Всегда начинайте поиск ответа изучая логи модуля.

Надіслати
Поділитися на інших сайтах

7 часов назад, amd4 сказал:

1.Меняешь стартовую ссылку на главную https://svetavto.com.ua

2.В  поле сбора ссылок, В "Шаблоне ссылок очереди" (где напротив И ИЛИ) , прописываешь эту  категорию /galogen. 

3.Пагинацию страниц и контейнер всех товаров. В "Текст начала сбора" и "Текст конца сбора" в верхнем и нижнем поле не трогаешь. 

 Ничего не парсит, Вообще ничего.  

Ну комон. :-(
В первом случаи у вас грузится страница категории https://svetavto.com.ua/galogen/   внутри которой есть страницы пагинации. Все попадает под фильтры.
Во втором случаи у вас грузится главная страница https://svetavto.com.ua/

Где есть ссылки на категорию но нет пагинации !! Соответственно ваши фильтры не верны.

 

7 часов назад, amd4 сказал:

Так разве принудительно прописав нужные категории в поле сбора ссылок , спарсить нельзя ? Только создавать для каждой категории новый проект , так что ли ?

Не выдумывайте все можно сделать.

Надіслати
Поділитися на інших сайтах

2 часа назад, sws сказал:

 

Просто так не может не работать. Модуль он не человек он не может сегодня решить что то не делать по собственному желанию

Смотрим логи что там написано ?
 

Надіслати
Поділитися на інших сайтах

1 час назад, skydsl сказал:

Помогите пожалуйста с функцией поиск и замена, есть поставщик у которого есть выгрузка, но выгрузке иногда у атрибута нет значения, и после обработки получаю повторяющиеся разделители {csvnc}{csvnc}{csvnc}, соответственно на предпросмотре все "едет".

https://prnt.sc/1094m6z 

Напишите мне в личку где приобретали модуль, и скиньте файл настроек я вам настрою атрибуты.

Надіслати
Поділитися на інших сайтах

15 минут назад, partshez сказал:

Оствить два преобразования в разделитель. Остальные правила удалить. И добавить правило удаления всех тегов

попробовал, все равно получаю повторяющийся разделитель и пустые атрибуты без значений...

https://prnt.sc/1096sc2

Надіслати
Поділитися на інших сайтах


59 минут назад, skydsl сказал:

попробовал, все равно получаю повторяющийся разделитель и пустые атрибуты без значений...

https://prnt.sc/1096sc2

Собственно тут решение тоже есть.
Интересно оно тем что нужно не использовать разделитель повторяющихся границ парсинга. Такое возможно начиная с 4.2-*_beta
По этому поделюсь решением.

Делаем повторяющуюся границу париснга, где убираем полностью разделитель.
 

Спойлер

budsQlW.png


При использовании такой границы парсинга, без разделителя, все ответственность по указаннию {csvnc} падает на нас.
Дальше немного хитрости.
 

Спойлер

F77X6dw.png

Первое правило удаляет код, он нам нигде не нужен.
Второе правило вырезает весь атрибут, если в нем нет значения. Вот это самое важное правило, именно оно позволяет все остальное сдережировать.
Третье и четвертое, вырезает аппендициты которые присутствуют только в том случаи если нет значения атрибута. Чисто подчищаем.


Пятое и шестое правило растравляет нужные {csvnc} И расставит оно только в тех границах не правило номер два не вырезало все из за отсуцтвия значений.
Седьмое и восьмое просто наводи порядок, удаляя лишние теги и переносы строк.

Это стало возможно благодаря перестройки системы в версии 4.2 где разделитель теперь нужно проставлять только самим. :wink:

Надіслати
Поділитися на інших сайтах

Внимание!!!
Хочу напомнить всем что с 2021.03.01 цена на модули составит 1960р

  • +1 1
Надіслати
Поділитися на інших сайтах

2 часа назад, Rassol2 сказал:

Ну комон. :-(
В первом случаи у вас грузится страница категории https://svetavto.com.ua/galogen/   внутри которой есть страницы пагинации. Все попадает под фильтры.
Во втором случаи у вас грузится главная страница https://svetavto.com.ua/

Где есть ссылки на категорию но нет пагинации !! Соответственно ваши фильтры не верны.

 

Не выдумывайте все можно сделать.

Т.е. Верхний  "Шаблон ссылок очереди"   для этого не предназначен?   

Просто насколько  я  помню и понял по видео инструкции и текстовой инструкции оно как раз для этого и предназначено. 

 

И я понимал это так - что в первом случае, что во втором грузится страница категории https://svetavto.com.ua/galogen/ .

Только различие в том, что в первом случае , ставиться принудительно в Стартовой ссылке  одна категория, а во втором , в поле   "Шаблон ссылок очереди" можно поставить их несколько и суть будет одна.  

Не так да? 

 

Надіслати
Поділитися на інших сайтах


8 минут назад, amd4 сказал:

И я понимал это так - что в первом случае, что во втором грузится страница категории https://svetavto.com.ua/galogen/ .

Только различие в том, что в первом случае , ставиться принудительно в Стартовой ссылке  одна категория, а во втором , в поле   "Шаблон ссылок очереди" можно поставить их несколько и суть будет одна.  

Не так да? 

Как во втором случаи может загрузится страница https://svetavto.com.ua/galogen/ 

Если у вас указан текст начала и конца который ведет на страницы пагинаций которых нет в стартовой ссылке.

https://svetavto.com.ua/


Внимательно подумайте.

Надіслати
Поділитися на інших сайтах

48 минут назад, Rassol2 сказал:

Как во втором случаи может загрузится страница https://svetavto.com.ua/galogen/ 

Если у вас указан текст начала и конца который ведет на страницы пагинаций которых нет в стартовой ссылке.

https://svetavto.com.ua/


Внимательно подумайте.

 

Но если вверху я указываю вместо пагинаций главное меню категорий, ( он находит /galogen/). Вопросов тут нет. 

То внизу пагинации не работают. А если указать див-контейнер продуктов , находит 150 товаров (три категории по 50шт на страницу) .

И глубина ссылок не хочет искать остальные страницы. 

При пустых нижних полях парсит с галогена все ссылки с авторизацией, корзиной  и т.д. 

Что я делаю не так. 

Змінено користувачем amd4
Надіслати
Поділитися на інших сайтах


1 минуту назад, amd4 сказал:

Но если я указываю вместо пагинаций главное меню категорий, ( он находит /galogen/). Вопросов тут нет. 

То внизу пагинации не работают. А если указать див-контейнер продуктов , находит 150 товаров (три категории по 50шт на страницу) .

И глубина ссылок не хочет искать остальные страницы. 

При пустых нижних полях парсит с галогена все ссылки с авторизацией, корзиной  и т.д. 

Что я делаю не так. 

По слова я вас понять не могу. Но точно знаю что можно достать все.
Если вы где то сделали опечатку и у вас что то не работает но на словах вы думаете что все верно. Не забывайте об это.

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.