[Поддержка] SimplePars - Универсальный парсер для ИМ

[Dmitry76]

1 час назад, Rassol2 сказал:

Я же уже ответил. Обработка и выстановка данных происходит при помощи Js а php не способен интерпретировать Js

 

На данный момент это не достать.

а у этого сайта такая же защита? Ее тоже не обойти?
https://www.mvideo.ru/products/ventilyator-nastolnyi-scarlett-sc-df111s95-20072816

[Dmitry76]

2 часа назад, Rassol2 сказал:

В данном случаи нет так как в коде видно что тут идёт отправка и прием куклы в Js а как оно кодирует непонятно. И куки с браузера не подходят.

Отправлено с телефона через Tapatalk
 

Спойлер

Вот иногда донор все же отдает информацию, а спустя минуту, эту же страницу уже не отдает.

[partshez]

14 часов назад, Rassol2 сказал:

@Dmitry76 Нет в данном случаи пока не обойти.
Нужно иметь обработчик JS кода.
У них присылается код на jscripte который проверяет передавать страницу или отправить на редирект. И так как js обработать нельзя этот цикл будет повторятся.
Пока что это не решить.

А что, планируется и этот вопрос решить? 

[partshez]

Прошу помощь. Нужна регулярка или другое решение.

Есть выражения. ШКАФ ШК-2831-СЯ, или Кровать КР-2855-АС (90х190), или так Шкаф ШК-2831-АС-СЯ

Задача - удалить все после второго знака *-*. Чтобы получить ШКАФ ШК-2831, Кровать КР-2855, Шкаф ШК-2831

Нашел на просторах нашей темы {reg[#^(.*?)-(.*?)$#]}|$1  Но эта регулярка удаляет все после первого дефиса. А мне нужно удалить после второго дефиса.

[Shaer]

подскажите плиз почему парсер постоянно останавливается во время собственно самого парсинга? места на диске много, первые пару тысяч товаров норм спарсилось и началось короткими отрезками по 15-30 товаров и стоп

зы версия парсера последняя 

Змінено 4 вересня 2021 користувачем Shaer

[Flint2000]

@partshez Это топорно и не правильно, но попробуйте {reg[#^(.*?)-(.*?)-(.*?)$#]}|$1-$2

[partshez]

37 минут назад, Flint2000 сказал:

@partshez Это топорно и не правильно, но попробуйте {reg[#^(.*?)-(.*?)-(.*?)$#]}|$1-$2

Спасибо! Получилось

[Axelenz]

2 часа назад, partshez сказал:

Прошу помощь. Нужна регулярка или другое решение.

Есть выражения. ШКАФ ШК-2831-СЯ, или Кровать КР-2855-АС (90х190), или так Шкаф ШК-2831-АС-СЯ

Задача - удалить все после второго знака *-*. Чтобы получить ШКАФ ШК-2831, Кровать КР-2855, Шкаф ШК-2831

Нашел на просторах нашей темы {reg[#^(.*?)-(.*?)$#]}|$1  Но эта регулярка удаляет все после первого дефиса. А мне нужно удалить после второго дефиса.

{reg[#^(.*?)\h+(.*?)-(.*?)( |-)(.*?)$#u]}|$1 $2-$3

Держите, эта регулярка учитывает, что может быть несколько пробелов после ключевого слова, перед моделью. И учитывает, что второй может быть не только дефис, но и пробел может оказаться... 

 

{reg[#^(.*?)\h+(.*?)-(\d{1,})(.*?)$#u]}|$1 $2-$3

а эта будет обрезать не по второму тире, а по последней цифре... пробуйте...

 

Ну и ещё не забывайте о том, что тире бывают разные ) Но далеко не все, кто вручную наполняет сайты догадываются об этом  

 

Спойлер

 

Змінено 4 вересня 2021 користувачем Axelenz

[Rassol2]

5 часов назад, partshez сказал:

А что, планируется и этот вопрос решить? 

Написать десктопный парсер который будет юзать ваш браузер для обработки JS и работать в связке с SimplePars

[Rassol2]

3 часа назад, Shaer сказал:

подскажите плиз почему парсер постоянно останавливается во время собственно самого парсинга? места на диске много, первые пару тысяч товаров норм спарсилось и началось короткими отрезками по 15-30 товаров и стоп

зы версия парсера последняя 

Что в логах, ошибки есть?
Давайте доступ к фтп и админке и я посмотрю что это у вас.

[Rassol2]

3 часа назад, partshez сказал:

Задача - удалить все после второго знака *-*. Чтобы получить ШКАФ ШК-2831, Кровать КР-2855, Шкаф ШК-2831

Вот так правильно, если делать сугубо по тому как вы задали вопрос.
{reg[#(.*?-){2}\K.*#]}|

 

Спойлер

 

[partshez]

Всем Спасибо за помощь!

[kostya242]

Не обновляет тег title! Следующие настройки сделаны:

 

Спойлер

 

 

В момент обновления обновляется только description и н1. А в title вообще название товара отсекается и остается только приставка, вот:

 

Спойлер

 

Также включено вот это:

 

 

Спойлер

 

Змінено 5 вересня 2021 користувачем kostya242

[Rassol2]

23 минуты назад, kostya242 сказал:

Не обновляет тег title! Следующие настройки сделаны:

Вы уверены что вы туда смотрите ?
Пожалуйста максимально внимательно посмотрите логи и убедитесь что вы все верно смотрите, так как именно технически это не может быть.
А именно.
Что дескрипшин, что title обновляется именно одним запросом. То есть одновременно.
 

[Shaer]

17 часов назад, Rassol2 сказал:

Что в логах, ошибки есть?
Давайте доступ к фтп и админке и я посмотрю что это у вас.

2021-09-05 14:29:00| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://www.////////
2021-09-05 14:29:00| !->[Товар Не создан/Не обновлен] : Не спарсен идентификатора товара, sku | По ссылке https://www.//////////

 

вот типичный лог

еще заметил что 100% останвливается процесс если уйти с вкладки браузера или открыть какюнить програмку на компе, но и без этого стопорится все

[Rassol2]

1 минуту назад, Shaer сказал:

вот типичный лог

еще заметил что 100% останвливается процесс если уйти с вкладки браузера или открыть какюнить програмку на компе, но и без этого стопорится все

То что вы описываете похоже на ситуацию когда браузер выгружает вкладку из памяти.
Для того что бы ручном режиме работал парсинг нужно что бы вкладка была активной. Не обязательно на нее смотреть, но если браузер её выгружает для освобождения ресурсов то парсинг остановится.
Это не совсем вопрос к парсеру.

А если парсинг останавливается просто когда вы смотрите на него, тогда нажмите F12 и посмотрите вкладку консоль, если там будет много текта красным цветом, то это какая то ошибка и нужен доступ что бы определить.
А если просто перестанут идти запросы, то тут вопрос к браузеру и как он работает с ресурсами.
 

[Shaer]

7 минут назад, Rassol2 сказал:

То что вы описываете похоже на ситуацию когда браузер выгружает вкладку из памяти.

 

я с двух компов работаю, с разных операционок затестил штук пять браузеров

ошибок не выдает в консоли, только логи. но они да, розовенькие: status: "go", msg: "произвдится парсинг"

 

Змінено 5 вересня 2021 користувачем Shaer

[Rassol2]

Только что, Shaer сказал:

я с двух компов работаю, с разных операционок затестил штук пять браузеров

ошибок не выдает в консоли, только логи. но они да, розовенькие

 

вы отвечаете максимально не понятно. Но уверен если в логах была бы ошибка вы бы это точно поняли.
Значит у вас все зависает именно по причине того что вкладка выгружается из браузера и прекрашает свою работу.

Рекомендую использовать крон что бы работа шла в независимости от вас и вашей вкладки.

[Malciska]

В 02.09.2021 в 19:43, Igor112 сказал:

Файл лога по адресу /admin/error_log забивает в ноль место на хостинге записями вида:

[01-Sep-2021 23:00:17 Europe/Minsk] PHP Warning:  feof() expects parameter 1 to be resource, boolean given in /.../admin/model/catalog/simplepars.php on line 11522
[01-Sep-2021 23:00:17 Europe/Minsk] PHP Warning:  fgets() expects parameter 1 to be resource, boolean given in /.../admin/model/catalog/simplepars.php on line 11523

По этому адресу функция и комментарий к ней:

//фунция генератор, для чтения файла построчно. 

 

Подскажите пожалуйста в чём может быть дело? 

 

У меня похожая ситуация была, но я выяснил причину вроде.. 

 

У меня был настроен проект и потом я стер категорию. А в проекте осталась настройка на категорию добавление товара в стертую категорию .. вот и появлялась  похожая ошибка. 

[Rassol2]

1 минуту назад, Malciska сказал:

У меня похожая ситуация была, но я выяснил причину вроде.. 

 

У меня был настроен проект и потом я стер категорию. А в проекте осталась настройка на категорию добавление товара в стертую категорию .. вот и появлялась  похожая ошибка.

Эмм, наврядли это одно и тоже так как тут ошибка доступа к файлу на диске.
А если быть точным тут сбой доступа к чтению файла с диска, так же там был обнаружен сбой записи файлов на диск.

Это никак не может быть связанно с категориями, это разные вселенные. Как то так.

[Shaer]

скорее всего проблема в куке, во всяком случае предупреждение висит в консоли, спс за наводку а то у мну уже глаз замылился

Змінено 5 вересня 2021 користувачем Shaer

[Rassol2]

Только что, Shaer сказал:

скорее всего проблема в куке, во всяком случае предупреждение висит в консоли

Да может быть остановка если сессия на хостинге умирает.
Это происходит примерно раз в 20 минут, но как правило если ничего не делать тогда да.
Но поскольку страница браузера общается с сервером там сессия не должен умирать.

Если есть возможность указать в настройках сервера больше времени сессии что бы вы как администратор оставались авторизованными в админке и продолжалась работа.

Вообще проблем с жизнью сессий не слышал уже года полтора наверное.

[kostya242]

1 час назад, Rassol2 сказал:

Вы уверены что вы туда смотрите ?
Пожалуйста максимально внимательно посмотрите логи и убедитесь что вы все верно смотрите, так как именно технически это не может быть.
А именно.
Что дескрипшин, что title обновляется именно одним запросом. То есть одновременно.

 

Я понимаю что они обновляются одновременно. Что это значит у донора подскажите

 

Спойлер

 

[Rassol2]

3 часа назад, kostya242 сказал:

 
Я понимаю что они обновляются одновременно. Что это значит у донора подскажите
 
Спойлер
 

Это не у донора проблема а у вас.
С вашего хостинга не получается при конектится к донору из-за ошибки сертификатов. Можете написать в поддержку хостинга чтобы проверили работу курл.

Отправлено с телефона через Tapatalk
 

[kostya242]

Только что, Rassol2 сказал:

Это не у донора проблема а у вас.
С вашего хостинга не получается при конектится к доллару из-за ошибки сертификатов. Можете написать в поддержку хостинга чтобы проверили работу курл.

 

Уменьшил количество потоков, сделал задержку в 2 секунды - заработало. Но что-то странное случилось, придётся в любом случае писать в поддержку хостеру.