Rassol2
-
Posts
11,656 -
Joined
-
Last visited
Content Type
Profiles
Forums
Marketplace
Articles
FAQ
Our New
Store
Blogs
module__dplus_manager
Everything posted by Rassol2
-
То что вы описываете похоже на ситуацию когда браузер выгружает вкладку из памяти. Для того что бы ручном режиме работал парсинг нужно что бы вкладка была активной. Не обязательно на нее смотреть, но если браузер её выгружает для освобождения ресурсов то парсинг остановится. Это не совсем вопрос к парсеру. А если парсинг останавливается просто когда вы смотрите на него, тогда нажмите F12 и посмотрите вкладку консоль, если там будет много текта красным цветом, то это какая то ошибка и нужен доступ что бы определить. А если просто перестанут идти запросы, то тут вопрос к браузеру и как он работает с ресурсами.
-
Вы уверены что вы туда смотрите ? Пожалуйста максимально внимательно посмотрите логи и убедитесь что вы все верно смотрите, так как именно технически это не может быть. А именно. Что дескрипшин, что title обновляется именно одним запросом. То есть одновременно.
-
Вот так правильно, если делать сугубо по тому как вы задали вопрос. {reg[#(.*?-){2}\K.*#]}|
- 13,430 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Что в логах, ошибки есть? Давайте доступ к фтп и админке и я посмотрю что это у вас.
- 13,430 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Написать десктопный парсер который будет юзать ваш браузер для обработки JS и работать в связке с SimplePars
- 13,430 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Я же уже ответил. Обработка и выстановка данных происходит при помощи Js а php не способен интерпретировать Js На данный момент это не достать.
-
В данном случаи нет так как в коде видно что тут идёт отправка и прием куклы в Js а как оно кодирует непонятно. И куки с браузера не подходят. Отправлено с телефона через Tapatalk
-
Не знаю. Я не наблюдал за этим донором. Отправлено с телефона через Tapatalk
-
@Dmitry76 Нет в данном случаи пока не обойти. Нужно иметь обработчик JS кода. У них присылается код на jscripte который проверяет передавать страницу или отправить на редирект. И так как js обработать нельзя этот цикл будет повторятся. Пока что это не решить.
-
И уже прям сразу вижу что они через js выставляют вам куки и затем отправляют на перезагрузку страницы. Вот в этом и загадка. Если смогу разгадать что они прописывают туда тогда можно будет обойти. Но это уже своего рода зашита.
-
Ну да.
-
Кидайте сюда ссылку будет время гляну.
-
Вот так. Только тут описано куки для авторизации, а вам все. https://simplepars.top/index.php?page=note&n=29 Или в видео я показывал тоже когда это касалось авторизации. Метод переноса такой же.
-
В данном случаи сайт донор вас перенаправляет куда то. И у вас включены редиректы. Вы можете выключить редиректы что бы вас не перенаправляло, и включить просмотр заголовков что бы увидить что донор отдает. Но по опыту могу сказать что скорее всего донор видит что у вас нет ПРАВИЛЬНЫХ кук, выставляет их и делает редирект, а поскольку куки отключены процесс повторяется до бесконечности. И кстати это может быть не связано с отключенными куками, а с тем что они выставляются JS скриптом, такое тоже может быть. Я бы попробовал перенести куки с браузера в модуль.
-
Ну банят то не вас, а сайт с которого запросы. Попробуйте с демо сайта. Если то же самое, значит они ввели какую то систему проверки запросов. Могут к примеру отправлять куки. Покажите результат запроса, покажите логи, что бы понимать о чем речь.
-
Вас могли просто забанить. И все запросы с ip вашего хостинга банить. А что происходит нужно понимать от талкиваясь от логов. Если запрос успешен но нет данных, то вас как то определили. Если используете прокси запрос упешен а кода нет, значит могут определять по куками. Так же помните что никто не гарантирует что ваши прокси как публичные дано не находятся в блек листе хостинга. Вы к примеру можете открыть демой сайт модуля и там отправить запрос для понимания.
-
Не обязательно. Это уже можно делать через логический опретор или {|} И он кстати боле в приоритете. Операторы группы {if} Больше подходят в том случаи если вам нужно проверить значение границы на соответствие какому то конкретному значению, либо значению из другой границы. Допустим. {if[{gran_1}{>}10]}{gran_1}{else}{gran_2} - Использовать первую границу париснга если она больше 10 в противном случаи брать то что стоит в границе два. Сложная конструкция и редко кому будет нужна, по этой же причине она вынесено отдельной статьей.
-
Это можно сделать через логические опреторы. {gran_1}{|}{gran_2} Если граница 1 пустая или равна 0 берется вторая. Подробнее здесь. https://simplepars.top/index.php?page=note&n=33
- 13,430 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
удалите файл лога, и точно проверьте когда он появляется у вас, при каких обстоятельствах.
-
Здравствуйте. В модуле нет возможности парсить опции с артикулами. Да и доноров где у опции есть артикул по рукам пересчитать можно.
-
Я уже заметил что если задание на крон устанавливаются не через wget то на некоторых хостингах есть сбой корневой директории. А из за этого не может найти файлы. Пока еше не думал как это решить так что бы директория на разных хостингах определялась верно, но в вашему случаи будет достаточно просто поменять задание крон на такое. /usr/bin/wget -O - -q -t 1 http://Ваш_сайт/admin/sp_cron.php Так же написано в инструкции. Это тоже самое что и ваша команда которая вызывает скрипт в консоли php, только тут идет вызов через веб сервер так же как и вручную. И поскольку после первой итерации модуль себя перевызывает все равно через веб сервер, такой решение пока самое логичное.
-
Какая версия модуля у вас ? Строчки записываются туда при работе через крон или ручной запуск ?
-
Это сильно сложно пока что. Да и почти в любом месте вы можете либо использовать границу парсинга либо свой любой текст. Либо в вперемешку. Считайте что само поле и есть переменная, и в неё вы помешаете значение в зависимости от необходимости.
- 13,430 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Это записал себе в задание на реализацию.
- 13,430 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
По поводу округления подумаю. Нужно будет добавить.
