[Поддержка] SimplePars - Универсальный парсер для ИМ

[Reanimaster]

В 23.07.2021 в 09:26, Rassol2 сказал:

Редирект не является ошибкой.

Я понимаю. Но получается что парсер бессилен в случае редиректов и это никак нельзя отловить.

В таком случае, как насчет того, что бы добавить еще один пункт Уведомления или Предупреждения, и писать туда не ошибки, а все что не 200?

[Reanimaster]

В 23.07.2021 в 09:35, Rassol2 сказал:

а тем боле дополнительными действиями по сопровождению индоксов.

1) Построение индексов достаточно быстрое.

 

В 23.07.2021 в 09:35, Rassol2 сказал:

Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете будет уделатать в никуда.

Да. Но тут же и пересоздать индексы. Я говорю о той части, когда ссылки уже спаршены и нужно с ними работать.

 

А по поводу ошибок или не ошибок. Ну вот смотрите.
 

Спойлер

 

 

Спойлер

 

 

Вот как понять что и почему не спарсилось?

[Reanimaster]

Подождите. Так ID ведь есть в таблице.

Тогда просто индексы создавать и обрабатывать массив по ID а не просто ссылки. И ничего раздувать не нужно)
 

Спойлер

 

[Rassol2]

2 минуты назад, Reanimaster сказал:

Подождите. Так ID ведь есть в таблице.

Тогда просто индексы создавать и обрабатывать массив по ID а не просто ссылки. И ничего раздувать не нужно)
 

  Показать контент

 

Я понял, зря я эту тему поднял, объяснения проходят мимо
Сделайте, пришлете мне, и я внесу в основную ветку модуля.
Вот когда коснетесь этого вопроса на том же уровне что я, поймете что я имел в виду.

То же самое касается редиректор, модуль не бессилен. Ему все равно на них потому что это стандартная веши в вебе.
не нравятся редиректы хотите их метить ок не вопрос.
Включаем парсит заголовки. Ставим границу париснга на заголовок, если там 301 или 302 в собственном скрипте отправляем запрос
Обновить ссылку в таблице и установить в поле error значение 301 или 302 и будут у вас собственные ошибки.
И они все будут доступны тут

Спойлер

Так же тут.

Вопрос редиректов можно считать закрытым. Все возможно 3 строчки кода и вы сделайте то что вам нужно.


 

[Rassol2]

@Reanimaster Вот так по аналогии, отправите sql запрос на добавления в ссылку вот сюда ваш код.
 

Спойлер

И все все редиректы учтены и добавлены в отдельный список.

[Reanimaster]

В 23.07.2021 в 10:05, Rassol2 сказал:

Вопрос редиректов можно считать закрытым. Все возможно 3 строчки кода и вы сделайте то что вам нужно.

Понял. Спасибо.

[Reanimaster]

В 23.07.2021 в 10:05, Rassol2 сказал:

Я понял, зря я эту тему поднял, объяснения проходят мимо

Вы не правы. То что мы дискуссируем, не значит что я вас не слышу. Просто я любознательный))
Ни в коем случае не хотел расстроить вас.

[Rassol2]

Только что, Reanimaster сказал:

Вы не правы. То что мы дискуссируем, не значит что я вас не слышу. Просто я любознательный))
Ни в коем случае не хотел расстроить вас.

Нет это как раз не слышите.
Я вам 10 рас сказал что редирект это нормальное поведение веба, а вы пишите что модуль бессилен перед редиректор.

Ладно не хочу больше тратить свое время.
Луче кодить пойдут.

[Reanimaster]

В 23.07.2021 в 10:16, Rassol2 сказал:

Я вам 10 рас сказал что редирект это нормальное поведение веба, а вы пишите что модуль бессилен перед редиректор.

 

Да я просто пишу о том, что мне и уверен не только мне нужно как то понять почему товар не парсится. Если это редирект, то либо переходить по редиректу, либо писать куда то список откуда=>куда. 
Ибо приходится доставать все ссылки, гнать через Seo Screaming Frog, фильтровать, заменять на те, куда средиректило.

Напомнило сейчас как я предложить скачивать WGET файлы и заливать на FTP. Меня не поняли. Ладно. Но в этой ситуации я не соглашусь.
Я не о вебе говорю, а о функционале парсера. Парсинг - это вообще не правильно для веба - но он есть. Поэтому что правильно, а что нет - разговоры сугубо о "вечном".
У меня насущная проблема.

Если мой подход не верный - может быть. Сделайте по своему, но я думаю людям это нужно, даже если они и не знают об этом.
Я уверен что после этого диалога людей, который после парсинга сравнивают количество ссылок и фактически залитого товара - возрастет

[Rassol2]

8 минут назад, Reanimaster сказал:

Да я просто пишу о том, что мне и уверен не только мне нужно как то понять почему товар не парсится. Если это редирект, то либо переходить по редиректу, либо писать куда то список откуда=>куда. 

В логах можно посмотреть почему.
Можно сделать допуск к странице по признаку. В том числе и по ответу сервера. И тоже прекрасно видно почему.
А еше можно включить переход по редиректам внастройках запросов и модуль сам перейдет туда куда его направили.
Так же не заметно как это делает ваш браузера.
 

8 минут назад, Reanimaster сказал:

Ибо приходится доставать все ссылки, гнать через Seo Screaming Frog, фильтровать, заменять на те, куда средиректило.

Делайте так, а мне проше включить в модуле переход по редиректами. И я вообще никогда на это не обращаю внимание, и знать не знаю где они есть где нет.
Все работает, а был там редирект или нет какая мне разница.
 

Спойлер

 

8 минут назад, Reanimaster сказал:

Напомнило сейчас как я предложить скачивать WGET файлы и заливать на FTP. Меня не поняли. Ладно. Но в этой ситуации я не соглашусь.

Не соглашайтесь.
Делайте как вам удобно. А у меня просто включенные редиректы в функции от 2019 года в модуле, и я про это никогда не задумывался.

Но для вас я уже написал решение, собственный скрипт в 3 строчки, будет метить все ссылки значениями редиректов. И у вас будут свои уникальные "Ошибки" 301 и 302 интегрированные сразу в логику модуля.
Так что ваша боль тоже решена.

[Reanimaster]

В 23.07.2021 в 10:32, Rassol2 сказал:

Делайте так, а мне проше включить в модуле переход по редиректами

Пи****ц. Пол диалога просто в воздух.

Каюсь. Я честно не обращал внимание на эту функцию.

[Rassol2]

1 минуту назад, Reanimaster сказал:

Пи****ц. Пол диалога просто в воздух.

Каюсь. Я честно не обращал внимание на эту функцию.

Вот это действительно обидно ))
Ну ладно хорошо что нашли.

Надеюсь она вам поможет

[Reanimaster]

В 23.07.2021 в 10:43, Rassol2 сказал:

Вот это действительно обидно ))

А мне как)))

Подскажите пожалуйста

oc_pars_link
oc_pars_sen_link

Как работают?

Во вторую таблицу копируются ссылки проекта и удаляются по мере парсинга?

Змінено 23 липня 2021 користувачем Reanimaster

[Rassol2]

9 минут назад, Reanimaster сказал:

А мне как)))

Подскажите пожалуйста

oc_pars_link
oc_pars_sen_link

Как работают?

Во вторую таблицу копируются ссылки проекта и удаляются по мере парсинга?

oc_pars_link - ссылки на товар.
oc_pars_sen_link - ссылки очереди сканирования.

[Reanimaster]

В 23.07.2021 в 10:57, Rassol2 сказал:

oc_pars_sen_link - ссылки очереди сканирования.

Спасибо. Я сейчас очередную идею опишу, а от вас критика))

Как сделать возможным указать стартовый номер парсинга.

Есть таблица oc_pars_link
1)Получаем список ссылок проекта с сортировкой во возрастанию

 

Спойлер

2) Количество у вас и так определяется, пока не смотрел как, но я думаю так же как на скрине.

3) Пишем куда нибудь стартовый номер массива ссылок.

4) Примерно так выполняем запрос. По умолчанию 1 ссылка это и так первый ID в массиве

$links = $this->db->query("SELECT * FROM " . DB_PREFIX . "pars_sen_link WHERE scan = 1 AND `dn_id`=".(int)$dn_id." ORDER BY id ASC LIMIT 0,5");

$links = $this->db->query("SELECT * FROM " . DB_PREFIX . "pars_sen_link WHERE scan = 1 AND `dn_id`=".(int)$dn_id." AND `id` >= /*ПЕРВЫЙ ID ИЗ МАССИВА, ЗАПИСАЛИ РАНЕЕ*/ ORDER BY id ASC LIMIT 0,5");

 

5) По ходу парсинга пишем куда нибудь ID ссылки которая обработана. Получится что в переменной всегда будет последний ID обработанной ссылки.

6) При помощи первой переменной можно указать старт, откуда начинать.

[Rassol2]

@Reanimaster Критика.
1. Это напрочь ломает вывод спарсинных ссылок и не спарсенных.
2. Напрочь ломает подсчет времени выполнения скрипта.
3. мы создаем целую инфраструктуру по указанию стартовой ссылки, записываем ее в базу, модуль считывает ее и исходя из позиции делает выборку в базу нужных ссылок, и отправляет на парсинг.
 

А потом вы нажимаете сохранить вот тут.
 

Спойлер

И все сделанное выше идет лесом, потому что индексы меняются, и вся поднятая инфраструктура не имеет смысла.
На данном этапе этого не будет в модулем.

Хотите я вам скажу что это можно сделать через собственные скрипты ?
Выбираете выполнять перед парсингом, указываете в скрипте отметить ссылки просканированными все до определенного id
Это поменять значение scan и вот уже при старте модуль всегда отмечает все ссылки просканированными до той что вам нужно, а с нее начинает фигачить.

Все в ваших руках, осваивайте инструмент и извращайтесь как вам будет угодно.

[Reanimaster]

В 23.07.2021 в 11:17, Rassol2 сказал:

Хотите я вам скажу что это можно сделать через собственные скрипты ?

)))

Ну в таком случае, было бы больше готовых примеров скриптов - было бы лучше))

Ладно. Последняя хотелка. Добавить поле - ссылка на товар у донора. Код дам если что)

 

Спойлер

 

 

Спойлер

 

[Rassol2]

5 минут назад, Reanimaster сказал:

Ну в таком случае, было бы больше готовых примеров скриптов - было бы лучше))

Ладно. Последняя хотелка. Добавить поле - ссылка на товар у донора. Код дам если что)

Нет этого не будет.
Я не пишу модуль под вас.

 

Есть кучу полей в opencart в которые можно засунуть ссылку. И это будет более орагинчно даже если прийдется поменять размер поля в таблице.
Но вот так брать и всем навязывать такой подход нет, этого не будет.

Может когда то появится в виде адаптации под какой то модуль, но сейчас можно запихнуть ссылку куда то в Location

[Reanimaster]

В 23.07.2021 в 11:30, Rassol2 сказал:

Может когда то появится в виде адаптации под какой то модуль, но сейчас можно запихнуть ссылку куда то в Location

 

Я просил адаптацию под модуль CostPrice "зеленого" ресурса. Он куда более гибкий и функциональный чем местный. Но вы отказались. Именно с него я и сделал для себя такой модификатор.

[Rassol2]

1 минуту назад, Reanimaster сказал:

 

Я просил адаптацию под модуль CostPrice "зеленого" ресурса. Он куда более гибкий и функциональный чем местный. Но вы отказались. Именно с него я и сделал для себя такой модификатор.

Так уш вышло что среди пользователей он не популярен.

По этому адаптация была под более популярный модуль.

[Reanimaster]

В 23.07.2021 в 11:50, Rassol2 сказал:

Так уш вышло что среди пользователей он не популярен.

Это потому что он нем на знают, так как его нет на этом "любимом" форуме. Политику не прошел я думаю. Но он лучше. Могу дать - сами посмотрите, насколько он функциональнее.

[Rassol2]

Только что, Reanimaster сказал:

Это потому что он нем на знают, так как его нет на этом "любимом" форуме. Политику не прошел я думаю. Но он лучше. Могу дать - сами посмотрите, насколько он функциональнее.

Это не важно если его никто из пользователей парсера не будет юзать.

Пусть он будет самым лучшим но именно количество пользователей важнее для адаптации.

[Reanimaster]

В 23.07.2021 в 12:03, Rassol2 сказал:

Пусть он будет самым лучшим но именно количество пользователей важнее для адаптации.

Услышал вас.

[Reanimaster]

В 23.07.2021 в 11:30, Rassol2 сказал:

Я не пишу модуль под вас.

Прошу прощения. Я могу выложить в теме модификатор?

Возможно кому то пригодится.

[Rassol2]

Прошу прощения. Я могу выложить в теме модификатор?
Возможно кому то пригодится.

Выкладывай конечно.

Отправлено с телефона через Tapatalk