[Поддержка] SimplePars - Универсальный парсер для ИМ

[a1ik]

 

Помогите решить !

Описываю проблему.

Редактор товаров. Не открываются вкладки Действие и Шаблоны. При попытке выбрать фильтр показывает *страница не найдена* и т.д.

[Rassol2]

1 час назад, a1ik сказал:

 

 

Помогите решить !

Описываю проблему.

Редактор товаров. Не открываются вкладки Действие и Шаблоны. При попытке выбрать фильтр показывает *страница не найдена* и т.д.

Следите за данными что вы загружаете, особенно внимательно когда вы загружаете производителей или категории.
Желательно всегда очищать эти данные от html кода.

Поправил.

[Rassol2]

12 часов назад, Reanimaster сказал:

Доброе утро.

Проски IPv6)

Дайте рабочие IPv6 и и сегодня завтра сделаю поддержку.

[Seofisher]

CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, также как id границы http://joxi.ru/5md1R9VuaEVMN2

[Rassol2]

18 часов назад, Malciska сказал:

Хмм ... хоть вы и обьясняли как это сделать почти, но хочется чтобы было попроще

Я подумаю над решением, Но проше пока не как.

[Rassol2]

Пример PHP скрипта в SimplePars

Скрипт для скачивания PDF в любую директорию магазина.
 

Спойлер

Этот скрипт выполняет скачивание файла по ссылке.
Ссылку на PDF настроили в границе парсинга {gran_38} Для скрипта эта граница находится здесь $script_data['form']['script_gran']['38']
Это максимально простой скрипт, тем не менее я прокомментировал все что бы вы могли по примеру делать.

 

[Reanimaster]

Еще одна хотелка небольшая. И думаю пригодится.

В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в коде находится SKU и он создает мне пустой товар((

[Rassol2]

1 минуту назад, Reanimaster сказал:

Еще одна хотелка небольшая. И думаю пригодится.

В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в коде находится SKU и он создает мне пустой товар((

Это не получится так как в редиректы это 301 и 302 ответ сервера.
А вот модуль автоматом помещает ссылки в списки с ошибками только в том случаи если страница ничего не отдала.
И если приходит ошибка то модуль не выполняет работу над этим фалом.

То есть если я сделаю 301 и 302 редирект ошибками, с пометкой, то такие страницы не будут обработаны, а это в корне не верно.

[Rassol2]

52 минуты назад, Seofisher сказал:

CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, также как id границы http://joxi.ru/5md1R9VuaEVMN2

Над этим подумаю.

[Reanimaster]

В 22.07.2021 в 21:08, Rassol2 сказал:

То есть если я сделаю 301 и 302 редирект ошибками, с пометкой, то такие страницы не будут обработаны, а это в корне не верно.

Понял. Тогда по старинке. Спасибо.

[Rassol2]

12 часов назад, Seofisher сказал:

CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, также как id границы http://joxi.ru/5md1R9VuaEVMN2

Это реализовать не получится. Я забыл что в концепции можно указывать много границ одному полю.
А это будет дублировать название колонки.
Короче сильно много геморроя.

[Rassol2]

@Reanimaster вы хотели адаптацию под IPv6
У вас нет проверенных рабочих прокси ?
А то так и не скинули никто, вроде люди хотят, а по факту нет движения

[Reanimaster]

В 23.07.2021 в 08:51, Rassol2 сказал:

У вас нет проверенных рабочих прокси ?

Доброе утро. Да блин закончились как раз(

Прикуплю на днях

[Reanimaster]

Есть еще одно пожелание. Сделать возможность указать номер начала парсинга. Есть старт и перезапуск. Но порой нужно указать с какой позиции стартовать. Особенно актуально для фидов 100+к товара. Бывает такое что что-то пошло не так. Крон сбоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА.

А так в лог добавить нумерацию ссылок. И можно будет глянуть, какая была последней, и начать с нее или на парочку меньше. Так же было бы здорово где нибудь видеть, в логах может, но не листая а просто нумерацию, сколько успешно обработано, сколько не обработано и отфильтровать в логе неуспешно обработанные, взять ссылки и более пристально посмотреть, почему же там не обработано.
Еще я думаю было бы не плохо включить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - остановить парсинг принудительно.
Спасибо. Критика приветствуется. 

[Rassol2]

1 минуту назад, Reanimaster сказал:

Есть еще одно пожелание. Сделать возможность указать номер начала парсинга. Есть старт и перезапуск. Но порой нужно указать с какой позиции стартовать. Особенно актуально для фидов 100+к товара. Бывает такое что что-то пошло не так. Крон сбоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА.

А так в лог добавить нумерацию ссылок. И можно будет глянуть, какая была последней, и начать с нее или на парочку меньше. Так же было бы здорово где нибудь видеть, в логах может, но не листая а просто нумерацию, сколько успешно обработано, сколько не обработано и отфильтровать в логе неуспешно обработанные, взять ссылки и более пристально посмотреть, почему же там не обработано.

У ссылок нет номеров.
Это динамичные данные. Так что это сделать невозможно. Точнее сделать можно но это не будет работать так как вы описываете. Так как любые действия с ссылками могут менять их порядок. То есть гарантия порядка выдачи ссылок это надежда на то что база данных будет отдавать ссылки в том порядке что и раньше.
А в документации Mysql написано что данные в таблице лежат неупорядоченно. Так что нет.
 

3 минуты назад, Reanimaster сказал:

Еще я думаю было бы не плохо включить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - остановить парсинг принудительно.
Спасибо. Критика приветствуется. 

А что такое блокировка и как ее отловить ?
Считается блокировкой когда вас редиректит по 301 ответу, или по 302 ответу.
Считается ли блокировкой когда вам отдают капчу ?

Это не получится сделать ровно по той причине что блокировка она может быть разной. Тот же ответ 28 за 25 сек сервер не отдал ничего, так тоже донор блокирует.
 

[Reanimaster]

В 23.07.2021 в 08:51, Rassol2 сказал:

вы хотели адаптацию под IPv6

По поводу этого.
Я смотрю их нынче предоставляют в формате ipv4, хотя они ipv6
45.89.19.83:12371@QojpZ4:Mm1L7DwSx3 //Socks

45.89.19.83:1237@QojpZ4:Mm1L7DwSx3 //HTTP

 

[Reanimaster]

В 23.07.2021 в 09:08, Rassol2 сказал:

А что такое блокировка и как ее отловить ?

Ну в таком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет.
 

 

В 23.07.2021 в 09:08, Rassol2 сказал:

А в документации Mysql написано что данные в таблице лежат неупорядоченно. Так что нет.

А индексы никак не помогут?

[Rassol2]

1 минуту назад, Reanimaster сказал:

По поводу этого.
Я смотрю их нынче предоставляют в формате ipv4, хотя они ipv6
45.89.19.83:12371@QojpZ4:Mm1L7DwSx3 //Socks

45.89.19.83:1237@QojpZ4:Mm1L7DwSx3 //HTTP

 

Такие будут работать.
Тут нет конфликта в оформлении.

[Rassol2]

Только что, Reanimaster сказал:

А индексы никак не помогут?

индексы изменяются при каждом пчихе.
 

1 минуту назад, Reanimaster сказал:

Ну в таком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет.

Если вы про то что бы метить ссылки что они хоть когда либо в истории были спарсены.
То нет такого индекса нет.
А если банально понимать какие ссылки были пропарсены, то вот же.
 

Спойлер

 

[Reanimaster]

В 23.07.2021 в 09:16, Rassol2 сказал:

Такие будут работать.

А вы не вкурсе, если их преобразовать в ipv6 поможет?

[Reanimaster]

В 23.07.2021 в 09:20, Rassol2 сказал:

А если банально понимать какие ссылки были пропарсены, то вот же.

Я имею ввиду, что хочу понимать что не спарсилось.

Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать способом выше ссылки, которые по той или иной причине не спарсились, предположим ошибка или редирект?

[Rassol2]

1 минуту назад, Reanimaster сказал:

А вы не вкурсе, если их преобразовать в ipv6 поможет?

я даже не знаю что вы имеете в виду.
По этому вопрос не ко мне.

Для меня IPv6 это такая штука.
2f00:7a60:0:106d:1

И я не слышал что бы ipv6 можно было представить в виде ipv4 это какое то ......

[Reanimaster]

В 23.07.2021 в 09:20, Rassol2 сказал:

Если вы про то что бы метить ссылки что они хоть когда либо в истории были спарсены.

Я имею ввиду что можно ведь сделать в таблице со ссылками доп поле с первичным ключом ID и ID проекта и после сбора ссылок создавать индексы.
Далее в массив ссылок брать не только URL но и ID. Так можно будет привязаться к конкретным ссылкам. А поскольку будут созданы индексы - это будет быстро.
Ну и соответственно даст больший контроль над ссылками. А что бы ссылки не менялись по первому пчиху - добавить команду на чистку/создание индексов по той же схеме, если ссылки меняются.

Не уверен насколько я прав, просто мое видение.

[Rassol2]

2 минуты назад, Reanimaster сказал:

Я имею ввиду, что хочу понимать что не спарсилось.

Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать способом выше ссылки, которые по той или иной причине не спарсились, предположим ошибка или редирект?

Ошибка да.
Вот к примеру
 

Спойлер

Редирект не является ошибкой.
к примеру включенное ЧПУ в опенкарте будет делать редирект если обратится по ссылке без чпу. И нормально отдаст страницу.
Нельзя же считать что это битая ссылка.

Редиректы это нормальное поведение.

[Rassol2]

1 минуту назад, Reanimaster сказал:

Я имею ввиду что можно ведь сделать в таблице со ссылками доп поле с первичным ключом ID и ID проекта и после сбора ссылок создавать индексы.
Далее в массив ссылок брать не только URL но и ID. Так можно будет привязаться к конкретным ссылкам. А поскольку будут созданы индексы - это будет быстро.
Ну и соответственно даст больший контроль над ссылками. А что бы ссылки не менялись по первому пчиху - добавить команду на чистку/создание индексов по той же схеме, если ссылки меняются.

Не уверен насколько я прав, просто мое видение.

 

Раздумать эту таблицу максимально не стоит. Так как эта таблица само дольше работает из за объема данных.
 

Спойлер

И кстати эта самая тормознутая часть в работе модуля, из за объема данных и раздувать их не хочется ни как.
а тем боле дополнительными действиями по сопровождению индоксов.

И нужно понимать что нажимая сюда
 

Спойлер

Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете будет уделатать в никуда.

Так что нет.