[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

5 минут назад, Alexcctv сказал:

Так пиво взял уже, вот прокси на закуску думаю прикупить, просто не особо пойму нашел прокся аренда 3 прокси пишется 90 подстетей, вот вопрос намечается если 1 проксю забанят то остальные будут работать из этой подсети?)) Да и хотел уточнить может в будущем если парсинг не прошел к примеру умер прокси то чтобы парсинг уведомлял , а не показывал имитацию парсинга))А то с моим количеством невыгодно перепарсивать все заново)

да уже есть в списке на реализацию.
Пользователи пока разделились на два лагеря.

1. Сделать настройку которая будет останавливать парсинг при получении ошибки от сайта донора.
2. Ссылки которые не были спарсены записывать в 3 список. Ошибки при обработке.

А я думаю нужно и то и то.
Но время господа, я бы все сделал если бы у меня в сутках было бы 48 часов. Да и инструкцию нужно писать, и видео записывать.
Вот так и получается идей целый фейерверк, а время в сутках почти нет. Работаю по ночам потому что тогда никто не пишет )))

Будет сделано, 100% только уже в релизах 3.1, 3,2 где то там.
Сейчас делаю сахар для вас, что бы было еше удобнее пользоваться уже тем что есть.

[Rassol2]

14 минут назад, Alexcctv сказал:

Да и хотел уточнить может в будущем если парсинг не прошел к примеру умер прокси то чтобы парсинг уведомлял , а не показывал имитацию парсинга))А то с моим количеством невыгодно перепарсивать все заново)

пока что модуль только сообщает что по такой ссылке удачного результата не было.
 

Спойлер

В дальнейшем еше хочу сделать что бы при получении ошибки от одного прокси модуль помечал прокси как мертвое.
Короче куча всего интересно впереди.

[Alexcctv]

1 минуту назад, Rassol2 сказал:

пока что модуль только сообщает что по такой ссылке удачного результата не было.
 

  Скрыть контент

В дальнейшем еше хочу сделать что бы при получении ошибки от одного прокси модуль помечал прокси как мертвое.
Короче куча всего интересно впереди.

а socsk5 я могу использовать?

[Rassol2]

Только что, Alexcctv сказал:

а socsk5 я могу использовать?

да.
 

Спойлер

 

[Rassol2]

1 минуту назад, Alexcctv сказал:

а socsk5 я могу использовать?

Соксы платны.
Объясняю почему я говорю для начала на бесплатном поиграйтесь.
Я пока что не получал много отзывов по работе с проксяками. И не хочется что бы вы заплатили за прокси и потом какой то косяк вышел и я всю ночь правил его.
Луче обкатать все.

[Alexcctv]

1 минуту назад, Rassol2 сказал:

Соксы платны.
Объясняю почему я говорю для начала на бесплатном поиграйтесь.
Я пока что не получал много отзывов по работе с проксяками. И не хочется что бы вы заплатили за прокси и потом какой то косяк вышел и я всю ночь правил его.
Луче обкатать все.

да я бесплатные пол дня ковыряю таймауты лютые купил 3 прокся привата вроде работают

[Alexcctv]

6 минут назад, Alexcctv сказал:

да я бесплатные пол дня ковыряю таймауты лютые купил 3 прокся привата вроде работают

И последнее если прокся 1 умирает остальные работают парсинг нормально дальше идет или он будет пропускать товары благодаря мертвяку?

[Rassol2]

4 минуты назад, Alexcctv сказал:

да я бесплатные пол дня ковыряю таймауты лютые купил 3 прокся привата вроде работают

для того что бы использовать публичные и не платить я сделал чекер.
 

Спойлер

можно записать хоть 1000публичных.
указать ссылку на сайт донор. Указать текст который есть на сайте доноре.
Выбрать максимальное время выполнения. и время на соединение. И запустить проверку.

По окончанию у вас в проверенном списке останутся только те прокси что работают. И они вкладываются в тайменги что вы выбрали в прокси чекере.
Своего рода отсеваем всякий хлам. предусмотрел )

[Rassol2]

Только что, Alexcctv сказал:

И последнее если прокся 1 умирает остальные работают парсинг нормально дальше идет или он будет пропускать товары благодаря мертвяку?

пропускать.
но можете раскоментировать вот этот кусок кода в /admin/model/catalog/simplepars.php
 

Спойлер

Что бы стало так
 

Спойлер

 
Если вы это сделаете тогда модуль, получив ошибку парсинга, возмет новый прокси и повторит запрос на эту страницу. Если снова ошибка то еше раз.
и так он будет пытаться спарсить пока не пройдет 27сек.
Если за 27 сек он успеет найти у вас в списке подходившее прокси пойдет дальше.
Если нет. То ссылка останется неспаренной и модуль пойдет дальше.

Это реализовано в модуле. Но я пока что не успел сделать настройку которая будет регулировать порядок действий. Но можно включить через код

[Alexcctv]

50 минут назад, Rassol2 сказал:

пропускать.
но можете раскоментировать вот этот кусок кода в /admin/model/catalog/simplepars.php
 

  Показать контент

Что бы стало так
 

  Показать контент

 
Если вы это сделаете тогда модуль, получив ошибку парсинга, возмет новый прокси и повторит запрос на эту страницу. Если снова ошибка то еше раз.
и так он будет пытаться спарсить пока не пройдет 27сек.
Если за 27 сек он успеет найти у вас в списке подходившее прокси пойдет дальше.
Если нет. То ссылка останется неспаренной и модуль пойдет дальше.

Это реализовано в модуле. Но я пока что не успел сделать настройку которая будет регулировать порядок действий. Но можно включить через код

Спасибо дорогой))А то я замечать начал это, думаю дай спрошу))Еще дауны в теме пишут глупости всякие сегодня почитал, аж улыбнуло))) "Понимать не хочу хочу штобЫ все работало" цитаты умных людей))
Комментировать и раскоментировать умеем))  
Чую отдыхом пахнет))Не буду тревожить спасибо конкретно помогли  

Змінено 17 листопада 2019 користувачем Alexcctv

[Nomandvs]

Большие списки публичных прокси для "поиграться, пощупать, научиться, потыкать".

 

HTTPS - 16046 шт.

SOCKS - 16220 шт.

 

ИНСТРУКЦИЯ по работе с прокси (proxy) в модуле

 

Надеяться, что парсинг с этими прокси пройдёт идеально не стоит. Но что бы научиться ими пользоваться в модуле более чем хватит.

proxy_https[16046].txt proxy_socks[16220].txt

[Rassol2]

3 минуты назад, Nomandvs сказал:

Большие списки публичных прокси для "поиграться, пощупать, научиться, потыкать".

 

HTTPS - 16046 шт.

SOCKS - 16220 шт.

 

ИНСТРУКЦИЯ по работе с прокси (proxy) в модуле

 

Надеяться, что парсинг с этими прокси пройдёт идеально не стоит. Но что бы научиться ими пользоваться в модуле более чем хватит.

proxy_https[16046].txt 317 \u043a\u0411 · 0 downloads proxy_socks[16220].txt 320 \u043a\u0411 · 0 downloads

спс, норм так подгон.

[Rassol2]

я вот думаю можете создать на сайте simplepars список публичных прокси.
Написать свой внутренний парсер который будет пробегать каждый день по публичным ресурсам собирать прокси. И составлять список.
И еше повесить второй скрипт который к примеру будет постоянно пробигать по этим прокси и проверять их на работоспособность.

Которые работают оставлять, а что умерли вычищать из списка.
Что бы у пользователей всегда был более мение актуальный список проксе.
 

Блин, где на все взять время

[Alexcctv]

2 минуты назад, Rassol2 сказал:

я вот думаю можете создать на сайте simplepars список публичных прокси.
Написать свой внутренний парсер который будет пробегать каждый день по публичным ресурсам собирать прокси. И составлять список.
И еше повесить второй скрипт который к примеру будет постоянно пробигать по этим прокси и проверять их на работоспособность.

Которые работают оставлять, а что умерли вычищать из списка.
Что бы у пользователей всегда был более мение актуальный список проксе.
 

Блин, где на все взять время

прокся сьедят быстро))Публичный доступ это дело такое)Лучше бы советовал бонусом по 50 проксей тестовых кидать на обучение)

[Rassol2]

2 минуты назад, Alexcctv сказал:

прокся сьедят быстро))Публичный доступ это дело такое)Лучше бы советовал бонусом по 50 проксей тестовых кидать на обучение)

ну с таким успехом луче их в интернете брать тогда когда они будут нужны.

Можно раздел закрыть только для своих.
Или сделать в модуле получить прокси )))

[Nomandvs]

@Rassol2 Не раз наблюдал, когда прокси работает около минуты, потом на пол минуты просто отваливается и оживает как ни в чем не бывало.

Даже если при первом чеке выживет 20% прокси, то среди них в этот момент времени будут уже мёртвые.

 

Тут простым разовым чекером ситуацию не спасти, нужно вести историю по каждому адресу и по итогам нескольких чеков сортировать по "средней живучести".

[Rassol2]

1 минуту назад, Nomandvs сказал:

@Rassol2 Не раз наблюдал, когда прокси работает около минуты, потом на пол минуты просто отваливается и оживает как ни в чем не бывало.

Даже если при первом чеке выживет 20% прокси, то среди них в этот момент времени будут уже мёртвые.

 

Тут простым разовым чекером ситуацию не спасти, нужно вести историю по каждому адресу и по итогам нескольких чеков сортировать по "средней живучести".

Ну вот давно хотел найти себе задание для на Python будет хороший повод по изучать пайтон, и написать на нем хороший парсер для проксей.
там можно и в многоточечном режиме сделать. И вести историю, и те прокси которые умерли повторно опрашивать отдельно.

Можно загорячится и сделать мясорубку проксей.

[Alexcctv]

2 минуты назад, Nomandvs сказал:

@Rassol2 Не раз наблюдал, когда прокси работает около минуты, потом на пол минуты просто отваливается и оживает как ни в чем не бывало.

Даже если при первом чеке выживет 20% прокси, то среди них в этот момент времени будут уже мёртвые.

 

Тут простым разовым чекером ситуацию не спасти, нужно вести историю по каждому адресу и по итогам нескольких чеков сортировать по "средней живучести".

да, да такую беду заметил пока не купил приват) Работало ушло в небытие (халява), общий ресурс всем интерес под свои нужды) Прокси это штука такая, для малыъ целей поможет, для моей проблемы только приват спасает. На начальном уровне парсинга в тысяч 14 с разных сайтов траблов небыло, вот один попался хостинг проблемный)

[Alexcctv]

Только что, Rassol2 сказал:

Ну вот давно хотел найти себе задание для на Python будет хороший повод по изучать пайтон, и написать на нем хороший парсер для проксей.
там можно и в многоточечном режиме сделать. И вести историю, и те прокси которые умерли повторно опрашивать отдельно.

Можно загорячится и сделать мясорубку проксей.

На перле удобней, и язык более читабельны:)

[Rassol2]

9 минут назад, Alexcctv сказал:

На перле удобней, и язык более читабельны:)

Ой не знаю не знаю.
 

10 минут назад, Alexcctv сказал:

Прокси это штука такая, для малыъ целей поможет, для моей проблемы только приват спасает.

А может и так. Не стоит оно того, есть публичные прокси, есть их списки в интернете зачем повторять все это. Кому нужно для маленького проекта взмет там.
А кому серьезнее воспользуется платными.

[Rassol2]

Обновление 2.9-8_beta

Это обновление посвятил всяким мелочам, которые не глобальные но их накопилось.

Пред просмотр парсинга в ИМ
 

Спойлер

Добавлена кнопа быстрого перехода на страницу сайта что вы просматриваете. Кнопка появляется только когда нажата кнопка пред просмотр.
Кликнув на ее в браузере откроется новая вкладка и в ней загрузится страница сайта донора.
Помогает быстро сравнить данные.
Так же добавлен вывод акционной цены если она есть в товаре.
 

Спойлер

В отладочной информации добавлен вывод информации об акционной цене, и об производителе (не знаю почему производителя не было раньше. Может забыл )

 

Если в парсинге опции отрабатывает опция по умолчанию.
 

Спойлер

Это подсвечивается в пред просмотре.
 

Спойлер

Так же подробно про данные которые попадают в опции можно узнать в отладочной информации.
Здесь я постарался слать формат понятный обывателю.
 

Спойлер

Одна опция от другой отделяются решетками.
А операторы {csvnc} выводятся только в отладочной информации, и только для того что бы вы видили как произведена настройка, и где происходит сбой.

 

Логи
Логи очень информативные, и помогают мне решить много вопросов. В связи с этим решил прокачать даже такую банальную функцию как просмотр логов.
 

Спойлер

 

1. Добавлена возможность выводить логи в обратном порядке, то есть сперва самые свежие, затем старые. Все это работает без перезагрузки страницы.
Обратите внимание что эта настройка не влияет на порядок записи логов, а только на вывод логов на этой странице. что бы вы постоянно не проматывали в самый низ для того что бы увидеть свежие записи.

 

2. В последних версия ограничение на максимальный размер файла стояло 25 мб, если лог файл превышал это размер, тогда логи не выводились. Но и этого оказалось мало. Так что добавил настройку где вы можете выбрать максимальный размер для пред просмотра логов. Это действие требует нажать кнопку сохранить.

3. Частота авто обновления, и кнопка авто обновления это отдельный разговор.
Теперь вы можете запустить парсинг, открыть вторую вкладку с логами. Выбрать частоту обновления логов в 10сек. И нажать кнопку авто обновление.
После чего заварив кофе наблюдать как каждые 10 секунд логи на этой странице будут обновятся. Если еше выбрать вывод логов в обратном порядке то каждые 10 секунд вы будете получать вывод актуальных лога.
Уже обкатал на себе безумный кайф.

Но есть и черная сторона с авто обновлением.
При авто обновлении модуль запрашивает весь лог файл. И выводит его вам, и если вы парсите что то на 10+ тысяч товаров то лог файл может весить очень много.
Так вот если лог файл весит 20мб и вы используете авто обновление получается что каждые 10 секунд модуль обращается на сервер выкачивает 20мб и показывает их вам. И через 10 сек повторяет действие. То есть это трудозатратно для сервера где вы хоститесь.
Вторая беда с этим заключается в том что PHP язык одно поточный, так что в момент когда пошел запрос обновить лог, парсер замирает, когда логи вам отдали продолжает. И так замирает каждые 10 скек. или сколько вы там выберите. Хоть это и доли секунд но на дистанции в 5 , 10 ,15 тысяч это будет минуты и даже часы.

Так что рекомендую использовать эту возможность в момент настройки парсинга, и отладки. И не забывать отключать. !!!!

По этому когда идет авто обновления кнопка горит красным. Видите красны отключайте !!!!

 

Браузер.

Добавлена возможность отправлять куки через сами заголовки.
То есть берете заголовок с браузера, строку кук как есть и записываете в раздел Собственные заголовки
В браузере мазила это выглядит так.

Спойлер

И после этого все запросы на сайт донор с этой формы будут уходить с указанными куками.
 

Спойлер

Метод своего рода прибить куки гвоздями.

На этом все.
Для обновления необходимо выполнить /inst.php

[hippvik]

Интересненький АНОНС)))

[Rassol2]

4 часа назад, hippvik сказал:

Интересненький АНОНС)))

Получилось как анонс, потому что я не мог загрузить на форум архив. Он упорна отказывался грузится.
сейчас вроде загружен.

[hippvik]

А если во вкладке "Парсинг в ИМ" Сделать кнопку "загрузить прайс". Просто бывает хочется  подредактировать и потом просмотреть как выглядит в  предпросмотре" ну, а затем  загружать в им.Соответственно прайс который спарсился во вкладке "CSV/Парсинг". 

Мне кажется очень  нужная Кнопочка. Ну и тогда парсер станет универсальным модулем  )) типа import/export CSV )

[Rassol2]

40 минут назад, hippvik сказал:

А если во вкладке "Парсинг в ИМ" Сделать кнопку "загрузить прайс". Просто бывает хочется  подредактировать и потом просмотреть как выглядит в  предпросмотре" ну, а затем  загружать в им.Соответственно прайс который спарсился во вкладке "CSV/Парсинг". 

Мне кажется очень  нужная Кнопочка. Ну и тогда парсер станет универсальным модулем  )) типа import/export CSV )

ну вы предлагаете сделать еше загрузку прайс листов?

уже есть такие модули

Автоматическая обработка прайс листов. 
CSV Price Pro import/export

 

Во первых зачем если такие модули уже есть, если уже тратить свое время на создание чего то то это что то должно решать задачу которую пока не как не решить.
Во вторых мне бы пока со своей областью разобраться. Все же луче делать хорошо что то одно, чем все но плохо.
 

Пока что в планах нету делать загрузки с прайс листов. Это своя кухня со своими особенностями, и у этой кухни уже есть как минимум два шеф повара.