[Поддержка] SimplePars - Универсальный парсер для ИМ

[stas2010]

46 минут назад, Rassol2 сказал:

А то я смотрю сильно много людей забывают перед стартом нажать сохранить.

есть такая проблема и неудобство - после каждого действия жать "сохранить". 

 

По поводу дополнительных категорий. Если в модуле есть/будет возможность добавить товар дополнительно в еще одну категорию, тогда проблем в реализации вообще нет  - просто создаётся граница по хлебным крошкам и далее добавляется к товару новая категория. реализация не сложная, особенно для тех, кто клонирует дерево категорий.

сложно будет тем, кто сопоставляет категории как в АОП. хотя и тут нет сложностей - просто создать заранее соответствия. тогда взяв хлебные крошки можно будет запихать товар сразу в кучу категорий.

[Shaer]

спасибо!

вот я олень))

[Rassol2]

1 минуту назад, stas2010 сказал:

есть такая проблема и неудобство - после каждого действия жать "сохранить". 

Постепенно буду лечить.
 

2 минуты назад, stas2010 сказал:

По поводу дополнительных категорий. Если в модуле есть/будет возможность добавить товар дополнительно в еще одну категорию, тогда проблем в реализации вообще нет  - просто создаётся граница по хлебным крошкам и далее добавляется к товару новая категория. реализация не сложная, особенно для тех, кто клонирует дерево категорий.

Вот по этому вопросу у меня появляется чувство что я либо дурак, либо чего то не понимаю.

Вот смотрите реализовать это возможно. Я могу сделать хоть 1000 доп категорий к товару.
Не делаю потому что откуда вы будете брать эти дополнительные категории ?

Пример.
Вот обычный товар. Категории берутся с хлебных крошек. (выделил красным)
 

Спойлер

Дальше парсите эти хлебные крошки и записываете эту границу в категорию товара.
 

Спойлер

Внимание.
Суть вопроса, сделаю я вам 3 таких поля куда записывать границы с разными категориями. Откуда вы взмете данные ?

Ведь здесь на странице нету трех разных категорий товара.
 

Спойлер

И я не встречал такие сайты. В чем тогда суть делать несколько полей для категорий если вы не сможете парсить один товар в разные места ?

[Rassol2]

1 минуту назад, Shaer сказал:

спасибо!

вот я олень))

Ничего в следующем релизе попробую сделать по умолчанию при нажатии старта парсинга, что бы модуль предварительно сохранял настройки.
А то этот вопрос стал часто вылазить.

[Rassol2]

Внимание.

Собираю заявки на реализацию парсинга полей в ИМ

Сейчас собираю заявки на реализацию новых послей при парсинге в ИМ, те которые еше не реализованы по тип
 

Спойлер

Или длина, высота, ширины.

Пишите что вам необходимо, поскольку после завершения доработки сбора ссылок я опять вернусь в раздел парсинга в им.

[Shaer]

отзывы еще надо бы..

[Rassol2]

2 минуты назад, Shaer сказал:

отзывы еще надо бы..

окей.
Вы используете стандартные возможности отзывов в опенкарт ?
Или сторонний модуль ?

[Shaer]

39 минут назад, Rassol2 сказал:

окей.
Вы используете стандартные возможности отзывов в опенкарт ?
Или сторонний модуль ?

стандартный

[Rassol2]

Обновление 2.9-6_beta

Исправления недочетов.

 

Парсинг в ИМ
Исправлена ошибка с обновлением опций о которой писал @partshez (И конечно же спасибо за найденный недочет. )
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1473160

Теперь при обновлении опций модуль обновляет и значение обязательная опция или нет.

 

Сбор ссылок.
Доработан сбор ссылок, когда сайт донор использует в ссылка юникод вместо нормальных символов. (Руки им бы поотбивал  )
За помощь в отлове такой проблемы спасибо @Kiyoshi теперь модуль спокойно распознает и собирает ссылки с вот таких вот страниц.
 

Спойлер

Так же отловлено и справлено кучу недочетов на вкладках
Настройка парсинга.
Браузер раздел прокси.
Импорт настроек.
За весь этот список найденных проблем спасибо @Kiyoshi
Мы становимся потихоньку лучше
 

Начал добавлять подсказки в модулю
Что бы снизить немного порог входа в модуль начал заполнять подсказки.
 

Спойлер

 

Новое
В сборе ссылок добавлена возможность выбирать внутренние ссылки и внешние, или все.
По умолчанию собираются только внутренние ссылки.
Обратите внимание что выбирая в разделе очередь сканирования собирать внешние ссылки вы отправите модуль гулять по интернету бесконечно.
Не знаю возможно я в будущем уберу такую возможность но пока что она есть, посмотрим не будет ли у вас с этим проблемы.
 

Спойлер

За настойчивость в реализации этой задумки нужно благодарить @stas2010

Сохранение при нажатии старт сбора ссылок.
Теперь на странице сбора ссылок после изменения функционала необязательно нажимать кнопку сохранить перед тем как начать сбор ссылок.
Модуль перед начало сбора ссылок автоматически сохраняет введенные настройки.


В этом обновлении много полезных исправлений доработок. Так что кому понравилось обновляетесь.
При обновлении не забываем выполнять /inst.php

ЗЫ. Еше одна функция будет реализована в сборе ссылок, а затем перейду в раздел парсинга в им. Так что открыт стол заявок по реализации разных функций парсинга в им.

[stas2010]

19 часов назад, Rassol2 сказал:

Сейчас собираю заявки на реализацию новых послей при парсинге в ИМ, те которые еше не реализованы по тип

EAN, ISBN. размеры тоже бы не помешали, а также вес нужен.

Вычитать со склада, Отсутствие на складе - тоже необходимо заполнять при создании/обновлении товара. 

Выбор единицы измерения и веса - под вопросом.

порядок сортировки не помешал бы - иногда может пригодиться

 

Змінено 13 листопада 2019 користувачем stas2010
Отсутствие на складе

[stas2010]

3 часа назад, Rassol2 сказал:

Обратите внимание что выбирая в разделе очередь сканирования собирать внешние ссылки вы отправите модуль гулять по интернету бесконечно.

сейчас полетят камни.....

а по делу - чтобы не спарсить весь интернет , можно просто добавить уровень сканирования, т.е. если уровень 1, то сканируется только одна страница и ссылки берутся только с нее, если уровень 2, то по полученным ссылкам собрать еще ссылок. Да, понимаю, что количество полей разрастается, но можно это и в список выбора внешних ссылок вставить изменив на "Внутренние и внешние ссылки (1 уровень)" и "Внутренние и внешние ссылки (2 уровня)" или что-то подобное. Сомневаюсь, что больше двух уровней понадобится, т.к. это уже получится парсинг другого сайта со своими настройками, хотя встречал сайты, где часть товаров лежало на другом домене, например, основной был site.com, а дополнительный - site1.com/led или led.site1.com . хотя чаще всего дополнительные домены и поддомены используют для хранения картинок на других серверах.

 

 

Змінено 13 листопада 2019 користувачем stas2010

[stas2010]

4 часа назад, Rassol2 сказал:

начал заполнять подсказки

полезная вещь.

а в подсказки можно ссылки добавлять? было бы не плохо помимо краткого описания вставить ссылку на страницу инструкции на вашем сайте, т.к. всё-равно в ответах ссылаетесь на свой сайт - меньше бы вопросов возникало (или больше  ).

 

мда... посмотрел реализацию функции подсказок в опенкарте - вроде нельзя.

Змінено 13 листопада 2019 користувачем stas2010

[Rassol2]

6 часов назад, stas2010 сказал:

порядок сортировки не помешал бы - иногда может пригодиться

Этого не будет потому что порядок сортировки неоткуда спарсить. А значить не как указать для каждого товара отдельно.
 

6 часов назад, stas2010 сказал:

а по делу - чтобы не спарсить весь интернет , можно просто добавить уровень сканирования, т.е. если уровень 1, то сканируется только одна страница и ссылки берутся только с нее, если уровень 2, то по полученным ссылкам собрать еще ссылок. Да, понимаю, что количество полей разрастается, но можно это и в список выбора внешних ссылок вставить изменив на "Внутренние и внешние ссылки (1 уровень)" и "Внутренние и внешние ссылки (2 уровня)" или что-то подобное.

А зачем в чем смысл ?
сейчас можно сделать это так
 

Спойлер

Выбираете спокойно глубину и область ссылок. И все работает как вы описали.

 

6 часов назад, stas2010 сказал:

полезная вещь.

а в подсказки можно ссылки добавлять? было бы не плохо помимо краткого описания вставить ссылку на страницу инструкции на вашем сайте, т.к. всё-равно в ответах ссылаетесь на свой сайт - меньше бы вопросов возникало (или больше  ).

 

мда... посмотрел реализацию функции подсказок в опенкарте - вроде нельзя.

как показывает практика люди не обновляются. И можете оказаться так что модуль ушел вперед а подсказка ссылается на не сушествуюший пост.

[Gerryley]

Никак не дождусь несколько потоков  

[Rassol2]

16 минут назад, Gerryley сказал:

Никак не дождусь несколько потоков  

я над ними работаю. Не волнуйтесь.
 

такие веши как внедрение потоков, внедрения крона это конструктивно сложные задачи. Я сперва создаю прототипы, катаю их.
Затем много времени уходит на то что бы придумать как внедрить функцию так что бы весь функционал что есть работал.
И затем только финальный этап когда я реализовываю.

Грубо говоря такие вещи внедряется пошагово.
1. Изучение.
2. Тестирование.
3. Внедрение.

И вот пока у меня идут первые два этапа, я реализовываю всякие мелочи. А когда наступает третий этап, в модулю не внедряется ничего потому что версия модуля в разработке кардинально отличается от предыдущих релизов.
так вот сейчас потоки на уровне тестирования у меня. Не могу найти подходящее решение.

Все же php не много поточный язык.

В добавку есть веб хостинги которые накладывают свои ограничения, сильно много препятствий которые нужно еше преодолеть.

У меня тут целая эпопея с потоками, и война с хостингами.

А у вас в итоге появится только тумблер с выбором количества потоков, и описание к обновлению Внедрена много поточность. Аж обидно

[hippvik]

А может мой  хостинг  ограничить доступ к сайту из за аномальной активности с сайта? У меня  хостинг  заблокировал .Пришлось писать в тех поддержку чтоб меня внесли в белый список.Или это не из за модуля Simplepars?Может это из за того , что я парсила без пауз? пауза в парсинге стояла на ноль.

На хостинге стоит вот такое решение безопасности

(BitNinja — это одно из решений безопасности, которое  на платформе Hostingers. Он обнаруживает IP-адреса с подозрительным поведением, например, если посетитель получает доступ к одной и той же веб-странице через короткие промежутки времени, несколько раз вводит неверный пароль и т. Д. BitNinja отмечает такое поведение, потенциально опасное для вашего сайта. Затем Bitninja помещает IP-адрес посетителя в greylist, и тогда ему нужно убедиться, заполнив Captcha. Если Captcha правильно разрешен, IP автоматически удаляется из greylist.)

[Rassol2]

13 минут назад, hippvik сказал:

А может мой  хостинг  ограничить доступ к сайту из за аномальной активности с сайта?

Думаю да.
И в логах будет об этом сообщение. Модуль получить ошибку при запросе. Нужно читать логи.
К примеру вот лог ошибки когда модуль пытался обратится с закрытого порта
Номер ошибки = 7 | Сообщение об ошибке = [ couldn't connect to host ]

 

16 минут назад, hippvik сказал:

Пришлось писать в тех поддержку чтоб меня внесли в белый список.Или это не из за модуля Simplepars?Может это из за того , что я парсила без пауз? пауза в парсинге стояла на ноль.

На этот вопрос вы можете получить ответ у поддержки вашего хостинга. Спросив причину блокировки.

 

Цитата

(BitNinja — это одно из решений безопасности, которое  на платформе Hostingers. Он обнаруживает IP-адреса с подозрительным поведением, например, если посетитель получает доступ к одной и той же веб-странице через короткие промежутки времени, несколько раз вводит неверный пароль и т. Д. BitNinja отмечает такое поведение, потенциально опасное для вашего сайта. Затем Bitninja помещает IP-адрес посетителя в greylist, и тогда ему нужно убедиться, заполнив Captcha. Если Captcha правильно разрешен, IP автоматически удаляется из greylist.)

Это больше похоже на защиту вашего сайта от ВХОДЯЩЕГО трафика.
А модуль создает как раз ИСХОДЯЩИЙ трафик.

[Rassol2]

@hippvik Но правильный ответ о причине нужно искать у поддержки хостинга. Они могут сказать что стало причиной.
Паузу пасринга всегда рекомендую использовать, если есть возможность.

Раз уж парсите сайт, то не создавайте ему проблемы с нагрузкой, что бы его сайт не лагал для обычных пользователей. И у вас не будет проблем с блокировкой.
Ведь парсер это почти орижуие, особенно когда есть много потоков. Вы можете создавать аномальную нагрузку из за которой сайт донор будет недоступен для других пользователей сети. Или будет медленно работать. Можно даже положить сайт донор (не моим модулем, у нас пока нет много поточности.)
Из за такого частенько сайты которые парсят применяют защиту, если ее не применять им придется переходить на более дорогие тарифы.

Короче говоря используйте парсеры во благо. Не забывайте о том что у сайта донора есть владелец и вы можете приносить ему неудобства.

[hippvik]

 

Если вам случается увидеть Captcha, предоставленный BitNinja, не стесняйтесь его решить, и он будет делистировать ваш IP-адрес, чтобы вы могли перейти на свой сайт. Существуют различные причины, по которым ваш IP-адрес отмечен как вредоносный, наиболее распространенными из них являются:

— Ваш интернет-провайдер назначил IP-адрес, который ранее использовался для злоупотребления и полностью закрыт или заблокирован.
— Ваш компьютер может быть заражен вредоносными программами, а ваш IP-адрес используется при атаках на другие серверы.

[Rassol2]

1 минуту назад, hippvik сказал:

 

Если вам случается увидеть Captcha, предоставленный BitNinja, не стесняйтесь его решить, и он будет делистировать ваш IP-адрес, чтобы вы могли перейти на свой сайт. Существуют различные причины, по которым ваш IP-адрес отмечен как вредоносный, наиболее распространенными из них являются:

— Ваш интернет-провайдер назначил IP-адрес, который ранее использовался для злоупотребления и полностью закрыт или заблокирован.
— Ваш компьютер может быть заражен вредоносными программами, а ваш IP-адрес используется при атаках на другие серверы.

так вы сейчас говорите о доступе к вашему сайту вами ?

Тут модуль точно не причем.
Я думал идет разговор об доступе модуля к сайту донору. И что не ваш ip попал в блек хол, а ip вашего хостинга.

В вашем случаи модуль не может быть причиной.

[hippvik]

А если парсить и  использовать при этом  vpn  сервис  Windscribe. это скроет мой айпи и хостингер не будет его блокировать?

Змінено 13 листопада 2019 користувачем hippvik

[hippvik]

Ой спасибо я поняла.

 

 

[Rassol2]

В 13.11.2019 в 21:30, hippvik сказал:

Ой спасибо я поняла.

 

 

не за что.

 

[Rassol2]

Обновление 2.9-7_beta

Добавлена возможность загружать ссылки в модуль с файла.

Ну что давно просили это, точнее просили только в начале разработки модуля последнее время об этот неслышно, но эта последнее что хотел реализовать в сборе ссылок.
На данный момент.

Встречайте.
Теперь доступна загрузка ссылок как очереди сканирования так и ссылок на товары.

Спойлер

Для загрузки ссылок с файла вам нужно иметь файл в котором ссылки записаны в столбик с новой строки.

 

Пример

Спойлер

Выбираете куда хотите загрузить, выбираете файл и жмете старт. И все ссылки будут загружены.
Ссылки загружается в том же порядке как и в файле.

Так же обратите что все ссылки из файла будет проверятся на соответствия ваши фильтрам. И если ссылка соответствует настройка, она будет добавлена.

Обновляетесь пробуйте. Я думаю это тоже будет полезно.
 

[Rassol2]

Че то в обновлении забыл указать возможности.
На обычном хостинге я с легкостью занес в базу данных 107 590 ссылок


И собственно ссылки в модуле.
 

Спойлер

 

Верхний придел я протестировать не смог, нету такого количества. Даже для этого теста делал фейковые ссылки. Я думаю вы справитесь с поиском верхнего предела.

Данная функция по загрузке ссылок ограничивается двумя параметрами.
1. Максимальный размер загружаемого файла. (Кстати 107тысяч поместились в 13мб)

2. Время выполнения php скрипта.

Но при загрузке я не уперся ни в одно из двух значений.
Причем по времени у меня на хостинге это заняло 17секунд. При отсутствии настроек фильтрации.