Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

46 минут назад, Rassol2 сказал:

А то я смотрю сильно много людей забывают перед стартом нажать сохранить.

есть такая проблема и неудобство - после каждого действия жать "сохранить". 

 

По поводу дополнительных категорий. Если в модуле есть/будет возможность добавить товар дополнительно в еще одну категорию, тогда проблем в реализации вообще нет  - просто создаётся граница по хлебным крошкам и далее добавляется к товару новая категория. реализация не сложная, особенно для тех, кто клонирует дерево категорий.

сложно будет тем, кто сопоставляет категории как в АОП. хотя и тут нет сложностей - просто создать заранее соответствия. тогда взяв хлебные крошки можно будет запихать товар сразу в кучу категорий.

Надіслати
Поділитися на інших сайтах


1 минуту назад, stas2010 сказал:

есть такая проблема и неудобство - после каждого действия жать "сохранить". 

Постепенно буду лечить.
 

2 минуты назад, stas2010 сказал:

По поводу дополнительных категорий. Если в модуле есть/будет возможность добавить товар дополнительно в еще одну категорию, тогда проблем в реализации вообще нет  - просто создаётся граница по хлебным крошкам и далее добавляется к товару новая категория. реализация не сложная, особенно для тех, кто клонирует дерево категорий.

Вот по этому вопросу у меня появляется чувство что я либо дурак, либо чего то не понимаю.

Вот смотрите реализовать это возможно. Я могу сделать хоть 1000 доп категорий к товару.
Не делаю потому что откуда вы будете брать эти дополнительные категории ?

Пример.
Вот обычный товар. Категории берутся с хлебных крошек. (выделил красным)
 

Спойлер

45oD6sB.png


Дальше парсите эти хлебные крошки и записываете эту границу в категорию товара.
 

Спойлер

SLwyC3r.png


Внимание.
Суть вопроса, сделаю я вам 3 таких поля куда записывать границы с разными категориями. Откуда вы взмете данные ?

Ведь здесь на странице нету трех разных категорий товара.
 

Спойлер

45oD6sB.png


И я не встречал такие сайты. В чем тогда суть делать несколько полей для категорий если вы не сможете парсить один товар в разные места ?

Надіслати
Поділитися на інших сайтах

1 минуту назад, Shaer сказал:

спасибо!

вот я олень))

Ничего в следующем релизе попробую сделать по умолчанию при нажатии старта парсинга, что бы модуль предварительно сохранял настройки.
А то этот вопрос стал часто вылазить.

Надіслати
Поділитися на інших сайтах

Внимание.

Собираю заявки на реализацию парсинга полей в ИМ

Сейчас собираю заявки на реализацию новых послей при парсинге в ИМ, те которые еше не реализованы по тип
 

Спойлер

vn9J16n.png

Или длина, высота, ширины.

Пишите что вам необходимо, поскольку после завершения доработки сбора ссылок я опять вернусь в раздел парсинга в им.

Надіслати
Поділитися на інших сайтах

2 минуты назад, Shaer сказал:

отзывы еще надо бы..

окей.
Вы используете стандартные возможности отзывов в опенкарт ?
Или сторонний модуль ?

Надіслати
Поділитися на інших сайтах

39 минут назад, Rassol2 сказал:

окей.
Вы используете стандартные возможности отзывов в опенкарт ?
Или сторонний модуль ?

стандартный

Надіслати
Поділитися на інших сайтах


Обновление 2.9-6_beta

Исправления недочетов.

 

Парсинг в ИМ
Исправлена ошибка с обновлением опций о которой писал @partshez (И конечно же спасибо за найденный недочет. ;-) )
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1473160

Теперь при обновлении опций модуль обновляет и значение обязательная опция или нет.

 

Сбор ссылок.
Доработан сбор ссылок, когда сайт донор использует в ссылка юникод вместо нормальных символов. (Руки им бы поотбивал :-D )
За помощь в отлове такой проблемы спасибо @Kiyoshi теперь модуль спокойно распознает и собирает ссылки с вот таких вот страниц.
 

Спойлер

mAaRDkS.png


Так же отловлено и справлено кучу недочетов на вкладках
Настройка парсинга.
Браузер раздел прокси.
Импорт настроек.

За весь этот список найденных проблем спасибо @Kiyoshi
Мы становимся потихоньку лучше :oops:
 

Начал добавлять подсказки в модулю
Что бы снизить немного порог входа в модуль начал заполнять подсказки.
 

Спойлер

aGG65HH.png

 


Новое
В сборе ссылок добавлена возможность выбирать внутренние ссылки и внешние, или все.
По умолчанию собираются только внутренние ссылки.
Обратите внимание что выбирая в разделе очередь сканирования собирать внешние ссылки вы отправите модуль гулять по интернету бесконечно.
Не знаю возможно я в будущем уберу такую возможность но пока что она есть, посмотрим не будет ли у вас с этим проблемы.
 

Спойлер

TnLnRzr.png

За настойчивость в реализации этой задумки нужно благодарить @stas2010


Сохранение при нажатии старт сбора ссылок.
Теперь на странице сбора ссылок после изменения функционала необязательно нажимать кнопку сохранить перед тем как начать сбор ссылок.
Модуль перед начало сбора ссылок автоматически сохраняет введенные настройки.


В этом обновлении много полезных исправлений доработок. Так что кому понравилось обновляетесь.
При обновлении не забываем выполнять /inst.php

ЗЫ. Еше одна функция будет реализована в сборе ссылок, а затем перейду в раздел парсинга в им. Так что открыт стол заявок по реализации разных функций парсинга в им.

  • +1 2
Надіслати
Поділитися на інших сайтах

19 часов назад, Rassol2 сказал:

Сейчас собираю заявки на реализацию новых послей при парсинге в ИМ, те которые еше не реализованы по тип

EAN, ISBN. размеры тоже бы не помешали, а также вес нужен.

Вычитать со склада, Отсутствие на складе - тоже необходимо заполнять при создании/обновлении товара. 

Выбор единицы измерения и веса - под вопросом.

порядок сортировки не помешал бы - иногда может пригодиться

 

Змінено користувачем stas2010
Отсутствие на складе
Надіслати
Поділитися на інших сайтах


3 часа назад, Rassol2 сказал:

Обратите внимание что выбирая в разделе очередь сканирования собирать внешние ссылки вы отправите модуль гулять по интернету бесконечно.

сейчас полетят камни..... :)

а по делу - чтобы не спарсить весь интернет :), можно просто добавить уровень сканирования, т.е. если уровень 1, то сканируется только одна страница и ссылки берутся только с нее, если уровень 2, то по полученным ссылкам собрать еще ссылок. Да, понимаю, что количество полей разрастается, но можно это и в список выбора внешних ссылок вставить изменив на "Внутренние и внешние ссылки (1 уровень)" и "Внутренние и внешние ссылки (2 уровня)" или что-то подобное. Сомневаюсь, что больше двух уровней понадобится, т.к. это уже получится парсинг другого сайта со своими настройками, хотя встречал сайты, где часть товаров лежало на другом домене, например, основной был site.com, а дополнительный - site1.com/led или led.site1.com . хотя чаще всего дополнительные домены и поддомены используют для хранения картинок на других серверах.

 

 

Змінено користувачем stas2010
Надіслати
Поділитися на інших сайтах


4 часа назад, Rassol2 сказал:

начал заполнять подсказки

полезная вещь.

а в подсказки можно ссылки добавлять? было бы не плохо помимо краткого описания вставить ссылку на страницу инструкции на вашем сайте, т.к. всё-равно в ответах ссылаетесь на свой сайт - меньше бы вопросов возникало (или больше :) ).

 

мда... посмотрел реализацию функции подсказок в опенкарте - вроде нельзя. :(

Змінено користувачем stas2010
Надіслати
Поділитися на інших сайтах


6 часов назад, stas2010 сказал:

порядок сортировки не помешал бы - иногда может пригодиться

Этого не будет потому что порядок сортировки неоткуда спарсить. А значить не как указать для каждого товара отдельно.
 

6 часов назад, stas2010 сказал:

а по делу - чтобы не спарсить весь интернет :), можно просто добавить уровень сканирования, т.е. если уровень 1, то сканируется только одна страница и ссылки берутся только с нее, если уровень 2, то по полученным ссылкам собрать еще ссылок. Да, понимаю, что количество полей разрастается, но можно это и в список выбора внешних ссылок вставить изменив на "Внутренние и внешние ссылки (1 уровень)" и "Внутренние и внешние ссылки (2 уровня)" или что-то подобное.

А зачем в чем смысл ?
сейчас можно сделать это так
 

Спойлер

hNkCK0m.png

Выбираете спокойно глубину и область ссылок. И все работает как вы описали.

 

6 часов назад, stas2010 сказал:

полезная вещь.

а в подсказки можно ссылки добавлять? было бы не плохо помимо краткого описания вставить ссылку на страницу инструкции на вашем сайте, т.к. всё-равно в ответах ссылаетесь на свой сайт - меньше бы вопросов возникало (или больше :) ).

 

мда... посмотрел реализацию функции подсказок в опенкарте - вроде нельзя. :(

как показывает практика люди не обновляются. И можете оказаться так что модуль ушел вперед а подсказка ссылается на не сушествуюший пост.

  • +1 1
Надіслати
Поділитися на інших сайтах

16 минут назад, Gerryley сказал:

Никак не дождусь несколько потоков  :rolleyes:

я над ними работаю. Не волнуйтесь.
 

такие веши как внедрение потоков, внедрения крона это конструктивно сложные задачи. Я сперва создаю прототипы, катаю их.
Затем много времени уходит на то что бы придумать как внедрить функцию так что бы весь функционал что есть работал.
И затем только финальный этап когда я реализовываю.

Грубо говоря такие вещи внедряется пошагово.
1. Изучение.
2. Тестирование.
3. Внедрение.

И вот пока у меня идут первые два этапа, я реализовываю всякие мелочи. А когда наступает третий этап, в модулю не внедряется ничего потому что версия модуля в разработке кардинально отличается от предыдущих релизов.
так вот сейчас потоки на уровне тестирования у меня. Не могу найти подходящее решение.

Все же php не много поточный язык. :(

В добавку есть веб хостинги которые накладывают свои ограничения, сильно много препятствий которые нужно еше преодолеть.

У меня тут целая эпопея с потоками, и война с хостингами.

А у вас в итоге появится только тумблер с выбором количества потоков, и описание к обновлению Внедрена много поточность. Аж обидно :-D

Надіслати
Поділитися на інших сайтах

А может мой  хостинг  ограничить доступ к сайту из за аномальной активности с сайта? У меня  хостинг  заблокировал .Пришлось писать в тех поддержку чтоб меня внесли в белый список.Или это не из за модуля Simplepars?Может это из за того , что я парсила без пауз? пауза в парсинге стояла на ноль.

На хостинге стоит вот такое решение безопасности

(BitNinja — это одно из решений безопасности, которое  на платформе Hostingers. Он обнаруживает IP-адреса с подозрительным поведением, например, если посетитель получает доступ к одной и той же веб-странице через короткие промежутки времени, несколько раз вводит неверный пароль и т. Д. BitNinja отмечает такое поведение, потенциально опасное для вашего сайта. Затем Bitninja помещает IP-адрес посетителя в greylist, и тогда ему нужно убедиться, заполнив Captcha. Если Captcha правильно разрешен, IP автоматически удаляется из greylist.)

Надіслати
Поділитися на інших сайтах


13 минут назад, hippvik сказал:

А может мой  хостинг  ограничить доступ к сайту из за аномальной активности с сайта?

Думаю да.
И в логах будет об этом сообщение. Модуль получить ошибку при запросе. Нужно читать логи.
К примеру вот лог ошибки когда модуль пытался обратится с закрытого порта
Номер ошибки = 7 | Сообщение об ошибке = [ couldn't connect to host ]

 

16 минут назад, hippvik сказал:

Пришлось писать в тех поддержку чтоб меня внесли в белый список.Или это не из за модуля Simplepars?Может это из за того , что я парсила без пауз? пауза в парсинге стояла на ноль.

На этот вопрос вы можете получить ответ у поддержки вашего хостинга. Спросив причину блокировки.

 

Цитата

(BitNinja — это одно из решений безопасности, которое  на платформе Hostingers. Он обнаруживает IP-адреса с подозрительным поведением, например, если посетитель получает доступ к одной и той же веб-странице через короткие промежутки времени, несколько раз вводит неверный пароль и т. Д. BitNinja отмечает такое поведение, потенциально опасное для вашего сайта. Затем Bitninja помещает IP-адрес посетителя в greylist, и тогда ему нужно убедиться, заполнив Captcha. Если Captcha правильно разрешен, IP автоматически удаляется из greylist.)

Это больше похоже на защиту вашего сайта от ВХОДЯЩЕГО трафика.
А модуль создает как раз ИСХОДЯЩИЙ трафик.

Надіслати
Поділитися на інших сайтах

@hippvik Но правильный ответ о причине нужно искать у поддержки хостинга. Они могут сказать что стало причиной.
Паузу пасринга всегда рекомендую использовать, если есть возможность.

Раз уж парсите сайт, то не создавайте ему проблемы с нагрузкой, что бы его сайт не лагал для обычных пользователей. И у вас не будет проблем с блокировкой.
Ведь парсер это почти орижуие, особенно когда есть много потоков. Вы можете создавать аномальную нагрузку из за которой сайт донор будет недоступен для других пользователей сети. Или будет медленно работать. Можно даже положить сайт донор (не моим модулем, у нас пока нет много поточности.)
Из за такого частенько сайты которые парсят применяют защиту, если ее не применять им придется переходить на более дорогие тарифы.

Короче говоря используйте парсеры во благо. Не забывайте о том что у сайта донора есть владелец и вы можете приносить ему неудобства.

Надіслати
Поділитися на інших сайтах

 

Если вам случается увидеть Captcha, предоставленный BitNinja, не стесняйтесь его решить, и он будет делистировать ваш IP-адрес, чтобы вы могли перейти на свой сайт. Существуют различные причины, по которым ваш IP-адрес отмечен как вредоносный, наиболее распространенными из них являются:

— Ваш интернет-провайдер назначил IP-адрес, который ранее использовался для злоупотребления и полностью закрыт или заблокирован.
— Ваш компьютер может быть заражен вредоносными программами, а ваш IP-адрес используется при атаках на другие серверы.

Надіслати
Поділитися на інших сайтах


1 минуту назад, hippvik сказал:

 

Если вам случается увидеть Captcha, предоставленный BitNinja, не стесняйтесь его решить, и он будет делистировать ваш IP-адрес, чтобы вы могли перейти на свой сайт. Существуют различные причины, по которым ваш IP-адрес отмечен как вредоносный, наиболее распространенными из них являются:

— Ваш интернет-провайдер назначил IP-адрес, который ранее использовался для злоупотребления и полностью закрыт или заблокирован.
— Ваш компьютер может быть заражен вредоносными программами, а ваш IP-адрес используется при атаках на другие серверы.

так вы сейчас говорите о доступе к вашему сайту вами ?

Тут модуль точно не причем.
Я думал идет разговор об доступе модуля к сайту донору. И что не ваш ip попал в блек хол, а ip вашего хостинга.

В вашем случаи модуль не может быть причиной.

Надіслати
Поділитися на інших сайтах

А если парсить и  использовать при этом  vpn  сервис  Windscribe. это скроет мой айпи и хостингер не будет его блокировать?

Змінено користувачем hippvik
Надіслати
Поділитися на інших сайтах


В 13.11.2019 в 21:30, hippvik сказал:

Ой спасибо я поняла.

 

 

не за что.

 

Надіслати
Поділитися на інших сайтах

Обновление 2.9-7_beta

Добавлена возможность загружать ссылки в модуль с файла.

Ну что давно просили это, точнее просили только в начале разработки модуля последнее время об этот неслышно, но эта последнее что хотел реализовать в сборе ссылок.
На данный момент.

Встречайте.
Теперь доступна загрузка ссылок как очереди сканирования так и ссылок на товары.

Спойлер

1zXBZnt.png



Для загрузки ссылок с файла вам нужно иметь файл в котором ссылки записаны в столбик с новой строки.

 

Пример

Спойлер

jMxwyMw.png



Выбираете куда хотите загрузить, выбираете файл и жмете старт. И все ссылки будут загружены.
Ссылки загружается в том же порядке как и в файле.

Так же обратите что все ссылки из файла будет проверятся на соответствия ваши фильтрам. И если ссылка соответствует настройка, она будет добавлена.

Обновляетесь пробуйте. Я думаю это тоже будет полезно.
 

Надіслати
Поділитися на інших сайтах

Че то в обновлении забыл указать возможности.
На обычном хостинге я с легкостью занес в базу данных 107 590 ссылок
rYgY7Sx.png

И собственно ссылки в модуле.
 

Спойлер

3xPIUIo.png

 

Верхний придел я протестировать не смог, нету такого количества. Даже для этого теста делал фейковые ссылки. Я думаю вы справитесь с поиском верхнего предела. :grin:

Данная функция по загрузке ссылок ограничивается двумя параметрами.
1. Максимальный размер загружаемого файла. (Кстати 107тысяч поместились в 13мб)

2. Время выполнения php скрипта.

Но при загрузке я не уперся ни в одно из двух значений. :cool:
Причем по времени у меня на хостинге это заняло 17секунд. При отсутствии настроек фильтрации.

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.