Axelenz
-
Публикаций
57 -
Зарегистрирован
-
Посещение
Посетители профиля
823 просмотра профиля
-
Очень круто было бы иметь возможность подсовывать в закладку "Сбор ссылок" границы ссылок для проверки, например, есть ли на странице указанные SKU. Т.е. чтобы модуль выборочно искал конкретные данные. Иногда SKU встречается и в самой ссылке, но это бывает очень редко...
-
Всё находится в папке: /domains/Ваш_сайт/public_html/admin/uploads/
- 357 ответов
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (и ещё #)
-
Спасибо за новые версии! В плане рекомендации и пожелания. На вкладке "Настройки парсинга" не лучше ли сделать, чтобы при открытии вкладки по умолчанию подхватывалась [0] ссылка с выключенным "Привью сайта" ? И надпись "Warning! Не выбрана ССЫЛКА для просмотра кода --->" как бы ни к чему... Потому, как приходится много лишних телодвижений делать... нажми туда, нажми сюда... Всё равно ведь приходится посматривать при внесении границ, что получится на выходе. И ещё заметил особенность, что иногда то, что показывает на этой вкладке не всегда соответствует тому, что получим на "Пред.просмотре" ! Поэтому если вижу, что получаю не то, что хотел, но знаю, что указал правильные границы парсинга, дополнительно проверяю предпросмотром... Ну или хотя бы, как вариант, при выборе названия границы через "Выбор границы парсинга", автоматом пусть бы подхватывалась [0] ссылка с выключенным "Привью сайта". "Предпросмотр" границы не должен работать, когда не указано явно "Название границ". "Привью сайта" не должно работать, когда не указано явно "Название границ". Лучше ставить везде "защиту от дурака"... Иногда бывают случаи, что необходимо посмотреть не любую страницу из спарсенных, а проверить конкретную страницу. Может не помешал бы поиск или явное указание страницы, чтобы дальше все проверки ("Пред просмотрт границы" и "Пред просмотр" на следующей вкладке "Запуск парсинга данных") производились именно на конкретно указанной (зафиксированной) странице ?
-
Так за полезную вещь и заплатить не жалко, это же как орудие труда... тем более, что перспективы на лицо.
- 357 ответов
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (и ещё #)
-
Благодарю за потраченное время. Модуль не раз помогал в парсинге. Жаль, конечно, что у Вас нет времени на его дальнейшее развитие в плане более универсального парсера, которому под силу сложные защищающиеся сайты (
-
Подскажите, а возможно ли обходить каптчу при данном функционале модуля ? Перепробовал автоматические перегрузчики user agent, прокси - не помогает ) Даёт спарсить определённое количество товара и выходит на каптчу... (
-
Вот спасибо и за такую реализацию, жаль что пока не в модуле, но то дело времени...
-
И ещё из области хотелок... Можно в excel настругать ссылок поиска товара типа: сайт + код товара, например вот такого плана https://usavitamines.com/catalog/search/?q=CLF-08192 а модуль всё это преобразует каким-то чудесным образом в прямые ссылки на товар... как-то так: https://usavitamines.com/vitaminy-dlya-zhenshchin-multivitamins-country-life-60-tabletok-clf-08192/ ну или хотя бы проверит ссылки на нахождение на сайте товара с таким кодом... Это, чтобы не сканировать весь сайт, если на нём десятки тысяч товаров, а указать только необходимые. Предвижу вопросы, а почему не указать сразу в фильтре модуля коды необходимые. Ответ: да потому, что не всегда это так однозначно красиво на практике...не все ссылки составлены по этой логике, но по коду находятся все...
-
Благодарю за ответы и за труды Ваши ) Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 SyntaxError: JSON.parse: unexpected character at line 1 column 1 of the JSON data[Подробнее] jquery-2.1.1.min.js:4:5304 Консоль на задержке...
-
Ссылки то были, но сам парсинг не шёл до тех пор, пока не нажать "Обновить страницу". Просто был режим простоя, ожидания чего-то... И сегодня снова остановился на парсинге одного сайта на средине и пришлось давать пинок ) Сейчас снова проверил на том же сайте - опять останавливается и нужно обновляться... ( 2019-01-19 19:09:53| Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://biotus.com.ua/pangamovaja-kislota-vitamin-v15-cyto-pharma-100-kapsul.html 2019-01-19 19:12:08| Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://biotus.com.ua/vitamin-v17-amygdalin-100-mg-100-tabletok.html Разницу по времени посмотрите... это подвисание и перегруз вручную...
-
Тогда ещё хотелка - проверка работы самого парсера, не "спит" ли он. Иногда приходится нажимать "Обновить страницу", чтобы парсинг продолжился... а был однажды сайт, для которого пришлось делать даже скрипт-нажималку на "перегрузить" потому, что буквально пару товаров и подвисание... только постоянный перегруз и помогал, а товаров там было пару тысяч, а сидеть и нажимать на кнопку самому - это уже уход от автоматизма и переход на ручное управление... теряется время на монотонную рутинную работу ( P.S. Тогда необходимо определиться, какое время считать неприлично долгим и зависанием в работе парсера...
-
Сайты всё больше защищаются от парсинга ) Я когда-то предложил @usergio сделать рандомную задержу и он это сделал в модуле АОП, спасибо ему за труды. Предлагаю и Вам сделать подобное. Например: галочка возле выбора паузы "Randomize". Поставил галку и уже выбор паузы идёт автоматом в указанных пределах ) Но и это ещё не всё... рекомендую кроме этого реализовать что-то типа "Задержки парсинга". Т.е. чтобы парсинг переходил в спящий режим через указанный промежуток времени (он уже в отличие от паузы должен исчисляться не секундами, а десятками минут!). Думаю, что это очень сильно поставит в тупик "антиботы" сайтов...
-
Анекдот по случаю: - Мама, жарьте рыбу! - Так нету ж рыбы... - Мама, вы жарьте, а рыба будет!
- 357 ответов
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (и ещё #)
-
Логика "И" очень полезна, но работает ведь только когда есть, к примеру, одна категория и указываем .html как окончания ссылок, чтобы не захватывать лишнее. Но когда категорий не одна, тогда с чем "И", .html с категорией или категории друг с другом... не работает так. Лучше вынести эту логику, например, в третий столбец, тогда можно выставить, что окончание .html, к примеру, указано для всех категорий...
-
Как хорошо было бы, если бы можно было поставить галочку типа "Обратный порядок". чтобы после включения галочки уже выдавало: Логотипный светодиодный проектор (3D проекция);Авто стайлинг;Главная
