Axelenz
-
Posts
736 -
Joined
-
Last visited
Content Type
Profiles
Forums
Marketplace
Articles
FAQ
Our New
Store
Blogs
module__dplus_manager
Everything posted by Axelenz
-
Из пожеланий, чего не хватало в работе версии 1.3. 1. Анализатор времени (можно даже с опцией включения/выключения). Например, когда необходимо парсить большое количество ссылок, выводится время сколько потрачено и приблизительно анализируется время, которое ещё осталось до конца парсинга. 2. Парсинг при условии. Т.е. возможность задать какое-то отдельное условие (например, если на странице есть "товар в наличии") при выполнении которого выполняется парсинг страницы. В остальных случаях парсинг не производиться, т.е. работа парсера ускоряется и на выходе получаем необходимый прайс без дополнительной обработки. Можно даже предусмотреть вывод сразу в два прайса, т.е. разделение по выполнению/не выполнению условия...
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Попробуйте создать "не удобные" условия, в которые может загнать модуль любой пользователь. Запустите парсинг и перейдите в это время на вторую закладку и переименуйте название границы (я попробовал переименовать границу, которая потом используется дальше как "Область для повторяющей границы парсинга "). Наверное нужно сделать так, чтобы при переходе на любую из страниц парсинг автоматически останавливался, как при нажатии на "стоп" ? С доступом проблема, мучаю модуль на локалке )
-
При изменении одного из наименования границ почему-то переименовались сразу все границы ( Пользуюсь самой последней версией. Зря Вы не меняете нумерацию версий при внесении изменений...
-
Очень круто было бы иметь возможность подсовывать в закладку "Сбор ссылок" границы ссылок для проверки, например, есть ли на странице указанные SKU. Т.е. чтобы модуль выборочно искал конкретные данные. Иногда SKU встречается и в самой ссылке, но это бывает очень редко...
-
Всё находится в папке: /domains/Ваш_сайт/public_html/admin/uploads/
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Спасибо за новые версии! В плане рекомендации и пожелания. На вкладке "Настройки парсинга" не лучше ли сделать, чтобы при открытии вкладки по умолчанию подхватывалась [0] ссылка с выключенным "Привью сайта" ? И надпись "Warning! Не выбрана ССЫЛКА для просмотра кода --->" как бы ни к чему... Потому, как приходится много лишних телодвижений делать... нажми туда, нажми сюда... Всё равно ведь приходится посматривать при внесении границ, что получится на выходе. И ещё заметил особенность, что иногда то, что показывает на этой вкладке не всегда соответствует тому, что получим на "Пред.просмотре" ! Поэтому если вижу, что получаю не то, что хотел, но знаю, что указал правильные границы парсинга, дополнительно проверяю предпросмотром... Ну или хотя бы, как вариант, при выборе названия границы через "Выбор границы парсинга", автоматом пусть бы подхватывалась [0] ссылка с выключенным "Привью сайта". "Предпросмотр" границы не должен работать, когда не указано явно "Название границ". "Привью сайта" не должно работать, когда не указано явно "Название границ". Лучше ставить везде "защиту от дурака"... Иногда бывают случаи, что необходимо посмотреть не любую страницу из спарсенных, а проверить конкретную страницу. Может не помешал бы поиск или явное указание страницы, чтобы дальше все проверки ("Пред просмотрт границы" и "Пред просмотр" на следующей вкладке "Запуск парсинга данных") производились именно на конкретно указанной (зафиксированной) странице ?
-
Так за полезную вещь и заплатить не жалко, это же как орудие труда... тем более, что перспективы на лицо.
- 13,360 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Благодарю за потраченное время. Модуль не раз помогал в парсинге. Жаль, конечно, что у Вас нет времени на его дальнейшее развитие в плане более универсального парсера, которому под силу сложные защищающиеся сайты (
-
Подскажите, а возможно ли обходить каптчу при данном функционале модуля ? Перепробовал автоматические перегрузчики user agent, прокси - не помогает ) Даёт спарсить определённое количество товара и выходит на каптчу... (
-
Вот спасибо и за такую реализацию, жаль что пока не в модуле, но то дело времени...
-
И ещё из области хотелок... Можно в excel настругать ссылок поиска товара типа: сайт + код товара, например вот такого плана https://usavitamines.com/catalog/search/?q=CLF-08192 а модуль всё это преобразует каким-то чудесным образом в прямые ссылки на товар... как-то так: https://usavitamines.com/vitaminy-dlya-zhenshchin-multivitamins-country-life-60-tabletok-clf-08192/ ну или хотя бы проверит ссылки на нахождение на сайте товара с таким кодом... Это, чтобы не сканировать весь сайт, если на нём десятки тысяч товаров, а указать только необходимые. Предвижу вопросы, а почему не указать сразу в фильтре модуля коды необходимые. Ответ: да потому, что не всегда это так однозначно красиво на практике...не все ссылки составлены по этой логике, но по коду находятся все...
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Благодарю за ответы и за труды Ваши ) Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 Object { status: "go", msg: "Производится парсинг", other: Object } index.php:1135:21 SyntaxError: JSON.parse: unexpected character at line 1 column 1 of the JSON data[Подробнее] jquery-2.1.1.min.js:4:5304 Консоль на задержке...
-
Ссылки то были, но сам парсинг не шёл до тех пор, пока не нажать "Обновить страницу". Просто был режим простоя, ожидания чего-то... И сегодня снова остановился на парсинге одного сайта на средине и пришлось давать пинок ) Сейчас снова проверил на том же сайте - опять останавливается и нужно обновляться... ( 2019-01-19 19:09:53| Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://biotus.com.ua/pangamovaja-kislota-vitamin-v15-cyto-pharma-100-kapsul.html 2019-01-19 19:12:08| Парсинг : УСПЕШНЫЙ ЗАПРОС Код ответа [200] Ссылка | https://biotus.com.ua/vitamin-v17-amygdalin-100-mg-100-tabletok.html Разницу по времени посмотрите... это подвисание и перегруз вручную...
-
Тогда ещё хотелка - проверка работы самого парсера, не "спит" ли он. Иногда приходится нажимать "Обновить страницу", чтобы парсинг продолжился... а был однажды сайт, для которого пришлось делать даже скрипт-нажималку на "перегрузить" потому, что буквально пару товаров и подвисание... только постоянный перегруз и помогал, а товаров там было пару тысяч, а сидеть и нажимать на кнопку самому - это уже уход от автоматизма и переход на ручное управление... теряется время на монотонную рутинную работу ( P.S. Тогда необходимо определиться, какое время считать неприлично долгим и зависанием в работе парсера...
-
Сайты всё больше защищаются от парсинга ) Я когда-то предложил @usergio сделать рандомную задержу и он это сделал в модуле АОП, спасибо ему за труды. Предлагаю и Вам сделать подобное. Например: галочка возле выбора паузы "Randomize". Поставил галку и уже выбор паузы идёт автоматом в указанных пределах ) Но и это ещё не всё... рекомендую кроме этого реализовать что-то типа "Задержки парсинга". Т.е. чтобы парсинг переходил в спящий режим через указанный промежуток времени (он уже в отличие от паузы должен исчисляться не секундами, а десятками минут!). Думаю, что это очень сильно поставит в тупик "антиботы" сайтов...
-
Анекдот по случаю: - Мама, жарьте рыбу! - Так нету ж рыбы... - Мама, вы жарьте, а рыба будет!
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Логика "И" очень полезна, но работает ведь только когда есть, к примеру, одна категория и указываем .html как окончания ссылок, чтобы не захватывать лишнее. Но когда категорий не одна, тогда с чем "И", .html с категорией или категории друг с другом... не работает так. Лучше вынести эту логику, например, в третий столбец, тогда можно выставить, что окончание .html, к примеру, указано для всех категорий...
-
Как хорошо было бы, если бы можно было поставить галочку типа "Обратный порядок". чтобы после включения галочки уже выдавало: Логотипный светодиодный проектор (3D проекция);Авто стайлинг;Главная
-
Налезло немного. У меня монитор 22"
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Это круто... это будет модуль, понятный даже для домохозяек )))
-
Ещё не плохо было бы иметь возможность вносить в столбцы в закладке "Настройки парсинга" произвольные данные (например: вставить родительские категории...). Вроде бы мелочь, но иногда необходимая и полезная. А зачем лишний раз входить в excel, если гораздо удобнее сразу же получить на выходе готовый прайс ? Внести в " Тип границы парсинга " переменную "Статические данные", которые парсить не нужно, но они идут в таблицу в неизменном виде... Я к тому, что, к примеру, парсю товары в категории "Датчики". Вот мне необходимо младшую категорию, например "датчики дыма", "датчики разбития стекла" и пр. парсить, они меняются, но зачем мне парсить родительские категории, которые мне и так известны, например: Младшая категория: Датчики дыма (парсится потому, что меняются); Родительская категория: Датчики; Родительская категория: Каталог. Поэтому и говорю о статических данных, которые можно было бы самому ввести и этого парсить не нужно... Или второй вариант, когда я не хочу получать на своём сайте ту же вложенность категорий. что и у донора...
-
И ещё вопрос. Спарсил около 200 ссылок и проверил. В некоторых местах не спарсились данные (парсил артикул и название товара). На всём количестве не спарсилось примерно по 10-и ссылкам. Проверил вручную - данные у донора присутствуют. Почему модуль делает пропуски ? Может пробовать задержку ставить ?
-
Поиск фотографий для товаров без водяного знака (18тыс позиций)
Axelenz replied to pavel747's topic in Store filling
Я подобную задачу решил тем, что перехватывал фото на сайте донора до того, как оно ресайзилось и на него накладывалась ватермарка... -
Жду с нетерпением, хочеться глянуть и попробовать, а то у меня на 1.0.3 таблица не создаётся ни на локалке, ни на сервере, ни на одном из рабочих сайтов ((( Выдаёт то ошибку Notice: Undefined index: csv_name in I:\OSPanel\domains\localhost\admin\model\catalog\simplepars.php on line 415 или Notice: Undefined index: csv_name in /home/admin/web/sub.dom.com.ua/public_html/admin/model/catalog/simplepars.php on line 415Warning: Cannot modify header information - headers already sent by (output started at /home/admin/web/sub.dom.com.ua/public_html/admin/index.php:80) in /home/admin/web/sub.dom.com.ua/public_html/system/library/response.php on line 12 то ещё какую фигню, но парсить не хочет...
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Модуль Автоматическая обработка прайс-листов. [Поддержка]
Axelenz replied to usergio's topic in Модули обмена данными
Вставил формулы $url = str_replace ("%25%20", "-", $url); $url = str_replace ("%2520", "-", $url); $url = str_replace ("%20", "-", $url); или $url = str_replace (" ", "-", $url); но картинки не парсятся при таком подходе...
