Axelenz
-
Posts
765 -
Joined
-
Last visited
Content Type
Profiles
Forums
Marketplace
Articles
FAQ
Our New
Store
Blogs
module__dplus_manager
Everything posted by Axelenz
-
А вот за это спасибо огромное... При парсинге десятков тысяч ссылок контроль за выполнением поставленной задачи и возможность исправления будут очень кстати. Как вариант, как можно было бы реализовать это: на вкладке CSV/Парсинг можно добавить ещё одну колонку, где в виде чекбоксов можно ставить галочки по типу: "Поле обязательное для заполнения". К примеру, если поставить такую галочку в строке наименования товара, артикула, цены... то понятно, где эти данные не спарсились там и есть ошибка! Можно было бы и вынести поле типа: "По окончании парсинга повторный проход по ссылкам, где найдены ошибки". Кому критично - поставил галочку и может за вторым проходом что-то и закроется... Я бы не рекомендовал ставить подобную процедуру автоматом, поскольку люди, которые не сильно разбираются в модуле могут его просто зациклить, указав неправильные границы парсинга...
- 13,687 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Согласен с уважаемым разработчиком, парсить Розетку вот так сходу в лоб не получится. Но я парсил под заказ Розетку и если нужно, то всё возможно, если конечно заказчик готов платить за "терпение" ) К сожалению, приходится постоянно работать только с "неудобными сайтами" для парсинга, типа Розетки или сайтов для дропшиппинга ) Парсю только тысячи, десятки тысяч товаров... Если есть реальная необходимость спарсить что-то подобное и желание заплатить за подобную работу - обращайтесь.
- 13,687 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Подскажите, пожалуйста. А возможно ли реализовать такой функционал, чтобы экономить время на парсинг. Например, проверяем, поле товара, где указывается наличие и если там данные "Нет в наличии", то остальные следующие за этим поля вообще не обрабатываются, происходит переход на вторую ссылку, а может и даже не происходит запись этой строки в файл csv, по желанию. Т.е. кому важно парсить лишь товар в наличии, ставит одной из первых позиций проверку по наличию и экономим время на парсинг и на поиск и удаление товаров по наличию. И чтобы это было выбираемо использовать функционал или простой парс. Т.е., чтобы была какая-то логика типа останова по условию... Я запустил сейчас парсинг на примерно 9,000 товаров и знаю, что из них в наличии около 3,000, а парсить то придётся все 9 тысяч, чтобы потом 6 из них просто удалить с массой не нужной мне спарсенной информации (((
-
2. - не вариант, когда категорий, например, с полтысячи... А как использовать на вкладке Сбор ссылок оператор {skip} в данном примере ?
-
Добрый день. Подскажите, как можно решить это с помощью фильтра ссылок. Например, на сайте есть большое количество категорий и других не нужных ссылок, которые хотелось бы отсеять. Вот, как пример, ссылки на товар, которые нужны: site.ru/velosiped-2-kolesa site.ru/velosiped-3-kolesa site.ru/velosiped-4-kolesa ... site.ru/samokat-2-kolesa site.ru/samokat-3-kolesa ... а вот эти ссылки категории, в которые они входят: site.ru/velosiped ... site.ru/samokat ... они не нужны и таких категорий много, у которых первое слово такое же, как и у товара и убрать его нынешними способами не знаю как. Но у меня есть идея. Можно сделать так: дописывать в конце символ к словам в фильтре, чтобы фильтр понимал, что идёт речь о ссылках, которые заканчиваются на указанное слово. Это же намного расширит возможности фильтрации. Ну к примеру, можно поставить вот так: /velosiped| /roliki| /samokat| и фильтр будет понимать, что все слова, которые заканчиваются на "|" это слова, которые не имеют продолжения и их необходимо отфильтровывать, а ссылки, которые имеют продолжение, например: site.ru/velosiped-2-kolesa site.ru/velosiped-3-kolesa site.ru/velosiped-4-kolesa должны попадать в Ссылки на товары. Указать в Шаблоне ссылок на товар только: /velosiped- /samokat- ... не представляется возможным, потому как не известно, что ещё не попадёт в Ссылки на товары. Поэтому проще обрезать то, что явно не нужно, чем конкретизировать, что нужно.
-
Благодарю, с правильным файлом из "other versions of php" именно для моей версии php 7.1 всё сразу стало ) --------------------------------------------- Рекомендую на "Очистить список" в обеих очередях ссылок поставить повторное подтверждение на удаление, как обычно пишут: "Вы уверены...". Иногда помогает... У меня часто при большом количестве ссылок получаются тормоза с открытием левой панели админки (теперь стараюсь держать её всегда в свёрнутом положении). И при нажатии на Повторную фильтрацию под раздачу часто попадает Очистить список... очень не удобно... Но это лишь при больших списках ссылок...
-
...
-
а вернуться на предыдущую версию возможно ? Отлично, установилась без проблем v2.10-1... лучше на ней пока посижу...
-
именно так и делал и не работает. Связки то не у всех будут повторяться, как у Вас.
-
Работает в такой связке АОП... [Ioncube Loader] zend_extension="%sprogdir%/modules/php/%phpdriver%/ext/php_ioncube.dll" понятно включено, потому, как работает АОП...
-
PHP Version 7.1.22
-
Fatal error: The encoded file I:\OSPanel\domains\localhost\admin\controller\catalog\simplepars.php has expired. in Unknown on line 0 Перепробовал разные варианты установить на локалку... не работает. А стоит на локалке АОП и всё работает нормально.
-
Хорошо, я тоже сначала подумал, что просто показалось, но гонял его много раз и не работает фильтр, как ранее.
-
Сейчас с примером не получится, всё сделал, как мне нужно. Но в следующий раз сброшу фото. Работаю на локалке, но раньше то всё отрабатывало...
- 13,687 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
У меня перестали фильтры отрабатывать нормально. Т.е. указываю фильтрацию в Сборе ссылок->Ссылки на товар и проходят все ссылки не зависимо от того, что указано в фильтре. Чтобы убрать нежелательное необходимо нажать на Повторить фильтрацию, а раньше они туда просто не пападали, всё автоматически фильтровалось, при указании Не должно быть в ссылках на товар. Или это так задумано ?
-
Есть предложение реализовать вариант парсинга некоторых "неподдающихся" сайтов. Добавляете кнопку "Загрузить страницы в temp" и идёт просто обращение к сайту по всем ссылкам, что, например, уже собраны в закладке "Сбор ссылок" и все страницы копируются в папку temp. Дальше стоит где-то чек-бокс типа парсим "онлайн/офлайн", т.е. или с выходом в интернет или работаем с содержимым папки temp. А в эту папку, к примеру, можно и вручную помещать сохранённые страницы... Но Вы опять скажете, что я предлагаю:
-
А я Вас, @Rassol2 предупреждал не так давно, что модуль предназначен только для людей, которые склонны к обучению.
- 13,687 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Вы хотели пожелания ? У нас их есть ) P.S. Мне функционала и так хватает, имея два модуля в своём распоряжении (Ваш и АОП) могу получить практически любую информацию. А что не нравится - дорабатываю драчевым напильником.
- 13,687 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
А может Вам всё же вынести часть кода в окошко редактирования, для возможности внесения своих хотелок на php. В АОП, например, можно залезть, дописать, какие теги резать, какие пропустить и всё работает по индивидуальным хотелкам... Или включите подробное комментирование построчно в самом коде, где что изменить, чтобы хотелки исполнились ) А вообще то Вы, автор, сделали модуль, который рассчитан на продвинутых пользователей (за что Вам огромная благодарность)... а хотите раздавать его в массы. Тогда Вам придётся параллельно открывать ещё и бесплатные курсы по принципам сайтостроения, html, php, регулярным выражениям...
-
Я бы предложил Rassol2 сделать что-то типа "тестового парсинга", где предварительно были бы спарсены, например, каждая 10-я(или 100-я, 1000-я и т.п., как указать) страницы для того, чтобы пройтись по сайту, попасть на разные категории товара и увидеть, что получим в итоге в прайсе и своевременно внести исправления, чтобы потом не парсить всё заново... Можно указать спарсить каждую N-страницу или указать сколько страниц спарсить со всей ссылочной массы, кому как удобнее... Можно использовать рандомную выборку ссылок для парсинга... можно указать, чтобы ссылки брались только с разных категорий/подкатегорий, что было бы ну очень удобно... вариантов много для реализации. Можно, конечно, самому повыбирать ссылки с каждой категории и спарсить для тестирования, но... готовое решение в модуле будет намного удобнее... )
-
На сайте есть группы, в которые входят товары. Каждому товару соответствует одно групповое фото, но оно с ватермаркой. Но когда зайти на любой товар в группе, то фото там уже чистое ) Это пример из последнего парсинга.
-
Тогда мы поняли друг друга ) Согласитесь, что это немного расширяет возможности применения модуля для парсинга. Или, по крайней мере, сокращает на порядок время для парсинга в некоторых случаях.
-
Нет. Чтобы можно было каким-то образом выбирать с каждой категории/подкатегории/группы с сайта, например, по одной ссылке (или произвольное количество), а не все. Это немного не то, что Вы написали. Пример. 1. Спарсил я с помощью Вашего модуля с сайта донора все категории/подкатегории/группы. 2. Загнал эти категории в "Очередь сканирования ссылок", например. 3. Указал модулю, чтобы с каждой ссылки (категории/подкатегории/группы) он взял по одной ссылке (товара), если таковая имеется. 4. Парсю теперь по полученным ссылкам групповые фото, например, или групповые описания, что угодно... P.S. Т.е. можно ли в "Очередь сканирования ссылок" поместить ссылки, полученные модулем и не используя "Стартовая ссылка" получить только по этим указаным ссылкам "Ссылки на товары"? которые реально нужны, а не вообще всё ? А при этом ещё и указать количество товаров по каждой из категорийных ссылок ?
-
Ещё одно предложение для реализации в модуле (если это возможно в рамках этого проекта). Например, необходимо скачать фотографии, которые идентичны для товаров одной группы. Групп товаров - сотни и в каждой группе по пару десятков разновидностей товаров. Если мне необходимо заполучить эти фотографии для групп товаров, то сейчас приходится парсить весь сайт, весь десяток тысяч товаров. А было бы интересно, если была возможность указывать, к примеру, в закладке "Ссылки на товары", чтобы с каждой ссылки из "Очередь сканирования ссылок " бралось определённое количество (ну или одна) ссылок на товар. Или как-то по-другому реализовать такую возможность, чтобы не скачивать весь сайт, если понимаешь, какую часть сайта тебе необходимо заполучить... Пока не вижу гибкости в получении части необходимых ссылок... ну или я не всё знаю )
-
Благодарю, буду пробовать...
