Axelenz
-
Posts
744 -
Joined
-
Last visited
Content Type
Profiles
Forums
Marketplace
Articles
FAQ
Our New
Store
Blogs
module__dplus_manager
Everything posted by Axelenz
-
Как для меня, то явно не хватает кнопки, которая очищала бы полностью все данные проекта. Зачем это необходимо... Например, я занимаюсь парсингом для других, поэтому у меня в SimplePars десятки разных проектов. Но некоторые старые проекты уже не нужны и я их очищаю, чтобы туда вносить данные уже по новому проекту. Сейчас это неудобно, по каждой вкладке ходить и всё не забыть убрать ((( Намного удобнее было бы сделать (как я порекомендовал Вам ранее сделать предупреждение по удалению ссылок) кнопку типа "Очистить проект", где при нажатии спрашивалось бы: "Сейчас будут удалены настройки на всех вкладках. Вы уверены, что хотите очистить этот проект ?" и при утвердительном ответе проект будет очищен (именно указанный проект, а не все!). Очень быстро и удобно. Спрятать эту кнопку лучше всего подальше от любопытных глаз, дабы не было желания тыкать на неё каждые полчаса... например, во вкладку Импорт/Экспорт Настроек...
-
У меня сейчас примерно сходная проблема (на локалке)... примерно через 10 минут парсинга меня выбрасывает с личного кабинета, а без кабинета не могу получить оптовые цены на товар, только розничные ((( Для решения проблемы сочиняю скрипт, который будет отслеживать время работы парсера и через каждые 9,5 минут останавливать парсинг сайта, выходить с кабинета, снова логиниться в кабинет, стягивать новые cookie, записывать новые данные в cookie.txt и потом дальше запускать парсинг... Не удобно для парсинга 10,000 товаров, а по другому было ещё неудобнее, много ручной работы... Если кто подскажет варианты, как упростить, буду благодарен )
-
Я парсил Розетку под заказ... согласен, что это несколько трудозатратно, но вполне возможно, если создать правильный алгоритм, по которому можно это сделать. А есть ещё категории Розетки, которых совсем не мало ))) ... я создавал заказчику на Opencart копию нескольких тысяч категорий Розетки... P.S. Парсил ещё год назад, когда модуль не обладал такими продвинутыми возможностями, как сейчас )
- 13,430 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
У Вас уже есть часть отладчика в виде "Предпросмотра". Вот, как вариант, можно его вынести на отдельную вкладку, допилить его под функциональный отладчик... Там не хватает только внизу выведения сообщения об ошибке с логов и чтобы можно было подхватывать, например, не одну ссылку, а как вариант, десяток первых ссылок с файла, который будет автоматом создаваться с не правильно отработанными ссылками...
-
А вот за это спасибо огромное... При парсинге десятков тысяч ссылок контроль за выполнением поставленной задачи и возможность исправления будут очень кстати. Как вариант, как можно было бы реализовать это: на вкладке CSV/Парсинг можно добавить ещё одну колонку, где в виде чекбоксов можно ставить галочки по типу: "Поле обязательное для заполнения". К примеру, если поставить такую галочку в строке наименования товара, артикула, цены... то понятно, где эти данные не спарсились там и есть ошибка! Можно было бы и вынести поле типа: "По окончании парсинга повторный проход по ссылкам, где найдены ошибки". Кому критично - поставил галочку и может за вторым проходом что-то и закроется... Я бы не рекомендовал ставить подобную процедуру автоматом, поскольку люди, которые не сильно разбираются в модуле могут его просто зациклить, указав неправильные границы парсинга...
- 13,430 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Согласен с уважаемым разработчиком, парсить Розетку вот так сходу в лоб не получится. Но я парсил под заказ Розетку и если нужно, то всё возможно, если конечно заказчик готов платить за "терпение" ) К сожалению, приходится постоянно работать только с "неудобными сайтами" для парсинга, типа Розетки или сайтов для дропшиппинга ) Парсю только тысячи, десятки тысяч товаров... Если есть реальная необходимость спарсить что-то подобное и желание заплатить за подобную работу - обращайтесь.
- 13,430 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Подскажите, пожалуйста. А возможно ли реализовать такой функционал, чтобы экономить время на парсинг. Например, проверяем, поле товара, где указывается наличие и если там данные "Нет в наличии", то остальные следующие за этим поля вообще не обрабатываются, происходит переход на вторую ссылку, а может и даже не происходит запись этой строки в файл csv, по желанию. Т.е. кому важно парсить лишь товар в наличии, ставит одной из первых позиций проверку по наличию и экономим время на парсинг и на поиск и удаление товаров по наличию. И чтобы это было выбираемо использовать функционал или простой парс. Т.е., чтобы была какая-то логика типа останова по условию... Я запустил сейчас парсинг на примерно 9,000 товаров и знаю, что из них в наличии около 3,000, а парсить то придётся все 9 тысяч, чтобы потом 6 из них просто удалить с массой не нужной мне спарсенной информации (((
-
2. - не вариант, когда категорий, например, с полтысячи... А как использовать на вкладке Сбор ссылок оператор {skip} в данном примере ?
-
Добрый день. Подскажите, как можно решить это с помощью фильтра ссылок. Например, на сайте есть большое количество категорий и других не нужных ссылок, которые хотелось бы отсеять. Вот, как пример, ссылки на товар, которые нужны: site.ru/velosiped-2-kolesa site.ru/velosiped-3-kolesa site.ru/velosiped-4-kolesa ... site.ru/samokat-2-kolesa site.ru/samokat-3-kolesa ... а вот эти ссылки категории, в которые они входят: site.ru/velosiped ... site.ru/samokat ... они не нужны и таких категорий много, у которых первое слово такое же, как и у товара и убрать его нынешними способами не знаю как. Но у меня есть идея. Можно сделать так: дописывать в конце символ к словам в фильтре, чтобы фильтр понимал, что идёт речь о ссылках, которые заканчиваются на указанное слово. Это же намного расширит возможности фильтрации. Ну к примеру, можно поставить вот так: /velosiped| /roliki| /samokat| и фильтр будет понимать, что все слова, которые заканчиваются на "|" это слова, которые не имеют продолжения и их необходимо отфильтровывать, а ссылки, которые имеют продолжение, например: site.ru/velosiped-2-kolesa site.ru/velosiped-3-kolesa site.ru/velosiped-4-kolesa должны попадать в Ссылки на товары. Указать в Шаблоне ссылок на товар только: /velosiped- /samokat- ... не представляется возможным, потому как не известно, что ещё не попадёт в Ссылки на товары. Поэтому проще обрезать то, что явно не нужно, чем конкретизировать, что нужно.
-
Благодарю, с правильным файлом из "other versions of php" именно для моей версии php 7.1 всё сразу стало ) --------------------------------------------- Рекомендую на "Очистить список" в обеих очередях ссылок поставить повторное подтверждение на удаление, как обычно пишут: "Вы уверены...". Иногда помогает... У меня часто при большом количестве ссылок получаются тормоза с открытием левой панели админки (теперь стараюсь держать её всегда в свёрнутом положении). И при нажатии на Повторную фильтрацию под раздачу часто попадает Очистить список... очень не удобно... Но это лишь при больших списках ссылок...
-
...
-
а вернуться на предыдущую версию возможно ? Отлично, установилась без проблем v2.10-1... лучше на ней пока посижу...
-
именно так и делал и не работает. Связки то не у всех будут повторяться, как у Вас.
-
Работает в такой связке АОП... [Ioncube Loader] zend_extension="%sprogdir%/modules/php/%phpdriver%/ext/php_ioncube.dll" понятно включено, потому, как работает АОП...
-
PHP Version 7.1.22
-
Fatal error: The encoded file I:\OSPanel\domains\localhost\admin\controller\catalog\simplepars.php has expired. in Unknown on line 0 Перепробовал разные варианты установить на локалку... не работает. А стоит на локалке АОП и всё работает нормально.
-
Хорошо, я тоже сначала подумал, что просто показалось, но гонял его много раз и не работает фильтр, как ранее.
-
Сейчас с примером не получится, всё сделал, как мне нужно. Но в следующий раз сброшу фото. Работаю на локалке, но раньше то всё отрабатывало...
- 13,430 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
У меня перестали фильтры отрабатывать нормально. Т.е. указываю фильтрацию в Сборе ссылок->Ссылки на товар и проходят все ссылки не зависимо от того, что указано в фильтре. Чтобы убрать нежелательное необходимо нажать на Повторить фильтрацию, а раньше они туда просто не пападали, всё автоматически фильтровалось, при указании Не должно быть в ссылках на товар. Или это так задумано ?
-
Есть предложение реализовать вариант парсинга некоторых "неподдающихся" сайтов. Добавляете кнопку "Загрузить страницы в temp" и идёт просто обращение к сайту по всем ссылкам, что, например, уже собраны в закладке "Сбор ссылок" и все страницы копируются в папку temp. Дальше стоит где-то чек-бокс типа парсим "онлайн/офлайн", т.е. или с выходом в интернет или работаем с содержимым папки temp. А в эту папку, к примеру, можно и вручную помещать сохранённые страницы... Но Вы опять скажете, что я предлагаю:
-
А я Вас, @Rassol2 предупреждал не так давно, что модуль предназначен только для людей, которые склонны к обучению.
- 13,430 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Вы хотели пожелания ? У нас их есть ) P.S. Мне функционала и так хватает, имея два модуля в своём распоряжении (Ваш и АОП) могу получить практически любую информацию. А что не нравится - дорабатываю драчевым напильником.
- 13,430 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
А может Вам всё же вынести часть кода в окошко редактирования, для возможности внесения своих хотелок на php. В АОП, например, можно залезть, дописать, какие теги резать, какие пропустить и всё работает по индивидуальным хотелкам... Или включите подробное комментирование построчно в самом коде, где что изменить, чтобы хотелки исполнились ) А вообще то Вы, автор, сделали модуль, который рассчитан на продвинутых пользователей (за что Вам огромная благодарность)... а хотите раздавать его в массы. Тогда Вам придётся параллельно открывать ещё и бесплатные курсы по принципам сайтостроения, html, php, регулярным выражениям...
-
Я бы предложил Rassol2 сделать что-то типа "тестового парсинга", где предварительно были бы спарсены, например, каждая 10-я(или 100-я, 1000-я и т.п., как указать) страницы для того, чтобы пройтись по сайту, попасть на разные категории товара и увидеть, что получим в итоге в прайсе и своевременно внести исправления, чтобы потом не парсить всё заново... Можно указать спарсить каждую N-страницу или указать сколько страниц спарсить со всей ссылочной массы, кому как удобнее... Можно использовать рандомную выборку ссылок для парсинга... можно указать, чтобы ссылки брались только с разных категорий/подкатегорий, что было бы ну очень удобно... вариантов много для реализации. Можно, конечно, самому повыбирать ссылки с каждой категории и спарсить для тестирования, но... готовое решение в модуле будет намного удобнее... )
-
На сайте есть группы, в которые входят товары. Каждому товару соответствует одно групповое фото, но оно с ватермаркой. Но когда зайти на любой товар в группе, то фото там уже чистое ) Это пример из последнего парсинга.
