Axelenz
-
Posts
736 -
Joined
-
Last visited
Content Type
Profiles
Forums
Marketplace
Articles
FAQ
Our New
Store
Blogs
module__dplus_manager
Everything posted by Axelenz
-
Благодарю... сейчас и попробую ) А то слишком много приходится возиться в Excel, а зачем, если всё это можно в модуле прописать и... enjoy the quiet )))
-
Как вариант решения - добавить ещё одну колонку, где в чекбоксе можно будет насильно указать, какой тип данных должен быть в этом поле. Если там находятся цифры - то и так понятно, что с ними можно делать. А если там находятся текстовые данные, а поставить галочку "Тип данных - числа", то чтобы модуль делал, как вариант, подсчёт количества символов в этом поле и операции делал уже с этими данными. Кто знает, может кому-то и понадобится делать подобный подсчёт, как вариант...
-
Так а на вкладке CSV/Парсинг это не предусмотрено ? Мне, например, всё равно, что на вкладке Парсинг в ИМ, я с ней никогда не работаю...
-
Хоть и несколько не обычно... нужно будет забыть правила арифметики начальных классов (и это необходимо будет прописать большими рыжими буквами, чтобы потом не было вопросов, а как оно так считает), но не смертельно... зато можно получить в итоге желаемый результат ) А то не так давно пришлось парсить сайт и одним из условий было - замена артикулов (использовался id товара)... Пришлось придумать способ, чтобы на лету при парсинге сразу же менялся автоматом и id товара так, чтобы при дальнейших парсингах можно спокойно обновить товар. Решил задействовать для этого поле Наценка и в итоге на выходе получал уже готовые инвертированные не узнаваемые id ))) P.S. Почему не использовалась возможность Захешировать ? Мне кажется, что это уже слишком избыточно и несколько неудобно для визуального восприятия ( А так, зная формулу конвертирования, я в уме могу получить реальный код товара на сайте доноре...
-
Да, пожалуйста, самый минимальный набор математических действий, типа "+","-","*","/". Ну может ещё и сами что добавите, типа округления и пр.
-
Поддерживаю, сам недавно столкнулся с необходимостью изменения цен "на лету", чтобы не задействовать потом Exel.
-
Конечно можете, если сайт имеет примерно такую форму ссылки: site.com.ua/catalog/product/view/id/10691/ где 10691 и есть интересующий артикул.
-
Благодарю. Это хорошо, что Вы не удаляете, а идёте только по пути расшинения. Если что-то не понадобилось сегодня, это ещё не значит, что оно не может пригодиться завтра... Интересные доработки... жаль, сейчас пока всем всё спарсил ) А как можно реализовать следующую схему. Например, я спарсил сайт-донор. Получил прайс с артикулом, наименованием товара, количеством, ценой, фото, описанием и атрибутами. А через неделю мне необходимо сделать обновление по наличию товара и цене. Сейчас для этого я использую ту же форму, что и для парсинга всей информации с донора, только добавляю, например, нули "000" в границы парсинга, чтобы не парсилась лишняя информация. Потом при получении прайса удаляю этот мусор. Но всё равно это несколько неудобно, поэтому удобнее создавать по несколько форм. Можно ли добавить ещё один столбец на вкладке "CSV/Парсинг" после "Выбор параметров парсинга", где можно было бы в чекбоксе ставить подтверждение парсить эту границу или пока пропускать (т.е. в прайсе столбец сохраняется, но данные по нему В ЭТОТ РАЗ НЕ ПАРСИТЬ). На выходе мы получаем всё тот же прайс, по столбцам аналогичный прайсу, как при полном парсинге сайта, но теперь данные заполнены только в нужных столбцах, например: артикул, наличие и цена. Тогда получается, что можно избавиться от дублей форм для парсинга. А то сейчас одна форма для полного парсинга, вторая только для парсинга наличия и цены...
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
*
-
Можно создать отдельную вкладку, между вкладками Сбора ссылок и Настроек парсинга, где обрабатывались бы ссылки до процесса парсинга, например сортировались бы и т.п. А если туда подбросить ещё проверку на заполнение указанных границ, например: Показать все ссылки без данных "Цена" или без "Фото". И указывается при этом количество таких ссылок. Тогда можно найти. например, ссылки, границы которых не захватили цену, фото и пр. данные... Фактически то же самое, что мы делаем вручную в Excel, но уже после того, как всё спарсили... а если это можно будет проверить до того, т.е. получить предварительные итоговые данные по парсингу, то это будет интересно...
-
Интересно было бы иметь возможность (насколько это вообще возможно в реализации) некоторой сортировки ссылок. - сортировка по времени добавления товара (фактически по id) - сортировка по категориям - сортировка по алфавиту
- 13,360 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
софтина из прошлого, которая позволяла скачивать сайты как целиком, так и файлы с разными расширениями...
-
У меня наглости не хватило просить, сделайте ещё и что-то типа Teleport Pro...
-
Как вариант. На вкладке CSV/Парсинг внизу под " Использовать проверку границ? " добавить ещё "Скачать фото с описания, если есть." и указать папку, куда поместить. На основании указанных данных прописывается путь к фото в описании... Но каждый раз при новом парсинге на этой вкладке затирается указанная папка, чтобы не дублировать фото. А для этого пишется предупреждение, что папку для фото необходимо указывать новую, а не существующую с данными. Или, как вариант, создаются каждый раз новые description_200709_1524 т.е. с префиксом даты и времени для уникальности... А на вкладке "Парсинг в ИМ" можно сделать поле выбора, откуда брать фото для описания, парсить или с указанной папки... Теперь о плохом... Допустим, у донора специфическая CMS и у всех товаров в описаниях фото имеют одинаковые названия типа img1, img2... img9. Тогда вариант с папками в description 0-9 не проходит. Тогда варианты или создавать в дескрипшин подпапки по артикулам товаров или использовать существующие цепочки подпапок донора...Второй вариант даже предпочтительнее.
-
Из хотелок... Не хватает возможности получения фото из описания у донора при парсинге не в ИМ, а при работе на вкладке CSV/Парсинг. Ведь не все парсят товары только для своего магазина...
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Из хотелок... Можно было бы сделать для удобства на вкладке CSV/Парсинг возможность вставлять в поле "Значение" переменную текущего времени. Например: {time} или {Y-m-d H:i:s} чтобы можно было использовать это для полей типа заметок...
-
На некоторых сайтах в описании используются символы греческого алфавита. Столкнулся с такой проблемой, что до греческой буквы текст парсится, а если границу указать после неё, то описание не парсится... провозился с этим... Единственно, что помогло - указание замены по типу: α|α β|β ... или лучше использовать Юникод α|U+03B1 ? А можно и так заменить: альфа- бета- ... (например, при парсинге витаминов и пр.). Но может есть какие варианты получше ?
-
Как для меня, то явно не хватает кнопки, которая очищала бы полностью все данные проекта. Зачем это необходимо... Например, я занимаюсь парсингом для других, поэтому у меня в SimplePars десятки разных проектов. Но некоторые старые проекты уже не нужны и я их очищаю, чтобы туда вносить данные уже по новому проекту. Сейчас это неудобно, по каждой вкладке ходить и всё не забыть убрать ((( Намного удобнее было бы сделать (как я порекомендовал Вам ранее сделать предупреждение по удалению ссылок) кнопку типа "Очистить проект", где при нажатии спрашивалось бы: "Сейчас будут удалены настройки на всех вкладках. Вы уверены, что хотите очистить этот проект ?" и при утвердительном ответе проект будет очищен (именно указанный проект, а не все!). Очень быстро и удобно. Спрятать эту кнопку лучше всего подальше от любопытных глаз, дабы не было желания тыкать на неё каждые полчаса... например, во вкладку Импорт/Экспорт Настроек...
-
У меня сейчас примерно сходная проблема (на локалке)... примерно через 10 минут парсинга меня выбрасывает с личного кабинета, а без кабинета не могу получить оптовые цены на товар, только розничные ((( Для решения проблемы сочиняю скрипт, который будет отслеживать время работы парсера и через каждые 9,5 минут останавливать парсинг сайта, выходить с кабинета, снова логиниться в кабинет, стягивать новые cookie, записывать новые данные в cookie.txt и потом дальше запускать парсинг... Не удобно для парсинга 10,000 товаров, а по другому было ещё неудобнее, много ручной работы... Если кто подскажет варианты, как упростить, буду благодарен )
-
Я парсил Розетку под заказ... согласен, что это несколько трудозатратно, но вполне возможно, если создать правильный алгоритм, по которому можно это сделать. А есть ещё категории Розетки, которых совсем не мало ))) ... я создавал заказчику на Opencart копию нескольких тысяч категорий Розетки... P.S. Парсил ещё год назад, когда модуль не обладал такими продвинутыми возможностями, как сейчас )
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
У Вас уже есть часть отладчика в виде "Предпросмотра". Вот, как вариант, можно его вынести на отдельную вкладку, допилить его под функциональный отладчик... Там не хватает только внизу выведения сообщения об ошибке с логов и чтобы можно было подхватывать, например, не одну ссылку, а как вариант, десяток первых ссылок с файла, который будет автоматом создаваться с не правильно отработанными ссылками...
-
А вот за это спасибо огромное... При парсинге десятков тысяч ссылок контроль за выполнением поставленной задачи и возможность исправления будут очень кстати. Как вариант, как можно было бы реализовать это: на вкладке CSV/Парсинг можно добавить ещё одну колонку, где в виде чекбоксов можно ставить галочки по типу: "Поле обязательное для заполнения". К примеру, если поставить такую галочку в строке наименования товара, артикула, цены... то понятно, где эти данные не спарсились там и есть ошибка! Можно было бы и вынести поле типа: "По окончании парсинга повторный проход по ссылкам, где найдены ошибки". Кому критично - поставил галочку и может за вторым проходом что-то и закроется... Я бы не рекомендовал ставить подобную процедуру автоматом, поскольку люди, которые не сильно разбираются в модуле могут его просто зациклить, указав неправильные границы парсинга...
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Согласен с уважаемым разработчиком, парсить Розетку вот так сходу в лоб не получится. Но я парсил под заказ Розетку и если нужно, то всё возможно, если конечно заказчик готов платить за "терпение" ) К сожалению, приходится постоянно работать только с "неудобными сайтами" для парсинга, типа Розетки или сайтов для дропшиппинга ) Парсю только тысячи, десятки тысяч товаров... Если есть реальная необходимость спарсить что-то подобное и желание заплатить за подобную работу - обращайтесь.
- 13,360 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Подскажите, пожалуйста. А возможно ли реализовать такой функционал, чтобы экономить время на парсинг. Например, проверяем, поле товара, где указывается наличие и если там данные "Нет в наличии", то остальные следующие за этим поля вообще не обрабатываются, происходит переход на вторую ссылку, а может и даже не происходит запись этой строки в файл csv, по желанию. Т.е. кому важно парсить лишь товар в наличии, ставит одной из первых позиций проверку по наличию и экономим время на парсинг и на поиск и удаление товаров по наличию. И чтобы это было выбираемо использовать функционал или простой парс. Т.е., чтобы была какая-то логика типа останова по условию... Я запустил сейчас парсинг на примерно 9,000 товаров и знаю, что из них в наличии около 3,000, а парсить то придётся все 9 тысяч, чтобы потом 6 из них просто удалить с массой не нужной мне спарсенной информации (((
-
2. - не вариант, когда категорий, например, с полтысячи... А как использовать на вкладке Сбор ссылок оператор {skip} в данном примере ?
