stas2010
-
Публікації
260 -
З нами
-
Відвідування
Тип публікації
Профілі
Форум
Маркетплейс
Статті
FAQ
Наші новини
Магазин
Блоги
module__dplus_manager
Усі публікації користувача stas2010
-
по роликам seo-спецов - еще актуальны, т.к. они потом дают дополнительные ссылки для перехода на страницу товара, что хорошо для поисковиков и поднимает в поисковиках.
-
С добавлением новых товаров почти всё хорошо, а вот с обновлением существующих не всё есть. Задача - дополнить товар из базы новыми данными, подкорректировать существующие: 1. Взять название с донора. 2. В это название добавить границу + взять из атрибута существующего товара значение и добавить также в название. пример. сейчас в магазине имеем "LED 9ватт" берем с донора название в виде границы Название {gr_1234} - "Светодиодная лампа 9W" Берем из границы Артикул (gr_5678) сам артикул - 1111111111 берем для товара с артикулом 1111111111 из атрибутов {[Свет]} - "теплый свет" и {[Температура]} - "3000К" дополняем текстом "(LED,)" склеиваем и получаем "{gr_1234} (LED,{[Свет]},{[Температура]})" и как результат - "Светодиодная лампа 9W (теплый свет, 3000К)". и тут опять приходим к тому, что это всё в конце надо подредактировать , убрав из полученного ",)" или ",," в случае пустых атрибутов. В Excel реализована обработка "вечного цикла", может сообщение выводить, чтобы проверяли, если такое встретится.... или писать, что данная граница не может быть использована, т.к. задействована в такой-то границе.... Еще на заметку. при создании таблицы есть "неудобство": имеем в текстовом поле: "Описание: Граница 1 Граница 2 Граница 3 Свободный текст" Предположим, что Граница 2 и 3 пустые, но задача составить текст с учетом того, что полная форма содержит значения всех границ, а если граница пуста, то и строку надо бы убрать. по-этому имеем на выходе: "Описание Текст из границы 1 ....... Свободный текст" а должно быть: "Описание Текст из границы 1 ....... Свободный текст"
-
при большом количестве границ такая граница затеряется, а в случаях, когда она используется будет "нарушаться" разметка, например, как при создании меток - лишние ",,,,", или в тексте описания лишние пробелы или переносы строк. С другой стороны как бы хорошо, если случайно удалил границу, тогда можно попытаться найти её код и заменить на пересозданную границу в том же месте.
-
так, для заметки... - если удалить границу парсинга (вчера случайно удалил, а кнопки восстановить или отменить нету - просто всё сразу сохраняется, что не есть гуд), то она везде и остается, где прописана была, с одной стороны как бы и хорошо, а с другой как бы и должна удаляться везде,
-
как вариант
- 13 587 відповідей
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
.del
-
теперь работает как надо, ну, по крайней мере пока не нашел ошибочных преобразований. кстати, заработали те "кривые" замены, о которых в личке писал, спасибо. а артефакты не только раньше в предпросмотре были - они и в таблицу переезжали. теперь и там и там порядок. еще как предложение - сделать переход сразу к предпросмотру, а не наверх страницы при нажатии "Предпросмотр", т.к. каждый раз листать вниз - не удобно. Кэширование донора - СУПЕР !!! А как добавить только новые ссылки в кэш, оставив старые? Вернее, обработать только новые ссылки, оставить старые и эти новые добавить в кэш к общему списку. Не хватает в модуле создание новой границы из нескольких границ, чтобы можно было потом эту границу в поиске-замене подшаманить. Например, если создавать список меток из атрибутов и других границ, часто часть из них пустые и получаются кучи ",,,,,", и т.п. можно бы было быстро исправить. И для удобства можно еще добавить после завершения парсинга строчку, например: Обработано ссылок: 1014 | Ссылок в очереди: 0 | Затрачено времени на парсинг: 00:01:30
-
пока не ставил еще версию с кэшем, но появились пару вопросов: 1. кэширует всё с картинками? (чтобы понимать к каким расходам по месту готовиться) 2. как мне кажется не мешало бы добавить еще кнопочку напротив каждой ссылки "обновить", чтобы можно было обновить конкретно выбранную страницу или набор выбранных страниц. это необходимо, если одна или несколько страниц обновились, а также, если ссылка с донора пришла битая/с ошибкой или т.п. - несколько раз встречал, что прилетают как хорошие страницы, когда банят за парсинг - в итоге получаем пачку неправильных страниц. эта кнопочка поправляла бы такие случаи и не надо парсить всё заново. можно реализовать просто, чтобы галочками выбирать, а вверху к "перекэшировать" добавить функционал перекэширования только выбранных ссылок.
-
Использую этот модуль (он же АОП в народе). До появления SimlePars использовал АОП и как парсер. Все ваши задачи решит, только разобраться с ним надо - функционал огромен. Также поддерживает крон.
-
да, спасибо, все заработало.
-
сегодня слетела активация шаблона и модулей. сайт разработчика http://3xns.waterfilter.in.ua/ не доступен.
-
надо бы для удобства проверки добавить счетчик строк и размер лога прямо на страницу в модуле.
-
не всегда так можно сделать - при парсинге с двух-трех доноров разных данных обойтись пачкой атрибутов нельзя, т.к. часто названия атрибутов на доноре отличаются от атрибутов своего магазина и тогда плодится куча похожих по названию и смыслу атрибутов, а если при этом еще у разных товаров атрибуты имеют одинаковое название, но разное назначение и при этом в магазине они разделены на группы, то просто впихнуть пачку атрибутов так, чтобы они правильно сопоставились с атрибутами своего магазина - не получится. ранее предлагал автору просто сделать кнопку "скопировать" или "продублировать границу" - тогда бы это упростило бы набивку одинаковых границ, в которых бы просто менял бы текст на новый. а так приходится каждый раз открывать какую-то границу и смотреть, как она настроена, чтобы сделать дубль. Да, реализация в броузерах по подсказке последних введенных значений - это хорошо, но кнопочка "скопировать границу" была бы удобнее.
-
да пофиг сколько фото и атрибутов. еще раз повторю - создаете заранее максимальное количество столбцов под фото - смотрите на доноре, например, нашли товар с максимальным количеством фото в 10 шт. Всё, это количество столбцов и резервируете, туда и кидаете фото получите что-то типа этого: Название колонки в прайс листе CSV - Значение Название - граница цена - граница фото 1- граница фото 2- граница фото 3- граница фото 4- граница фото 5- граница фото 6- граница фото 7- граница фото 8- граница фото 9- граница фото 10- граница Атрибуты - граница Здесь в границе для фото 1 - фото 10 можно границами вырезать каждое фото, либо просто вставить повторяющуюся границу, которая в результате заполнит ячейки для фото1-фото10 В итоге: Название|цена | фото 1| фото 2| фото 3| фото 4| фото 5| фото 6| фото 7| фото 8| фото 9| фото 10| Атрибуты | | | ||||||||||||||||||||||||||||||||||| товар 1 | 100 руб| 1.jpg | 2.jpg | 3.jpg | 4.jpg | | | | | | | Мощность| 96 Вт | Напряжение | 220 В||||||||||||||||||||||||||||||||||| товар 2 | 200 руб| 1.jpg | 2.jpg | 3.jpg | 4.jpg | 5.jpg | 6.jpg | | | | | Мощность| 96 Вт | Напряжение | 220 В|Ток|10 А||||||||||||||||||||||||||||||||| таблица никуда не съезжает. расширяется только вправо атрибутами, а остальное остается на своих местах. В том же АОП прописывает в "Номера колонок, содержащих прямые ссылки на фото , через запятую или текст начала,конца парсинга" - 3,4,5,6,7,8,9,10,11,12 - возьмет все фото из заполненных колонок.
-
про юсер агент - почему бы сразу в модуль не вписать готовый набор агентов и других примеров по-больше? а пользователь пусть лучше удалит лишнее, чем ищет где-то и вписывает неправильны значения.
-
я давал методику создания таблицы несколько страниц назад. если кратко, то после статических данных, как Название, цена и т.п., где одно значение = 1 столбец, размещаем столбцы с картинками - на практике картинок более 15 шт очень редко встречается, соответственно просто заранее выделяем для картинок это количество столбцов после статических данных. В АОП, например, сразу задаем номера столбцов для всех 15 картинок, если их там не будет модуль просто проигнорит пустые. После вставляем столбцы с атрибутами. В таком порядке таблица не деформируется. получим таблицу вида, например, для трёх картинок: Название|Цена|Описание|Производитель|Картинка 1|Картинка 2|Картинка 3|Атрибуты --->|
- 13 587 відповідей
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
не увидел возможности выбора для тарифов e-commerce. также по опыту могу сказать, что оплаченные заказы для некоторых видов товаров выгоднее отправлять заказными письмами.
-
@Rassol2 если человеку надо, то он разберется. когда мне нужно было, то читал по тому же АОП чуть ли не всю ветку, так и по другим модулям. для начала, чтобы узнать что за модуль, отзывы, его функционал, только потом покупал. ну ввели вы эти долбанные регулярные выражения, которые мне мозг выносят, т.к. с наскока невозможно в них врубиться... ну что с этого - кричать "удалите модуль, т.к. он не для всех?" или винить автора в том, что есть функционал не для моего мозга? ну не пользуюсь я этой функцией сейчас. будет время - сяду и разберусь. а так, в описании не было написано, что это модуль "в один клик". да, модуль развивается, да, описания устаревают. но, появляются и новые. а то, что непонятно - спросите тут в теме, и получите ответ не только от автора. у автора есть своё первоначальное видение реализации функционала. он реализует это по-своему. далее пользователи высказывают свое "фе" или "одобрямс" и предложения по улучшению. и это нормально. так и строится рабочий инструмент. честно скажу, что такой поддержки как тут не хватает в 99% случаях. автор очень много просьб пользователей по увеличению функционала уже реализовал. да, часть моих, часть других. какой-то частью функционала я пользуюсь, которую освоил, а есть функционал, который лично мне нафиг сейчас не сдался, или нет времени на его освоение. с другой стороны, авторы правильно пишут - изучи демо, а потом покупай. на такие высказывания лично я уже перестал реагировать по одной лишь причине - сейчас программистами считают почти всех, кто сидит за компом и что-то делает. даже, если у них в трудовой книжке записана профессия "программист" - это ни о чем не говорит. языков программирования множество, и профи, которые действительно владеют несколькими языками на профессиональном уровне - единицы, которые работают на солидные корпорации. да и сами между собой постоянно ведут баталии о правильности и чистоте кода. Согласен, что автор не супер-мега программер, хотя он это и не скрывал с самого начала - читайте форум сначала. а то, что человек развивается и растет в профессиональном качестве на глазах - похвала ему. может с точки зрения супер-профи код и не достаточно профессионален, но с точки зрения функционала - довольно работоспособен, а если имеются косяки, то они, в отличии от большого количества других модулей, исправляются регулярно и в довольно короткие сроки. geepis, если вам модуль интересен, но вы видите, что имеется функционал, который можно как-то улучшить , упростить, расширить - предлагайте, много идей уже реализовано. а нашли косяк, баг - пишите тут. никто за всё время существования этой ветки такие посты не удалял. а автор наоборот, если вы всё-таки читали ветку, признает наличие косяка и с выпуском обнов пишет о том, какие исправления сделаны. а о простоте модуля - возьмите другие модули для парсинга и сравните, тогда поймете, что в этом модуле как раз знаний языков программирования надо минимум. я в свое время пытался пользоваться дорогими модулями для парсинга, после которых вообще поставил крест на теме парсинга из-за больших затрат времени и реально было тяжело разобраться в функционале, даже с большим опытом работы. поверьте, здесь всё намного проще. однако, если вы в школе не учили html, то тут действительно будут проблемы. вы как обыкновенный человек не можете знать всё, но у вас есть знакомые программеры, которые могут вам помочь настроить модуль. если уже и они не в состоянии этого сделать, то это говорит уже о их квалификации. хотя, тут подойдет выражение "кто на что учился". как и писал выше программе на си не обязан знать html, php и другие языки, если это ему не требуется для работы.
- 13 587 відповідей
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
полезная вещь. а в подсказки можно ссылки добавлять? было бы не плохо помимо краткого описания вставить ссылку на страницу инструкции на вашем сайте, т.к. всё-равно в ответах ссылаетесь на свой сайт - меньше бы вопросов возникало (или больше ). мда... посмотрел реализацию функции подсказок в опенкарте - вроде нельзя.
-
сейчас полетят камни..... а по делу - чтобы не спарсить весь интернет , можно просто добавить уровень сканирования, т.е. если уровень 1, то сканируется только одна страница и ссылки берутся только с нее, если уровень 2, то по полученным ссылкам собрать еще ссылок. Да, понимаю, что количество полей разрастается, но можно это и в список выбора внешних ссылок вставить изменив на "Внутренние и внешние ссылки (1 уровень)" и "Внутренние и внешние ссылки (2 уровня)" или что-то подобное. Сомневаюсь, что больше двух уровней понадобится, т.к. это уже получится парсинг другого сайта со своими настройками, хотя встречал сайты, где часть товаров лежало на другом домене, например, основной был site.com, а дополнительный - site1.com/led или led.site1.com . хотя чаще всего дополнительные домены и поддомены используют для хранения картинок на других серверах.
-
EAN, ISBN. размеры тоже бы не помешали, а также вес нужен. Вычитать со склада, Отсутствие на складе - тоже необходимо заполнять при создании/обновлении товара. Выбор единицы измерения и веса - под вопросом. порядок сортировки не помешал бы - иногда может пригодиться
-
есть такая проблема и неудобство - после каждого действия жать "сохранить". По поводу дополнительных категорий. Если в модуле есть/будет возможность добавить товар дополнительно в еще одну категорию, тогда проблем в реализации вообще нет - просто создаётся граница по хлебным крошкам и далее добавляется к товару новая категория. реализация не сложная, особенно для тех, кто клонирует дерево категорий. сложно будет тем, кто сопоставляет категории как в АОП. хотя и тут нет сложностей - просто создать заранее соответствия. тогда взяв хлебные крошки можно будет запихать товар сразу в кучу категорий.
-
именно про это и писал. можно по-умолчанию сделать, чтобы внешние источники отсекало. хотя некоторые используют доп.домены про уровни вложения ссылок писал с самого начала, как видно, поклонники появились. во многих парсерах отключение внешних ссылок присутствует. кстати, варианты вложения не только по уровню имеются типа, www.site.com/level2/level3, но и не надо забывать про поддомены, типа, level2.site.com, level3.site.com. да, сейчас как бы всё стандартизируется и все сводится к обработке каких-либо стандартных движков, но такие случаи тоже встречаются.
- 13 587 відповідей
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
еще добавить к уровням - не брать внешние ссылки
-
это опять возврат к теме доп символов и к самой таблице..... временное решение, как и ранее, найти таблицу соответствия символов (например, https://web-developer.name/urlcode/) и внести правило замены кодов на символы в поиск-замену. тогда всё пройдет. т.е. надо будет в поиск-замене для данной границы (полученной вашей ссылки) "%D0%А1" заменить на "С". и так для всего алфавита и необходимых символов. это известная проблема, но далеко не везде решенная, и приплывает из различных источников - из ссылок, с html-текста, из прайсов и т.д. В АОП максимально решена, в этом модуле пока частично, но можно ручками дописать правила в поиск-замене. так что проблем в решении задачи пока не вижу.
