Rassol2
-
Публікації
11 576 -
З нами
-
Відвідування
Тип публікації
Профілі
Форум
Маркетплейс
Статті
FAQ
Наші новини
Магазин
Блоги
module__dplus_manager
Усі публікації користувача Rassol2
-
Здравствуйте. Опишите что и как нужно парсить. Категории и так далее, что бы было понятно обьем работы и какой результат вам нужно в финале. -
Если и будет загрузка прайс листов то только csv. Другое вообще пока не рассматриваю. Xml / yml уже есть.
-
Над этим думаю. Уже есть наброски парсера xml 2.0 который может ускорить процес обработки xml раз в 100 , только еше все на уровне моих внутренних бета тестов. Если вcе пройдет успешно то прокаю xml и реши вопрос с внесением правок в файл. Но во второй волне обновления парсера xml.
- 13 150 відповідей
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
@buslikdrev Еше сразу сам скажу что бы не тратить на это время. 1) мой модуль не может парсить сайты где необходима обработка javascript 2) сейчас все чеше стали попадатся сайты с авторизацией где используются токены. Тоже пока никак. 3) Мой модуль не может парсить эксель документы. Все же он создавался как парсер сайтов. 4) В кроне, нельзя указать время переходящие через сутки. То есть время выполнения задания вот в таком параметре работать не будут 22-04 5) дизаин, js в интерфейсе, свистоперделки, что бы все без перезагрузки, короче все блага веба. - Этого тоже нет. Это вот прям основная боль моя. Первые 2 должен был решить в 22-23 году, но не сложилось. 3 - не планировал делать, но сейчас все чаше люди пишут что нужно. 4 - это отдельная боль которую нужно переработать. 5 - Даже никогда не загадывал когда это делать, всегда есть дела по важнее учитывая что это вообще моя слабость. Любой продукт это баланс. Есть плюсы и минусы, и если плюсы перевешивают то у продукта есть спрос а если нет то нет. Вот сейчас для меня это основные задачи.
- 13 150 відповідей
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
И за ним вылетит наряд из ЦРУ. Вам не кажется что вы вот прям вытягиваете все из пальца ? Я не знаю сколько тысяч доноров была спарсено и что то не было таких прецедентов. То есть вы можете засветить домен при пред просмотре, кошмар. А то что при парсинге тысяч страниц вы светите свой ip это вас не волнует? Вы серьезно хотите продавить ноту того что это настолько важно что прям вот нужно с этим что то делать? Мне даже интересно что же все таки затрегерило эту историю, я тут сижу с вами переписываюсь и смотрю кто нас в этой теме посещает. Интересные гости.
-
Знакомитесь дальше, а я вам помогу с этим. Вот здесь описаны все изменений которые были сделаны в модуле, и все они были сделаны потому что мне писали клиенты. https://opencartforum.com/files/file/6362-simplepars-universalnyy-parser-dlya-im/?tab=changelog Это говорит о том что вот этот текст что вы написали. Не имеет ни какого смысла. Давайте подытожу, если что то упустил напомните. Скрипты, нет подсветки синтаксиса в модуле. И не будет, я не считаю что это та задаче которая сейчас важна, возможно в будущем когда совершенно нечего будет делать. Для написание 10 трок и обычное поле подойдет, а что то серьезное нужно писать в соответствующем софте. Хотя может вы мне подскажите любой модуль где есть возможность расширять функционал скриптами и там есть подсветка синтаксиса, хоть оценю как другие решают это задачу. На моей практике в лучшем случаи нужно в коде где то расскоментировать строку и подключить внешний скрипт. А то получается сделал я пользователям окошко для просмотре кода, и тут недовольстве. Нет экспорта скриптов. Нет, и тоже не планируется, так как скрипты это уже выход за пределы обычного пользователя, и я ожидаю от клиентов которые могут расширить функционал модуля через скрипты большей самостоятельности. Это люди которые способны решать задачи самостоятельно. А экспор и импор скриптов где могут быть разные id в разных сайтах, приведет мягко говоря к проблемам, есть слово по жоше. Соответственно человек который занимается скриптами должен иметь прямые руки, и вот много того что сделано вокруг этой функции является неким порогом входа. Это вы еше не упомянули тот факт что в инструкции написано, технический поддержка модуля с включенными скриптами не предоставляется. Если у вас есть проблемы отключаете все скрипты и проверяете, если проблема осталась я помогу, если скрипты включены нет. Потому что через собственные скрипты можно все что угодно сделать, даже сломать все. Над тем что бы использовать один скрипт всегда я подумаю. Переименовывать название фильтров в сборе ссылок. Я не буду, не вижу смысла. Тут вам угожу, кому то нет. Жалоб от массового потребителя не было, значит я на верном пути. Номер ссылки которые прогружен в сборе. Тоже не планирую, ну это прям ребячество. До вас как то справлялись все. Даже не знаю что сказать тут. Дизаин. Да тут я не спорил, это мое слабое место. Мог бы давно поправил. Если у меня стоит вопрос что сделать, загрузку файлов или дазаин я иду делать загрузку файлов. Тут каюсь. Инструкция. Очень бы хотел что бы все вне было. Тут идеала нет. И моя не дотягивает до современных стандартов я согласен. Вроде пока все. Но я уверен вы еше напишите. Так что смело продолжайте.
-
Я вам написал что я этого делать не буду? Анука сходите в переписку и почитайте. Не нужно делать за меня выводы и писать что я буду делать а что нет. Проявите немного уважения. Я же за вас не говорю.
-
ну комон это явно не проблема модуля. И что тут не так ? Вас не устраивает слово Универсальный ? Или то что нужно лазить в документацию. Второе не может не устраивать так как это логично. Но если вас не устраивает слово Универсальный, и вы считаете что мой модуль не должен иметь это слово в названии, напишите мне что угодно где есть приставка универсальный и вы согласный что там это уместно. Хочу понять ваши критерии. По поводу рекомендовать. Можете этого не делать, я вас это не просил и писать мне такое ну мягко говоря бессмысленно. Я вам даже больше смкажу, вы его порекомендовали и вы на нем зарабатываете. Рекомендуйте то что вы считаете достояний. А я буду стремится попасть вашу милость. И еше больше скажу, здесь есть 3-4 исполнителя которые делают заказы на базе моего модуля, и я никогда не писал ни одному из них просьбу что бы они рекламировали мой модуль. Хотя они являются непосредственно выгодо получателями. Могли бы сидеть в ветке поиска исполнителей, предлагать мой модуль а потом еше и делать заказы на нем как вы сейчас. Но я никогда о таком не просил и просить не буду я считаю что каждый должен рекомендовать то что они считает полезным, не смотря на то что хочет автор. И вшам случаи только вам решать рекомендовать или нет, я тут совершенно не причем.
- 13 150 відповідей
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Интересно зачем это для кода скриптов если он все равно будет выполнятся тогда когда выбрано в меню, ну да ладно. либо возможно вы не понимаете смысл этих номеров. Там всего 100 ссылок для быстрого доступа. И номера там от 0 до 99 что бы человеку было легко тестировать. Он запомнил какой код в ссылке 45 и какой код в ссылки 17 и переклацывает их для проверки границы. Зачем ему там показывать id ссылки 6312220 ? Человек не лошадь, у лошади большая голова что бы такие цыфры запоминать, а я к клиентам более бережно отношусь. Ну а если серьезно это уже прям на пустом месте высасывается. Не понимаю зачем вам это. Вот сюда жмете и настраиваете без открытия iframe Просто сайт у вас будет доступе в следующей вкладке браузера а не в iframe это же не проблема. ну и опять же, не я придумал технологию iframe и говорить что это косяк моего модуля ну такое себе, опять же из пальца. Я вам сразу сказал что мой модуль как раз и пример этого стремления. Я вам опишу в чем моя притенения сейчас уже к вам. Раз другие доводы вы не услышали я попробую максимально все предоставить понятными образами. Представьте у вас знакомы который сам строит себе дом. Большой дом в одну каску. Вот он строит и строит, делает ремонт возводит этаж за этажом. Где то ремонт уже в ноль готов, а где то еше стены в шпаклевке. И вот вы приходите в такой дом и говорите. Блин я бы тут по другому сделал, а вот это вообще не доделано. А вот тут я бы диван побольше поставил. Короче дружившие, вот ты строил все это а я пришел и разочаровался. Ну то есть вы не оценили ни капли проделано работы, а просто пришли так сказать ... А я хочу заметить вы даже не являетесь покупателем модуля. Я пока что не знаю в чем смысл вашего похода, но поскольку вы решили не писать про аналоги паресеров я предположу что мой самый лучший и это является причиной того что вы пришли сюда. А значит, пожалуйста пишите вашу критику, критика помогает мне развиваться. Даже такае неконструктивная. Я все равно свои выводы вынесу из данной беседы.
-
Есть вот. Я и пишу скрипты в полноценном редакторе. Через фтп. Форма в модуле это так что бы поправить какой то параметр. Я честно говоря даже не думал писать какой то редактор для написания сриптов. Тот кто умеет писать сделает это и без встроенного хитро мудрого редактора, а кто не умеет ему и редактор не поможет. Нет ничего идеального. Да это косяк моего модуля. Тут я даже спорить не буду дизайнер с меня еше тот. Косяк 100% Даже не знаю за чем это может быть нужным. За почти 5 лет никто о таком и близко не спрашивал. Но что бы вам было проше я вам подскажу куда смотреть. Оп! А я к примеру всегда путаюсь когда нужно на курс валют посмотреть, и вот одно называется покупка а другое продажа и когда я хочу продать доллары и купить гривны всегда в гугл вбиваю не то значение. У каждого из нас есть слабые места, где вам что то не понятно, а есть и то где мне не понятно. Главное что у основной массы вопросов нет, а значить все хорошо. не волнуйтесь работает. Как и много чего еше не хватает. Фрейм передает донору информацию о том где открылся сайт в фрейме. А можно его кстати не открывать. Но точно не передает информацию о том кто его парсит. @buslikdrev Ну в прочем основной наратив я ваш понял. Давайте продолжим эту беседу при условии что в первом же вашем сообщении вы напишите имя модуля парсера, который больше подходит по вашим описаниям, ну тот которому мой уступает. Если нет такого, то не вижу смысла продолжать эту беседу. Я вам сразу ответил что мой модуль не идеален и он не может быть идеальный для каждого. Я стремлюсь и развиваю его. Сейчас конечно меньше чем раньше. Времена другие мягко говоря. И да я понимаю что мой модуль никогда не будет идеальным для всех, но он развивается и как мне кажется сейчас он ближе к массовому потребителю чем аналоги. Я тут вспомнил такой пример. Тесла, электоро кар, шумка говно, зазоры говоно, автопилот не все распознает, Илон Маск тоже говно, но если покупать электро кар то только Теcлу, говно говном ну лучего электрокара пока несушествует.
- 13 150 відповідей
-
- 3
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Здравствуйте. да все верно определили где поправить, так же нужно увеличить количество символов в поле базы данных. По поводу второго вопроса, вот так прям легко не добавить, Одной строкой кода тут не обойтись. Так как на идентификаторах товара много чего завязано.
-
Пока что никто не изобрел кнопку при нажатии которой все будет как надо. В том числе и я. Главная цель у модуля стремится к этому, чем и занимается.
-
Обновление v4.9-6_beta Новый функционал => Парсинг файлов в товар!!! Давно не было нового функционала, и по этому писать о нем в два раза приятнее. За этот релиз можно сказать спасибо @mykolakozlov Данный пользователь оплатил разработку скрипта по загрузке файлов в опенкарт. Так как тз было приближено к общим боевым проектам я решил добить этот вопрос и внедрить этот функционал уже как встроенный. Так что рекомендую и вам @mykolakozlov обратить внимание на данный релиз, так как начиная с этого релиза будет поддержка нативной загрузки файлов. Как это работает. Вам нужно составить границу париснга вида. Ссылка на файл{csvnc}Имя файла{csvnc}Ссылка на файл{csvnc}Имя файла{csvnc}Ссылка на файл{csvnc}Имя файла{csvnc}Ссылка на файл{csvnc}Имя файла Пример После чего указать эту границу в разделе Парсинг в ИМ => Файлы И не забыть выбрать добавлять при создании товара, или При обновлении товара, так как по умолчанию работа с файлами отключена, да бы не тратить на это время. Если в общих чертах то это все что вам нужно что бы загрузить файлы в товары, все остальное модуль сделает за вас. Подробности нюансы. Вы можете так же задать директорию куда именно грузить файлы. По умолчанию это та же директория куда грузить сам опенкарт, но я добавил от себя под директорию product что бы отделить файлы для товаров от чего то другого. /system/storage/download/product так же обратите внимание что в поле директория можно указывать границы парсинга и оператор {rand} и все это будет работать по аналогии. То есть вы можете создавать директории для хранения файлов хоть на категорию хоть на отдельный товар, то есть как обычно максимально универсальное решение для хранения ваших файлов. Пред просмотр. В пред просмотре вы всегда сможете посмотреть информацию о файлах что будут скачаны. Так же отдельное внимание всегда должно быть приковоно к отладочной информации по парсингу файлов. Она находится на странице пред просмотра только ниже Здесь вы всегда увидите ссылки и название файлов. То есть проверить правильность составленных данных. Логи. В логах вы всегда увидите информацию о том какие файлы спарсились какие нет и все ответы серверов. Особенности!!! Понятное дело что я не волшебник и сломать законы физики или настройки вашего веб сервера я не могу, по этому нужно учитывать следующие. Файлы могут весить много, и грузится они могут долго. По этому в модуле установлено ограничение на время загрузки. Все файлы должны успевать загрузится за 20 секунд. Объясняю почему так. Время выполнения скриптов на хостингах по дефолту установлено в 30 сек, и весь цикл загрузки товара должен завершатся за этот период. В это время входит ожидание ответа сервера на загрузку страницы, обработка вседанных что вы загрузили, создание товара обнвление, по путно проверку и создание всего того что вы указали в товаре, загрузка фото товара, а их может быть десять и двадцать, и непосредственно загрузка файлов. И что бы модуль не зависал и за ограничение времени выполнения скрипта на хостинге в момент когда он ждет полную передачу файла большого обьемя, я установил это ограничение. Но есть и хорошие новости модуль будет грузить файлы в много потоке по 10 файлов за раз. Это ускорит максимально парсинг, но ни как не поможет если у вашего товара будет архив размером в 100мб Сразу отвечу. Увеличить время ожидания загрузки можно, и подскажу как кому это будет нужно, и когда это будет актуально. Не хватает времени или хотите ускорить парсинг с файлами ? Вам не ко мне а к вашему хостеру, там можно поднять время выполнения скриптов или увеличить пропускную способность интернет канала что бы все загружалось в доли секунд. (Если интернет канал донора широкий, в чем я сомневаюсь. ) При обновлении!!! Если у вас есть психическое отклонение под названием мания обновления и вы считаете что файлы в товарах обновляются каждый день: (а поверте мне таких 50% , люди которые каждый день обновляют изображение товара. Они же будут и обновлять файлы.) Помните!! При обновлении нужно выбрать пункт обновлять товары с ФИЗИЧЕСКИМ УДАЛЕНИЕМ !!!! Это поможет вам не забить дисковое пространство на хостинге за 2-3 дня. А так же помните парсинг файлов, замедляет процесс парсинга очень сильно, так как загрузка файлов на диск это время которое мы не можетм ускорить, и подумайте 100 раз прежде чем включить обновление файлов при обновлении товара. При физическом удалении модуль будет удалять файлы которые привязаны к товару которые обновляется. И загружать заново. При обновлении не забываем выполнить ./inst.php и поставить лайк кому это было нужно, оставить отзыв на модуль
- 13 150 відповідей
-
- 6
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Скиньте доступ к админке и фтп в личные сообщения, сегодня попробую посмотреть. Изь всего могу предположить какой то спец символ в имени границы париснга. К примеру апостроф, или \ Двойные ковычки. Что то такое может ломать работу js , но что это точно смогу сказать только после того как посмотрю.
-
Ну тогда и я оставлю тут в качестве рекламы.
-
Попробовать найти в коде страницы ссылку которая содержит слово page и попробовать прогрузить такую ссылку через модуль. Если page=2 даст вам другие товары, тогда собрать или генерировать все страницы пагинации. Если пагинация работает исключительно через js тогда собирать все ссылки через карту сайта. Так как модуль не может обработать js код.
- 13 150 відповідей
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Это загадка даже для меня. А к примеру в разделе допуски париснга добавляются колонки ?
-
Здравствуйте. Раз вам не подходят готовые модули которые это умеют. Готов рассмотреть ваше ТЗ вместе с примером. если конечно бюджет измеряется в сотнях долларов а не в десятках. Если в десятках то рекомендую пересмотреть готовые модули.
-
Донат заработанных денег Украине. С 01.08.2023 по 31.08.2023 включительно. Было продано на сумму 49$ По традиции добавлю еше от себя. Подробности тут https://opencartforum.com/topic/184237-podderzhka-tgmarket-modul-internet-magazina-v-telegramme/?do=findComment&comment=1801116
-
не за что. Всего наилучшего.
-
Ну уверен что парсер не видит ссылку. по скришотам не понятно какая страница скармливалась модулю и какой код был в этой странице. Откройте ту страницу что вы показали на первом скришоте в разделе настройки границы парсинга и посмотрите какой там код. Что донор отдал модулю.
- 13 150 відповідей
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Здравствуйте. Суть вопроса не раскрыта от слова вообще. Отвечаю в лоб. Модуль подойдет любому у кого есть опенкар версии моложе 2. Модуль прекрасно установится и будет работать. Все остальное можете проверить на демо сайте. https://simplepars.top/index.php?page=note&n=23
-
@Vetlucky777 Он вам дал правильный ответ. Недостаток оперативной памяти. Причем не на сервере а под выполнение php И на это могут быть разные причины. Чаше всего это две причины. 1) Парсинг xml большого размера, да еше и с настройкой границы парсинга, где будет пару миллионов в значений повторяющейся границы. 2) Часто пользователи у которых 200 000 - 500 000 ссылок, желают увидеть все ссылки сразу и выбирают у себя показать 1 000 000 ссылок в проекте. И если озу мало то модуль запросит эти ссылки но получив их от базы данных уже не проглотит. Нужно повышать лимит.
- 13 150 відповідей
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Донат заработанных денег Украине. С 01.07.2023 по 30.07.2023 включительно. Было продано на сумму 27$ По традиции добавлю еше от себя. Подробности тут https://opencartforum.com/topic/184237-podderzhka-tgmarket-modul-internet-magazina-v-telegramme/?do=findComment&comment=1801116
