Rassol2
-
Posts
11,656 -
Joined
-
Last visited
Content Type
Profiles
Forums
Marketplace
Articles
FAQ
Our New
Store
Blogs
module__dplus_manager
Everything posted by Rassol2
-
я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это такая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было представить в виде ipv4 это какое то ......
-
индексы изменяются при каждом пчихе. Если вы про то что бы метить ссылки что они хоть когда либо в истории были спарсены. То нет такого индекса нет. А если банально понимать какие ссылки были пропарсены, то вот же.
-
Такие будут работать. Тут нет конфликта в оформлении.
-
У ссылок нет номеров. Это динамичные данные. Так что это сделать невозможно. Точнее сделать можно но это не будет работать так как вы описываете. Так как любые действия с ссылками могут менять их порядок. То есть гарантия порядка выдачи ссылок это надежда на то что база данных будет отдавать ссылки в том порядке что и раньше. А в документации Mysql написано что данные в таблице лежат неупорядоченно. Так что нет. А что такое блокировка и как ее отловить ? Считается блокировкой когда вас редиректит по 301 ответу, или по 302 ответу. Считается ли блокировкой когда вам отдают капчу ? Это не получится сделать ровно по той причине что блокировка она может быть разной. Тот же ответ 28 за 25 сек сервер не отдал ничего, так тоже донор блокирует.
-
@Reanimaster вы хотели адаптацию под IPv6 У вас нет проверенных рабочих прокси ? А то так и не скинули никто, вроде люди хотят, а по факту нет движения
-
Это реализовать не получится. Я забыл что в концепции можно указывать много границ одному полю. А это будет дублировать название колонки. Короче сильно много геморроя.
-
Над этим подумаю.
-
Это не получится так как в редиректы это 301 и 302 ответ сервера. А вот модуль автоматом помещает ссылки в списки с ошибками только в том случаи если страница ничего не отдала. И если приходит ошибка то модуль не выполняет работу над этим фалом. То есть если я сделаю 301 и 302 редирект ошибками, с пометкой, то такие страницы не будут обработаны, а это в корне не верно.
-
Пример PHP скрипта в SimplePars Скрипт для скачивания PDF в любую директорию магазина. Этот скрипт выполняет скачивание файла по ссылке. Ссылку на PDF настроили в границе парсинга {gran_38} Для скрипта эта граница находится здесь $script_data['form']['script_gran']['38'] Это максимально простой скрипт, тем не менее я прокомментировал все что бы вы могли по примеру делать.
- 13,430 replies
-
- 3
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Я подумаю над решением, Но проше пока не как.
-
Дайте рабочие IPv6 и и сегодня завтра сделаю поддержку.
-
Следите за данными что вы загружаете, особенно внимательно когда вы загружаете производителей или категории. Желательно всегда очищать эти данные от html кода. Поправил.
-
Обновление 4.6-2_beta Введено ограничение при использовании собственных PHP скриптов. При использовании скриптов модуль сможет парсить исключительно в однопоточном режиме. Не смотря на настройки потоков в проекте. Так же в одном проекте подключить один скрипт можно только один раз. В принципе все то что я описал три часа назад.
-
ВНИМАНИЕ!!! При работе с собственными скриптами вылез неприятный момент. Собственные скрипты использовать в много поточном режиме не получится, только в один поток. Это обусловлено пространством имен самого PHP и это я обойти не могу. Собственно есть два пути реализации этой функции, либо в один поток, и один скрипт можно использовать только один раз в в пределах одного задания. Либо полностью отказаться от возможности передачи параметров от парсера вашим скриптам. Что вообще не допустимо Так что скоро выйдет обновление которое ограничит возможность использование потоков в связке с скриптами, и использование много раз одного скрипта в приделах одной задачаи. То есть нельзя будет написать скрипт test.php и запустить его перед парсингом товара, и после парсинга товара. Или два раза после париснга.
-
В менеджере юрл вы можете отфильтровать ссылки по ошибками. Причем выбрать определенные ошибки. И удалить их из списка.
-
Напоминайте что я обещал сделать после реализации скрптов Пока будем набирать опыт работы с скриптами мелочи поделаю вокруг да около.
-
это сейчас там. А была отдельная вкладка под нее. И просили ее, типо удобно будет закешировать а когда будет время поработать с донором. И в кроне она есть. И как бы это все учитывается в обшей логике модуля. Усложняя все. Может дальше вообще выкину за ненадобностью, и кеш будет создаваться только в момент парсинга. То чем реально пользуются.
-
В массив $log добавите еше id языка. Затем найдите строку if($mark == 'addAttrToProductLog'){ Ну и там по аналогии поправите текст. Ваш id языка будет находится в массиве $data Короче все по аналогии.
-
Ну вы же понимаете что засунуть 100500 функций в модуль, и сделать полторы тысячи переключателей не будет проще. Я даже готов сказать что это не реально. Сложность модуля будет на том уровне, что ничего не добавить, ни сломав то что уже есть. Всем все равно не угадищ. Основная линия как была так и есть. Гикам скрипты. А еше это решит 2 важные для меня проблемы. 1. Иногда просят адаптацию под что то, что нужно одному. Я такое сделать в коде модуля не могу. А только для конкретного юзера. Он мне за это заплатит, так как я не могу это делать для него любимого бесплатно. Но он потеряет совместимость с основной веткой модуля, и все обновление для него недоступны. Если обновится моя работа затрется. А я не могу поддерживать основную ветку, и ветку для каждого с личной свистелкой. Скрипты это решают. Так как они не встроены в основную логику модуля. Как по мне это важно. 2. Как определить что нужно вносить в модуль а что нет ? Вот я до этого момента записываю кол-во обращений хочу, хочу, хочу. Потом реализовываю. А по факту это никому не нужно. Время потрачено толку нет. Теперь я посылаю на скрипты. Либо реализовываю людям. И если спрос на один и тот же скрипт возрастает я вношу эту логику в модуль. Причем еше на уровне скрипта я могу довести логику до совершенства. Что бы не быть многословным. Кто нибудь знает где это ? Вот хоть кто то знает где это находится ? На это потрачено тонна времени, это поддерживается, но никто этим не пользуется. Вот такие траты времени я буду оптимизировать через скрипты.
- 13,430 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
@Reanimaster Со всех 14 000 строк кода модуля. Строка с запросом на удаление из таблицы атрибутов, встречается 3 раза. DELETE FROM `".DB_PREFIX."product_attribute` - Вот эта. 1. Это в той функции что вы правите. Дай бог что бы вы правили, а не просто у себя изменяли, а на сервер тоже загружать не забывали. 2. В функции удаление атрибутов создание заново, что на скришоте выше я показал. 3. В редакторе товаров где удаление всех атрибутов из товара. Все больше нигде таких запросов в коде нет. Можете сами убедится.
-
Тогда проверьте что бы у вас не было вот тут выбрано действие удалять атрибуты и создавать заново.
-
@Malciska У вас скорее сложилось такое впечатление потому что @Reanimaster хочет что бы в модуле было реализовано под него. А я в таком случаи посылаю его писать самому ту реализацию которая ему нужна. А не вношу в ветку модуля. А он все равно упорно продолжает. Ну и раньше я писал что Такой возможности в модуле нет. Теперь я вместо этого пишу Вы можете это сделать через PHP скрипты. К примеру как сегодня написал пользователь, хочу парсить блог. загрузки блога в модуле нет, так как нужно еше определить какие блоги используют и какая структура базы. Но он же может сам доделать заполнение базы через PHP под свои нужды, да. Значит я ему и говорю что встроенного нет, но он может сам дописать.
- 13,430 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Этот запрос не может удалить все атрибуты. Но не как не может. Может у вас стоит настройка, удалять атрибут или еше что то. Может вы на одном хостинге правите на другом проверяете, я не знаю. Но то что на скриншоте не имеет права удалять все атрибуты. А если удаляет то вопрос не ко мне а к разработчика SQL
-
Вы не чего не путаете ? Все что было в модуле то и осталось. А посылаю я людей на PHP там где пишут, хочу что бы все свистело и искрилось. К примеру, я еше не разу на написал по поводу того что бы текст в описание добавляли через скрипты. Или мета данные. Вы пройдите по ветке и почитайте что люди пишут. 1. Хочу загружать файлы, и что бы линки были из моего сервера, и в товаре была инструкция. И кстати такого функционала в модуле нет. А у меня возможно самописное дополнение по работе с pdf ОК, вот вам возможность дописать логику в модуле. 2. Хочу как то быстро скачать файлы к себе в магазин, что бы не вручную. И папочку создать где небудь тут mysite.com/pdf/ Ок, вот вам PHP скрипты, вы теперь и это можете сделать через мойдуль. 3. Хочу что бы модуль начал работать с атрибутами, от стороннего модуля, там 3-4 таблицы, кроме меня и еше одного человека никто не пользуется этим модулем. Ок, вот вам скрипты вы можете сами. 4. Хочу что бы модуль не парсил фото, а просто тупо в базу данных записывал ссылки прямые, на сайт донор !!! Что ? Это вообще как ? Ну ладно вот вам функционал теперь вы и это можете сделать. 5. Хочу что бы при парсинге, если наличие на странице 0 что бы удалялась эта ссылка из базы и модуль больше ее не обрабатывал. Ок, вот вам PHP скрипты вы можете это сделать. 6. Хочу что бы атрибуты на разных языках были, я их в ручную как то заполню, а модуль потом все должен понять разложить и короче что бы все было сразу и прекрасно. Ок, вот скрипты, пишите так как вы хотите в любых комбинациях. Я же не виноват, что все решили в один момент сойти с ума, и решать все задачи через один модуль. Теперь вместо того что бы доказывать что это не возможно в этой концепции, или это сложно и не имеет смысла потому что для одного человека. Но конкретно этому человеку возможно это важно, и теперь он может это сделать, правда сам. Но зато так как ему нужно. Остальные функции как развивались в модуле так и будут развиваться. А все гики с мега запросами будут жить в вкладке скриптов.
-
Значит вы не так что то делаете. Потому что этот запрос не может удалять то чего в нем нет. Внимательнее смотрите что написано.
