Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 2 часа назад, Kosdershtok сказал: Всем привет. Может кто подскажет, хоть примерно. Как спарсить вот это? http://nk.rossko.ru/catalog-parts/amortizator/?sid=a0469ac533e08e063cc9b36baaed5100 Шаблон ссылок очереди: /catalog-parts/, качает все подрят, а с /amortizator/ никак Извиняюсь если что, изучаю еще. Но в перспективе, это будет шедевр а не модуль!) У вас интересный донор. Отпишусь чуть позже. 1 Link to comment Share on other sites More sharing options... Replies 11.9k Created 4 yr Last Reply 31 min Top Posters In This Topic 4737 532 839 492 Popular Days Jul 21 81 Jul 27 79 Feb 1 72 Mar 2 70 Top Posters In This Topic Rassol2 4,737 posts Axelenz 532 posts partshez 839 posts Reanimaster 492 posts Popular Days Jul 21 2021 81 posts Jul 27 2021 79 posts Feb 1 2022 72 posts Mar 2 2021 70 posts Popular Posts Rassol2 November 1, 2018 Ну что займу первый пост. Поскольку модуль все же выложил ушел писать инструкцию к этому франкенштейну. Может кому то пригодится PS. Чуть не забыл. Кому пригодился нажмите палец верх Rassol2 November 1, 2018 26 Завантажити / Придбати розширення SimplePars - Универсальный парсер для ИМ Модуль SimplePars предназначе Rassol2 November 23, 2020 Обновление v4.0-12_beta Главная страница. Немного переработал убогость главной страницы. Теперь с этой страницы можно сразу же отключить крон, если собираетесь работать вручную. Так Posted Images kikaridza123 Posted December 11, 2018 Share Posted December 11, 2018 27 минут назад, Rassol2 сказал: если вставлять нумерацию Возможно я не правильно выразился. Я имел ввиду тут нумерацию сделать http://prntscr.com/lthelg К примеру как в браузере http://prntscr.com/lthexs чтобы после добавления нового параметра парсинга после перезагрузки страницы не искать долго кусок кода на котором остановился, а просто перемотать к нужной строке. Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 1 минуту назад, kikaridza123 сказал: Возможно я не правильно выразился. Я имел ввиду тут нумерацию сделать http://prntscr.com/lthelg К примеру как в браузере http://prntscr.com/lthexs чтобы после добавления нового параметра парсинга после перезагрузки страницы не искать долго кусок кода на котором остановился, а просто перемотать к нужной строке. Я подумаю над этим. попытки сделать это уже были, скажу честно. Но та библиотека что я выбрал для подсветки синтаксиса почему то криво определяем строки. С этим нужно разобраться, или найти новую библиотеку которая будет отвечать всем моим требованиям Пример кривого вывода Спойлер 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 @kikaridza123 а по поводу поиска пока что можно использовать лайф хак. нажимаете мышкой на блок с кодом затем crtl+f и вводите что ищите. И браузер сам автоматически провернет блок кода до первого совпадения. 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 3 часа назад, Kosdershtok сказал: Всем привет. Может кто подскажет, хоть примерно. Как спарсить вот это? http://nk.rossko.ru/catalog-parts/amortizator/?sid=a0469ac533e08e063cc9b36baaed5100 Шаблон ссылок очереди: /catalog-parts/, качает все подрят, а с /amortizator/ никак Извиняюсь если что, изучаю еще. Но в перспективе, это будет шедевр а не модуль!) У вас сайт генерируется почти весь на JS Такие проекты парсить особенно не удобно. Здесь нужен обработчик js. Может что то придумаю в будущих версиях. 1 Link to comment Share on other sites More sharing options... kikaridza123 Posted December 11, 2018 Share Posted December 11, 2018 46 минут назад, Rassol2 сказал: Вставил это <script language="javascript"> (function() { var pre = document.getElementsByTagName('pre'), pl = pre.length; for (var i = 0; i < pl; i++) { pre[i].innerHTML = '<span class="line-number"></span>' + pre[i].innerHTML + '<span class="cl"></span>'; var num = pre[i].innerHTML.split(/\n/).length; for (var j = 0; j < num; j++) { var line_num = pre[i].getElementsByTagName('span')[0]; line_num.innerHTML += '<span>' + (j + 1) + '</span>'; } } })(); </script> Спойлер <style type="text/css"> { background-color:white; padding:50px 50px; } pre { background-color:#eee; overflow:auto; margin:0 0 1em; padding:.5em 1em; } pre code, pre .line-number { font:normal normal 12px/14px "Courier New",Courier,Monospace; color:black; display:block; } pre .line-number { float:left; margin:0 1em 0 -1em; border-right:1px solid; text-align:right; } pre .line-number span { display:block; padding:0 .5em 0 1em; } pre .cl { display:block; clear:both; } </style> Но нумерация только до 345 номера, дальше не работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 15 минут назад, kikaridza123 сказал: Вставил это <script language="javascript"> (function() { var pre = document.getElementsByTagName('pre'), pl = pre.length; for (var i = 0; i < pl; i++) { pre[i].innerHTML = '<span class="line-number"></span>' + pre[i].innerHTML + '<span class="cl"></span>'; var num = pre[i].innerHTML.split(/\n/).length; for (var j = 0; j < num; j++) { var line_num = pre[i].getElementsByTagName('span')[0]; line_num.innerHTML += '<span>' + (j + 1) + '</span>'; } } })(); </script> Скрыть контент <style type="text/css"> { background-color:white; padding:50px 50px; } pre { background-color:#eee; overflow:auto; margin:0 0 1em; padding:.5em 1em; } pre code, pre .line-number { font:normal normal 12px/14px "Courier New",Courier,Monospace; color:black; display:block; } pre .line-number { float:left; margin:0 1em 0 -1em; border-right:1px solid; text-align:right; } pre .line-number span { display:block; padding:0 .5em 0 1em; } pre .cl { display:block; clear:both; } </style> Но нумерация только до 345 номера, дальше не работает. У меня так все нумеруется кроме последних строк 20. Но стиле слетают у сайта. Нужно будет проработать это все. Я просто не селен в js как говорится от слова ВООБШЕ. Но это на состояние 2018.12.11 14:19 будем развиваться ))) 2 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Вообще сейчас в мыслях такой порядок действий. 1. Привести в порядок вкладку сбор ссылок. (Эта вкладка ужасно работает.) 2. Придумать систему отчетов. 3. Использовать cURL (Да да я знаю что file_get_content это не серьезно. Но я не был уверен что этот модуль вообще кого либо заинтересует. ) 4. Повторяющие границы парсинга. 5. Поиск замена. 6. Встроенные макросы. 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Еше хотел спросить как обстоят дела с пониманием модуля ? Поскольку я помню историю модуля "Парсер паук" где все кричали что ничего не ясно, а разработчики не выкатывали инструкцию. Я тоже не ставлю инструкцию на первый план. Но если есть недопонимания может мне стоит поменять свои планы ? Link to comment Share on other sites More sharing options... Kosdershtok Posted December 12, 2018 Share Posted December 12, 2018 12 часов назад, Rassol2 сказал: У вас сайт генерируется почти весь на JS Такие проекты парсить особенно не удобно. Здесь нужен обработчик js. Может что то придумаю в будущих версиях. Спасибо. Думаю многие могут столкнуться с подобными сайтами, так что мы с вами! ) 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 22 часа назад, kikaridza123 сказал: 2.Добавить по умолчанию в CSV файл ссылки с которой идет парсинг, если они уже есть собранные чтоб не добавлять новый параметр и парсить отдельно ссылки) Например для последующего парсинга и обновления цены через АОП. Все же я посчитал эту функцию крайне необходимой для модуля который парсить все в CSV файл. Сегодня выложил обновление 1.0.2 В нем реализовано. Для обновления заливаете файлы по верх с заменой. И обязательно выполняете inst.php Я решил этот вопрос так. По умолчанию теперь всегда есть псевдо граница Ссылки. Псевдо потому что она ничего не парсит, а просто записывает в выбранную колонку ссылку по которой идет парсинг. Теперь можно формировать прайс с указанием ссылок на страницу, что сделает готовый прайсы еше более подходящими для дальнейшей обработки через АОП То есть можно не только в начало добавить, а как угодно. И сколько угодно раз. К примеру так. Ну и на выходе можно добиться получения вот такого прайса. price_url.csv Владельцы модуля АОП должны оценить. 2 Link to comment Share on other sites More sharing options... SiteMix Posted December 12, 2018 Share Posted December 12, 2018 Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Link to comment Share on other sites More sharing options... kikaridza123 Posted December 12, 2018 Share Posted December 12, 2018 21 час назад, Rassol2 сказал: будем развиваться ))) Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 3 часа назад, SiteMix сказал: Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Я выкатил глобальное обновление, а теперь только мелочи правлю. Так сказать версия 1.0 базовая сейчас и сверху могу править ошибки или допиливаю. Это кажется что сильно быстро. А по факту не сильно ))) Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 1 час назад, kikaridza123 сказал: Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd Добавил у себя. Пару дней пусть так поработает понаблюдаю на разных сайта. Если проблем не будет добавлю в следующий релиз. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 (edited) 20 часов назад, Rassol2 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% Edited December 13, 2018 by kikaridza123 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% ну значит ограничение точно на время выполнения я точно обошел. А может вы уточнение сделаете в поиске ссылок ? Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% скиньте ваш сайт донор может я подскажу вам настройки более точного поиска. А то вдруг вы заря перебираете 50т ссылок. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777 × Existing user? Sign In Sign Up Shopping section Back Purchased extensions Invoices Whishlist Alternative Contacts Forums News ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
kikaridza123 Posted December 11, 2018 Share Posted December 11, 2018 27 минут назад, Rassol2 сказал: если вставлять нумерацию Возможно я не правильно выразился. Я имел ввиду тут нумерацию сделать http://prntscr.com/lthelg К примеру как в браузере http://prntscr.com/lthexs чтобы после добавления нового параметра парсинга после перезагрузки страницы не искать долго кусок кода на котором остановился, а просто перемотать к нужной строке. Link to comment Share on other sites More sharing options...
Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 1 минуту назад, kikaridza123 сказал: Возможно я не правильно выразился. Я имел ввиду тут нумерацию сделать http://prntscr.com/lthelg К примеру как в браузере http://prntscr.com/lthexs чтобы после добавления нового параметра парсинга после перезагрузки страницы не искать долго кусок кода на котором остановился, а просто перемотать к нужной строке. Я подумаю над этим. попытки сделать это уже были, скажу честно. Но та библиотека что я выбрал для подсветки синтаксиса почему то криво определяем строки. С этим нужно разобраться, или найти новую библиотеку которая будет отвечать всем моим требованиям Пример кривого вывода Спойлер 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 @kikaridza123 а по поводу поиска пока что можно использовать лайф хак. нажимаете мышкой на блок с кодом затем crtl+f и вводите что ищите. И браузер сам автоматически провернет блок кода до первого совпадения. 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 3 часа назад, Kosdershtok сказал: Всем привет. Может кто подскажет, хоть примерно. Как спарсить вот это? http://nk.rossko.ru/catalog-parts/amortizator/?sid=a0469ac533e08e063cc9b36baaed5100 Шаблон ссылок очереди: /catalog-parts/, качает все подрят, а с /amortizator/ никак Извиняюсь если что, изучаю еще. Но в перспективе, это будет шедевр а не модуль!) У вас сайт генерируется почти весь на JS Такие проекты парсить особенно не удобно. Здесь нужен обработчик js. Может что то придумаю в будущих версиях. 1 Link to comment Share on other sites More sharing options... kikaridza123 Posted December 11, 2018 Share Posted December 11, 2018 46 минут назад, Rassol2 сказал: Вставил это <script language="javascript"> (function() { var pre = document.getElementsByTagName('pre'), pl = pre.length; for (var i = 0; i < pl; i++) { pre[i].innerHTML = '<span class="line-number"></span>' + pre[i].innerHTML + '<span class="cl"></span>'; var num = pre[i].innerHTML.split(/\n/).length; for (var j = 0; j < num; j++) { var line_num = pre[i].getElementsByTagName('span')[0]; line_num.innerHTML += '<span>' + (j + 1) + '</span>'; } } })(); </script> Спойлер <style type="text/css"> { background-color:white; padding:50px 50px; } pre { background-color:#eee; overflow:auto; margin:0 0 1em; padding:.5em 1em; } pre code, pre .line-number { font:normal normal 12px/14px "Courier New",Courier,Monospace; color:black; display:block; } pre .line-number { float:left; margin:0 1em 0 -1em; border-right:1px solid; text-align:right; } pre .line-number span { display:block; padding:0 .5em 0 1em; } pre .cl { display:block; clear:both; } </style> Но нумерация только до 345 номера, дальше не работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 15 минут назад, kikaridza123 сказал: Вставил это <script language="javascript"> (function() { var pre = document.getElementsByTagName('pre'), pl = pre.length; for (var i = 0; i < pl; i++) { pre[i].innerHTML = '<span class="line-number"></span>' + pre[i].innerHTML + '<span class="cl"></span>'; var num = pre[i].innerHTML.split(/\n/).length; for (var j = 0; j < num; j++) { var line_num = pre[i].getElementsByTagName('span')[0]; line_num.innerHTML += '<span>' + (j + 1) + '</span>'; } } })(); </script> Скрыть контент <style type="text/css"> { background-color:white; padding:50px 50px; } pre { background-color:#eee; overflow:auto; margin:0 0 1em; padding:.5em 1em; } pre code, pre .line-number { font:normal normal 12px/14px "Courier New",Courier,Monospace; color:black; display:block; } pre .line-number { float:left; margin:0 1em 0 -1em; border-right:1px solid; text-align:right; } pre .line-number span { display:block; padding:0 .5em 0 1em; } pre .cl { display:block; clear:both; } </style> Но нумерация только до 345 номера, дальше не работает. У меня так все нумеруется кроме последних строк 20. Но стиле слетают у сайта. Нужно будет проработать это все. Я просто не селен в js как говорится от слова ВООБШЕ. Но это на состояние 2018.12.11 14:19 будем развиваться ))) 2 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Вообще сейчас в мыслях такой порядок действий. 1. Привести в порядок вкладку сбор ссылок. (Эта вкладка ужасно работает.) 2. Придумать систему отчетов. 3. Использовать cURL (Да да я знаю что file_get_content это не серьезно. Но я не был уверен что этот модуль вообще кого либо заинтересует. ) 4. Повторяющие границы парсинга. 5. Поиск замена. 6. Встроенные макросы. 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Еше хотел спросить как обстоят дела с пониманием модуля ? Поскольку я помню историю модуля "Парсер паук" где все кричали что ничего не ясно, а разработчики не выкатывали инструкцию. Я тоже не ставлю инструкцию на первый план. Но если есть недопонимания может мне стоит поменять свои планы ? Link to comment Share on other sites More sharing options... Kosdershtok Posted December 12, 2018 Share Posted December 12, 2018 12 часов назад, Rassol2 сказал: У вас сайт генерируется почти весь на JS Такие проекты парсить особенно не удобно. Здесь нужен обработчик js. Может что то придумаю в будущих версиях. Спасибо. Думаю многие могут столкнуться с подобными сайтами, так что мы с вами! ) 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 22 часа назад, kikaridza123 сказал: 2.Добавить по умолчанию в CSV файл ссылки с которой идет парсинг, если они уже есть собранные чтоб не добавлять новый параметр и парсить отдельно ссылки) Например для последующего парсинга и обновления цены через АОП. Все же я посчитал эту функцию крайне необходимой для модуля который парсить все в CSV файл. Сегодня выложил обновление 1.0.2 В нем реализовано. Для обновления заливаете файлы по верх с заменой. И обязательно выполняете inst.php Я решил этот вопрос так. По умолчанию теперь всегда есть псевдо граница Ссылки. Псевдо потому что она ничего не парсит, а просто записывает в выбранную колонку ссылку по которой идет парсинг. Теперь можно формировать прайс с указанием ссылок на страницу, что сделает готовый прайсы еше более подходящими для дальнейшей обработки через АОП То есть можно не только в начало добавить, а как угодно. И сколько угодно раз. К примеру так. Ну и на выходе можно добиться получения вот такого прайса. price_url.csv Владельцы модуля АОП должны оценить. 2 Link to comment Share on other sites More sharing options... SiteMix Posted December 12, 2018 Share Posted December 12, 2018 Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Link to comment Share on other sites More sharing options... kikaridza123 Posted December 12, 2018 Share Posted December 12, 2018 21 час назад, Rassol2 сказал: будем развиваться ))) Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 3 часа назад, SiteMix сказал: Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Я выкатил глобальное обновление, а теперь только мелочи правлю. Так сказать версия 1.0 базовая сейчас и сверху могу править ошибки или допиливаю. Это кажется что сильно быстро. А по факту не сильно ))) Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 1 час назад, kikaridza123 сказал: Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd Добавил у себя. Пару дней пусть так поработает понаблюдаю на разных сайта. Если проблем не будет добавлю в следующий релиз. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 (edited) 20 часов назад, Rassol2 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% Edited December 13, 2018 by kikaridza123 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% ну значит ограничение точно на время выполнения я точно обошел. А может вы уточнение сделаете в поиске ссылок ? Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% скиньте ваш сайт донор может я подскажу вам настройки более точного поиска. А то вдруг вы заря перебираете 50т ссылок. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777 × Existing user? Sign In Sign Up Shopping section Back Purchased extensions Invoices Whishlist Alternative Contacts Forums News ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 @kikaridza123 а по поводу поиска пока что можно использовать лайф хак. нажимаете мышкой на блок с кодом затем crtl+f и вводите что ищите. И браузер сам автоматически провернет блок кода до первого совпадения. 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 3 часа назад, Kosdershtok сказал: Всем привет. Может кто подскажет, хоть примерно. Как спарсить вот это? http://nk.rossko.ru/catalog-parts/amortizator/?sid=a0469ac533e08e063cc9b36baaed5100 Шаблон ссылок очереди: /catalog-parts/, качает все подрят, а с /amortizator/ никак Извиняюсь если что, изучаю еще. Но в перспективе, это будет шедевр а не модуль!) У вас сайт генерируется почти весь на JS Такие проекты парсить особенно не удобно. Здесь нужен обработчик js. Может что то придумаю в будущих версиях. 1 Link to comment Share on other sites More sharing options... kikaridza123 Posted December 11, 2018 Share Posted December 11, 2018 46 минут назад, Rassol2 сказал: Вставил это <script language="javascript"> (function() { var pre = document.getElementsByTagName('pre'), pl = pre.length; for (var i = 0; i < pl; i++) { pre[i].innerHTML = '<span class="line-number"></span>' + pre[i].innerHTML + '<span class="cl"></span>'; var num = pre[i].innerHTML.split(/\n/).length; for (var j = 0; j < num; j++) { var line_num = pre[i].getElementsByTagName('span')[0]; line_num.innerHTML += '<span>' + (j + 1) + '</span>'; } } })(); </script> Спойлер <style type="text/css"> { background-color:white; padding:50px 50px; } pre { background-color:#eee; overflow:auto; margin:0 0 1em; padding:.5em 1em; } pre code, pre .line-number { font:normal normal 12px/14px "Courier New",Courier,Monospace; color:black; display:block; } pre .line-number { float:left; margin:0 1em 0 -1em; border-right:1px solid; text-align:right; } pre .line-number span { display:block; padding:0 .5em 0 1em; } pre .cl { display:block; clear:both; } </style> Но нумерация только до 345 номера, дальше не работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 15 минут назад, kikaridza123 сказал: Вставил это <script language="javascript"> (function() { var pre = document.getElementsByTagName('pre'), pl = pre.length; for (var i = 0; i < pl; i++) { pre[i].innerHTML = '<span class="line-number"></span>' + pre[i].innerHTML + '<span class="cl"></span>'; var num = pre[i].innerHTML.split(/\n/).length; for (var j = 0; j < num; j++) { var line_num = pre[i].getElementsByTagName('span')[0]; line_num.innerHTML += '<span>' + (j + 1) + '</span>'; } } })(); </script> Скрыть контент <style type="text/css"> { background-color:white; padding:50px 50px; } pre { background-color:#eee; overflow:auto; margin:0 0 1em; padding:.5em 1em; } pre code, pre .line-number { font:normal normal 12px/14px "Courier New",Courier,Monospace; color:black; display:block; } pre .line-number { float:left; margin:0 1em 0 -1em; border-right:1px solid; text-align:right; } pre .line-number span { display:block; padding:0 .5em 0 1em; } pre .cl { display:block; clear:both; } </style> Но нумерация только до 345 номера, дальше не работает. У меня так все нумеруется кроме последних строк 20. Но стиле слетают у сайта. Нужно будет проработать это все. Я просто не селен в js как говорится от слова ВООБШЕ. Но это на состояние 2018.12.11 14:19 будем развиваться ))) 2 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Вообще сейчас в мыслях такой порядок действий. 1. Привести в порядок вкладку сбор ссылок. (Эта вкладка ужасно работает.) 2. Придумать систему отчетов. 3. Использовать cURL (Да да я знаю что file_get_content это не серьезно. Но я не был уверен что этот модуль вообще кого либо заинтересует. ) 4. Повторяющие границы парсинга. 5. Поиск замена. 6. Встроенные макросы. 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Еше хотел спросить как обстоят дела с пониманием модуля ? Поскольку я помню историю модуля "Парсер паук" где все кричали что ничего не ясно, а разработчики не выкатывали инструкцию. Я тоже не ставлю инструкцию на первый план. Но если есть недопонимания может мне стоит поменять свои планы ? Link to comment Share on other sites More sharing options... Kosdershtok Posted December 12, 2018 Share Posted December 12, 2018 12 часов назад, Rassol2 сказал: У вас сайт генерируется почти весь на JS Такие проекты парсить особенно не удобно. Здесь нужен обработчик js. Может что то придумаю в будущих версиях. Спасибо. Думаю многие могут столкнуться с подобными сайтами, так что мы с вами! ) 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 22 часа назад, kikaridza123 сказал: 2.Добавить по умолчанию в CSV файл ссылки с которой идет парсинг, если они уже есть собранные чтоб не добавлять новый параметр и парсить отдельно ссылки) Например для последующего парсинга и обновления цены через АОП. Все же я посчитал эту функцию крайне необходимой для модуля который парсить все в CSV файл. Сегодня выложил обновление 1.0.2 В нем реализовано. Для обновления заливаете файлы по верх с заменой. И обязательно выполняете inst.php Я решил этот вопрос так. По умолчанию теперь всегда есть псевдо граница Ссылки. Псевдо потому что она ничего не парсит, а просто записывает в выбранную колонку ссылку по которой идет парсинг. Теперь можно формировать прайс с указанием ссылок на страницу, что сделает готовый прайсы еше более подходящими для дальнейшей обработки через АОП То есть можно не только в начало добавить, а как угодно. И сколько угодно раз. К примеру так. Ну и на выходе можно добиться получения вот такого прайса. price_url.csv Владельцы модуля АОП должны оценить. 2 Link to comment Share on other sites More sharing options... SiteMix Posted December 12, 2018 Share Posted December 12, 2018 Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Link to comment Share on other sites More sharing options... kikaridza123 Posted December 12, 2018 Share Posted December 12, 2018 21 час назад, Rassol2 сказал: будем развиваться ))) Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 3 часа назад, SiteMix сказал: Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Я выкатил глобальное обновление, а теперь только мелочи правлю. Так сказать версия 1.0 базовая сейчас и сверху могу править ошибки или допиливаю. Это кажется что сильно быстро. А по факту не сильно ))) Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 1 час назад, kikaridza123 сказал: Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd Добавил у себя. Пару дней пусть так поработает понаблюдаю на разных сайта. Если проблем не будет добавлю в следующий релиз. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 (edited) 20 часов назад, Rassol2 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% Edited December 13, 2018 by kikaridza123 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% ну значит ограничение точно на время выполнения я точно обошел. А может вы уточнение сделаете в поиске ссылок ? Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% скиньте ваш сайт донор может я подскажу вам настройки более точного поиска. А то вдруг вы заря перебираете 50т ссылок. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777 × Existing user? Sign In Sign Up Shopping section Back Purchased extensions Invoices Whishlist Alternative Contacts Forums News ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 3 часа назад, Kosdershtok сказал: Всем привет. Может кто подскажет, хоть примерно. Как спарсить вот это? http://nk.rossko.ru/catalog-parts/amortizator/?sid=a0469ac533e08e063cc9b36baaed5100 Шаблон ссылок очереди: /catalog-parts/, качает все подрят, а с /amortizator/ никак Извиняюсь если что, изучаю еще. Но в перспективе, это будет шедевр а не модуль!) У вас сайт генерируется почти весь на JS Такие проекты парсить особенно не удобно. Здесь нужен обработчик js. Может что то придумаю в будущих версиях. 1 Link to comment Share on other sites More sharing options... kikaridza123 Posted December 11, 2018 Share Posted December 11, 2018 46 минут назад, Rassol2 сказал: Вставил это <script language="javascript"> (function() { var pre = document.getElementsByTagName('pre'), pl = pre.length; for (var i = 0; i < pl; i++) { pre[i].innerHTML = '<span class="line-number"></span>' + pre[i].innerHTML + '<span class="cl"></span>'; var num = pre[i].innerHTML.split(/\n/).length; for (var j = 0; j < num; j++) { var line_num = pre[i].getElementsByTagName('span')[0]; line_num.innerHTML += '<span>' + (j + 1) + '</span>'; } } })(); </script> Спойлер <style type="text/css"> { background-color:white; padding:50px 50px; } pre { background-color:#eee; overflow:auto; margin:0 0 1em; padding:.5em 1em; } pre code, pre .line-number { font:normal normal 12px/14px "Courier New",Courier,Monospace; color:black; display:block; } pre .line-number { float:left; margin:0 1em 0 -1em; border-right:1px solid; text-align:right; } pre .line-number span { display:block; padding:0 .5em 0 1em; } pre .cl { display:block; clear:both; } </style> Но нумерация только до 345 номера, дальше не работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 15 минут назад, kikaridza123 сказал: Вставил это <script language="javascript"> (function() { var pre = document.getElementsByTagName('pre'), pl = pre.length; for (var i = 0; i < pl; i++) { pre[i].innerHTML = '<span class="line-number"></span>' + pre[i].innerHTML + '<span class="cl"></span>'; var num = pre[i].innerHTML.split(/\n/).length; for (var j = 0; j < num; j++) { var line_num = pre[i].getElementsByTagName('span')[0]; line_num.innerHTML += '<span>' + (j + 1) + '</span>'; } } })(); </script> Скрыть контент <style type="text/css"> { background-color:white; padding:50px 50px; } pre { background-color:#eee; overflow:auto; margin:0 0 1em; padding:.5em 1em; } pre code, pre .line-number { font:normal normal 12px/14px "Courier New",Courier,Monospace; color:black; display:block; } pre .line-number { float:left; margin:0 1em 0 -1em; border-right:1px solid; text-align:right; } pre .line-number span { display:block; padding:0 .5em 0 1em; } pre .cl { display:block; clear:both; } </style> Но нумерация только до 345 номера, дальше не работает. У меня так все нумеруется кроме последних строк 20. Но стиле слетают у сайта. Нужно будет проработать это все. Я просто не селен в js как говорится от слова ВООБШЕ. Но это на состояние 2018.12.11 14:19 будем развиваться ))) 2 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Вообще сейчас в мыслях такой порядок действий. 1. Привести в порядок вкладку сбор ссылок. (Эта вкладка ужасно работает.) 2. Придумать систему отчетов. 3. Использовать cURL (Да да я знаю что file_get_content это не серьезно. Но я не был уверен что этот модуль вообще кого либо заинтересует. ) 4. Повторяющие границы парсинга. 5. Поиск замена. 6. Встроенные макросы. 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Еше хотел спросить как обстоят дела с пониманием модуля ? Поскольку я помню историю модуля "Парсер паук" где все кричали что ничего не ясно, а разработчики не выкатывали инструкцию. Я тоже не ставлю инструкцию на первый план. Но если есть недопонимания может мне стоит поменять свои планы ? Link to comment Share on other sites More sharing options... Kosdershtok Posted December 12, 2018 Share Posted December 12, 2018 12 часов назад, Rassol2 сказал: У вас сайт генерируется почти весь на JS Такие проекты парсить особенно не удобно. Здесь нужен обработчик js. Может что то придумаю в будущих версиях. Спасибо. Думаю многие могут столкнуться с подобными сайтами, так что мы с вами! ) 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 22 часа назад, kikaridza123 сказал: 2.Добавить по умолчанию в CSV файл ссылки с которой идет парсинг, если они уже есть собранные чтоб не добавлять новый параметр и парсить отдельно ссылки) Например для последующего парсинга и обновления цены через АОП. Все же я посчитал эту функцию крайне необходимой для модуля который парсить все в CSV файл. Сегодня выложил обновление 1.0.2 В нем реализовано. Для обновления заливаете файлы по верх с заменой. И обязательно выполняете inst.php Я решил этот вопрос так. По умолчанию теперь всегда есть псевдо граница Ссылки. Псевдо потому что она ничего не парсит, а просто записывает в выбранную колонку ссылку по которой идет парсинг. Теперь можно формировать прайс с указанием ссылок на страницу, что сделает готовый прайсы еше более подходящими для дальнейшей обработки через АОП То есть можно не только в начало добавить, а как угодно. И сколько угодно раз. К примеру так. Ну и на выходе можно добиться получения вот такого прайса. price_url.csv Владельцы модуля АОП должны оценить. 2 Link to comment Share on other sites More sharing options... SiteMix Posted December 12, 2018 Share Posted December 12, 2018 Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Link to comment Share on other sites More sharing options... kikaridza123 Posted December 12, 2018 Share Posted December 12, 2018 21 час назад, Rassol2 сказал: будем развиваться ))) Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 3 часа назад, SiteMix сказал: Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Я выкатил глобальное обновление, а теперь только мелочи правлю. Так сказать версия 1.0 базовая сейчас и сверху могу править ошибки или допиливаю. Это кажется что сильно быстро. А по факту не сильно ))) Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 1 час назад, kikaridza123 сказал: Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd Добавил у себя. Пару дней пусть так поработает понаблюдаю на разных сайта. Если проблем не будет добавлю в следующий релиз. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 (edited) 20 часов назад, Rassol2 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% Edited December 13, 2018 by kikaridza123 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% ну значит ограничение точно на время выполнения я точно обошел. А может вы уточнение сделаете в поиске ссылок ? Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% скиньте ваш сайт донор может я подскажу вам настройки более точного поиска. А то вдруг вы заря перебираете 50т ссылок. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777 × Existing user? Sign In Sign Up Shopping section Back Purchased extensions Invoices Whishlist Alternative Contacts Forums News ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
kikaridza123 Posted December 11, 2018 Share Posted December 11, 2018 46 минут назад, Rassol2 сказал: Вставил это <script language="javascript"> (function() { var pre = document.getElementsByTagName('pre'), pl = pre.length; for (var i = 0; i < pl; i++) { pre[i].innerHTML = '<span class="line-number"></span>' + pre[i].innerHTML + '<span class="cl"></span>'; var num = pre[i].innerHTML.split(/\n/).length; for (var j = 0; j < num; j++) { var line_num = pre[i].getElementsByTagName('span')[0]; line_num.innerHTML += '<span>' + (j + 1) + '</span>'; } } })(); </script> Спойлер <style type="text/css"> { background-color:white; padding:50px 50px; } pre { background-color:#eee; overflow:auto; margin:0 0 1em; padding:.5em 1em; } pre code, pre .line-number { font:normal normal 12px/14px "Courier New",Courier,Monospace; color:black; display:block; } pre .line-number { float:left; margin:0 1em 0 -1em; border-right:1px solid; text-align:right; } pre .line-number span { display:block; padding:0 .5em 0 1em; } pre .cl { display:block; clear:both; } </style> Но нумерация только до 345 номера, дальше не работает. Link to comment Share on other sites More sharing options...
Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 15 минут назад, kikaridza123 сказал: Вставил это <script language="javascript"> (function() { var pre = document.getElementsByTagName('pre'), pl = pre.length; for (var i = 0; i < pl; i++) { pre[i].innerHTML = '<span class="line-number"></span>' + pre[i].innerHTML + '<span class="cl"></span>'; var num = pre[i].innerHTML.split(/\n/).length; for (var j = 0; j < num; j++) { var line_num = pre[i].getElementsByTagName('span')[0]; line_num.innerHTML += '<span>' + (j + 1) + '</span>'; } } })(); </script> Скрыть контент <style type="text/css"> { background-color:white; padding:50px 50px; } pre { background-color:#eee; overflow:auto; margin:0 0 1em; padding:.5em 1em; } pre code, pre .line-number { font:normal normal 12px/14px "Courier New",Courier,Monospace; color:black; display:block; } pre .line-number { float:left; margin:0 1em 0 -1em; border-right:1px solid; text-align:right; } pre .line-number span { display:block; padding:0 .5em 0 1em; } pre .cl { display:block; clear:both; } </style> Но нумерация только до 345 номера, дальше не работает. У меня так все нумеруется кроме последних строк 20. Но стиле слетают у сайта. Нужно будет проработать это все. Я просто не селен в js как говорится от слова ВООБШЕ. Но это на состояние 2018.12.11 14:19 будем развиваться ))) 2 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Вообще сейчас в мыслях такой порядок действий. 1. Привести в порядок вкладку сбор ссылок. (Эта вкладка ужасно работает.) 2. Придумать систему отчетов. 3. Использовать cURL (Да да я знаю что file_get_content это не серьезно. Но я не был уверен что этот модуль вообще кого либо заинтересует. ) 4. Повторяющие границы парсинга. 5. Поиск замена. 6. Встроенные макросы. 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Еше хотел спросить как обстоят дела с пониманием модуля ? Поскольку я помню историю модуля "Парсер паук" где все кричали что ничего не ясно, а разработчики не выкатывали инструкцию. Я тоже не ставлю инструкцию на первый план. Но если есть недопонимания может мне стоит поменять свои планы ? Link to comment Share on other sites More sharing options... Kosdershtok Posted December 12, 2018 Share Posted December 12, 2018 12 часов назад, Rassol2 сказал: У вас сайт генерируется почти весь на JS Такие проекты парсить особенно не удобно. Здесь нужен обработчик js. Может что то придумаю в будущих версиях. Спасибо. Думаю многие могут столкнуться с подобными сайтами, так что мы с вами! ) 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 22 часа назад, kikaridza123 сказал: 2.Добавить по умолчанию в CSV файл ссылки с которой идет парсинг, если они уже есть собранные чтоб не добавлять новый параметр и парсить отдельно ссылки) Например для последующего парсинга и обновления цены через АОП. Все же я посчитал эту функцию крайне необходимой для модуля который парсить все в CSV файл. Сегодня выложил обновление 1.0.2 В нем реализовано. Для обновления заливаете файлы по верх с заменой. И обязательно выполняете inst.php Я решил этот вопрос так. По умолчанию теперь всегда есть псевдо граница Ссылки. Псевдо потому что она ничего не парсит, а просто записывает в выбранную колонку ссылку по которой идет парсинг. Теперь можно формировать прайс с указанием ссылок на страницу, что сделает готовый прайсы еше более подходящими для дальнейшей обработки через АОП То есть можно не только в начало добавить, а как угодно. И сколько угодно раз. К примеру так. Ну и на выходе можно добиться получения вот такого прайса. price_url.csv Владельцы модуля АОП должны оценить. 2 Link to comment Share on other sites More sharing options... SiteMix Posted December 12, 2018 Share Posted December 12, 2018 Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Link to comment Share on other sites More sharing options... kikaridza123 Posted December 12, 2018 Share Posted December 12, 2018 21 час назад, Rassol2 сказал: будем развиваться ))) Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 3 часа назад, SiteMix сказал: Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Я выкатил глобальное обновление, а теперь только мелочи правлю. Так сказать версия 1.0 базовая сейчас и сверху могу править ошибки или допиливаю. Это кажется что сильно быстро. А по факту не сильно ))) Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 1 час назад, kikaridza123 сказал: Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd Добавил у себя. Пару дней пусть так поработает понаблюдаю на разных сайта. Если проблем не будет добавлю в следующий релиз. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 (edited) 20 часов назад, Rassol2 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% Edited December 13, 2018 by kikaridza123 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% ну значит ограничение точно на время выполнения я точно обошел. А может вы уточнение сделаете в поиске ссылок ? Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% скиньте ваш сайт донор может я подскажу вам настройки более точного поиска. А то вдруг вы заря перебираете 50т ссылок. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777 × Existing user? Sign In Sign Up Shopping section Back Purchased extensions Invoices Whishlist Alternative Contacts Forums News ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Вообще сейчас в мыслях такой порядок действий. 1. Привести в порядок вкладку сбор ссылок. (Эта вкладка ужасно работает.) 2. Придумать систему отчетов. 3. Использовать cURL (Да да я знаю что file_get_content это не серьезно. Но я не был уверен что этот модуль вообще кого либо заинтересует. ) 4. Повторяющие границы парсинга. 5. Поиск замена. 6. Встроенные макросы. 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Еше хотел спросить как обстоят дела с пониманием модуля ? Поскольку я помню историю модуля "Парсер паук" где все кричали что ничего не ясно, а разработчики не выкатывали инструкцию. Я тоже не ставлю инструкцию на первый план. Но если есть недопонимания может мне стоит поменять свои планы ? Link to comment Share on other sites More sharing options... Kosdershtok Posted December 12, 2018 Share Posted December 12, 2018 12 часов назад, Rassol2 сказал: У вас сайт генерируется почти весь на JS Такие проекты парсить особенно не удобно. Здесь нужен обработчик js. Может что то придумаю в будущих версиях. Спасибо. Думаю многие могут столкнуться с подобными сайтами, так что мы с вами! ) 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 22 часа назад, kikaridza123 сказал: 2.Добавить по умолчанию в CSV файл ссылки с которой идет парсинг, если они уже есть собранные чтоб не добавлять новый параметр и парсить отдельно ссылки) Например для последующего парсинга и обновления цены через АОП. Все же я посчитал эту функцию крайне необходимой для модуля который парсить все в CSV файл. Сегодня выложил обновление 1.0.2 В нем реализовано. Для обновления заливаете файлы по верх с заменой. И обязательно выполняете inst.php Я решил этот вопрос так. По умолчанию теперь всегда есть псевдо граница Ссылки. Псевдо потому что она ничего не парсит, а просто записывает в выбранную колонку ссылку по которой идет парсинг. Теперь можно формировать прайс с указанием ссылок на страницу, что сделает готовый прайсы еше более подходящими для дальнейшей обработки через АОП То есть можно не только в начало добавить, а как угодно. И сколько угодно раз. К примеру так. Ну и на выходе можно добиться получения вот такого прайса. price_url.csv Владельцы модуля АОП должны оценить. 2 Link to comment Share on other sites More sharing options... SiteMix Posted December 12, 2018 Share Posted December 12, 2018 Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Link to comment Share on other sites More sharing options... kikaridza123 Posted December 12, 2018 Share Posted December 12, 2018 21 час назад, Rassol2 сказал: будем развиваться ))) Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 3 часа назад, SiteMix сказал: Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Я выкатил глобальное обновление, а теперь только мелочи правлю. Так сказать версия 1.0 базовая сейчас и сверху могу править ошибки или допиливаю. Это кажется что сильно быстро. А по факту не сильно ))) Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 1 час назад, kikaridza123 сказал: Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd Добавил у себя. Пару дней пусть так поработает понаблюдаю на разных сайта. Если проблем не будет добавлю в следующий релиз. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 (edited) 20 часов назад, Rassol2 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% Edited December 13, 2018 by kikaridza123 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% ну значит ограничение точно на время выполнения я точно обошел. А может вы уточнение сделаете в поиске ссылок ? Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% скиньте ваш сайт донор может я подскажу вам настройки более точного поиска. А то вдруг вы заря перебираете 50т ссылок. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777 × Existing user? Sign In Sign Up Shopping section Back Purchased extensions Invoices Whishlist Alternative Contacts Forums News ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Rassol2 Posted December 11, 2018 Author Share Posted December 11, 2018 Еше хотел спросить как обстоят дела с пониманием модуля ? Поскольку я помню историю модуля "Парсер паук" где все кричали что ничего не ясно, а разработчики не выкатывали инструкцию. Я тоже не ставлю инструкцию на первый план. Но если есть недопонимания может мне стоит поменять свои планы ? Link to comment Share on other sites More sharing options... Kosdershtok Posted December 12, 2018 Share Posted December 12, 2018 12 часов назад, Rassol2 сказал: У вас сайт генерируется почти весь на JS Такие проекты парсить особенно не удобно. Здесь нужен обработчик js. Может что то придумаю в будущих версиях. Спасибо. Думаю многие могут столкнуться с подобными сайтами, так что мы с вами! ) 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 22 часа назад, kikaridza123 сказал: 2.Добавить по умолчанию в CSV файл ссылки с которой идет парсинг, если они уже есть собранные чтоб не добавлять новый параметр и парсить отдельно ссылки) Например для последующего парсинга и обновления цены через АОП. Все же я посчитал эту функцию крайне необходимой для модуля который парсить все в CSV файл. Сегодня выложил обновление 1.0.2 В нем реализовано. Для обновления заливаете файлы по верх с заменой. И обязательно выполняете inst.php Я решил этот вопрос так. По умолчанию теперь всегда есть псевдо граница Ссылки. Псевдо потому что она ничего не парсит, а просто записывает в выбранную колонку ссылку по которой идет парсинг. Теперь можно формировать прайс с указанием ссылок на страницу, что сделает готовый прайсы еше более подходящими для дальнейшей обработки через АОП То есть можно не только в начало добавить, а как угодно. И сколько угодно раз. К примеру так. Ну и на выходе можно добиться получения вот такого прайса. price_url.csv Владельцы модуля АОП должны оценить. 2 Link to comment Share on other sites More sharing options... SiteMix Posted December 12, 2018 Share Posted December 12, 2018 Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Link to comment Share on other sites More sharing options... kikaridza123 Posted December 12, 2018 Share Posted December 12, 2018 21 час назад, Rassol2 сказал: будем развиваться ))) Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 3 часа назад, SiteMix сказал: Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Я выкатил глобальное обновление, а теперь только мелочи правлю. Так сказать версия 1.0 базовая сейчас и сверху могу править ошибки или допиливаю. Это кажется что сильно быстро. А по факту не сильно ))) Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 1 час назад, kikaridza123 сказал: Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd Добавил у себя. Пару дней пусть так поработает понаблюдаю на разных сайта. Если проблем не будет добавлю в следующий релиз. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 (edited) 20 часов назад, Rassol2 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% Edited December 13, 2018 by kikaridza123 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% ну значит ограничение точно на время выполнения я точно обошел. А может вы уточнение сделаете в поиске ссылок ? Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% скиньте ваш сайт донор может я подскажу вам настройки более точного поиска. А то вдруг вы заря перебираете 50т ссылок. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777 × Existing user? Sign In Sign Up Shopping section Back Purchased extensions Invoices Whishlist Alternative Contacts Forums News ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Kosdershtok Posted December 12, 2018 Share Posted December 12, 2018 12 часов назад, Rassol2 сказал: У вас сайт генерируется почти весь на JS Такие проекты парсить особенно не удобно. Здесь нужен обработчик js. Может что то придумаю в будущих версиях. Спасибо. Думаю многие могут столкнуться с подобными сайтами, так что мы с вами! ) 1 Link to comment Share on other sites More sharing options...
Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 22 часа назад, kikaridza123 сказал: 2.Добавить по умолчанию в CSV файл ссылки с которой идет парсинг, если они уже есть собранные чтоб не добавлять новый параметр и парсить отдельно ссылки) Например для последующего парсинга и обновления цены через АОП. Все же я посчитал эту функцию крайне необходимой для модуля который парсить все в CSV файл. Сегодня выложил обновление 1.0.2 В нем реализовано. Для обновления заливаете файлы по верх с заменой. И обязательно выполняете inst.php Я решил этот вопрос так. По умолчанию теперь всегда есть псевдо граница Ссылки. Псевдо потому что она ничего не парсит, а просто записывает в выбранную колонку ссылку по которой идет парсинг. Теперь можно формировать прайс с указанием ссылок на страницу, что сделает готовый прайсы еше более подходящими для дальнейшей обработки через АОП То есть можно не только в начало добавить, а как угодно. И сколько угодно раз. К примеру так. Ну и на выходе можно добиться получения вот такого прайса. price_url.csv Владельцы модуля АОП должны оценить. 2 Link to comment Share on other sites More sharing options... SiteMix Posted December 12, 2018 Share Posted December 12, 2018 Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Link to comment Share on other sites More sharing options... kikaridza123 Posted December 12, 2018 Share Posted December 12, 2018 21 час назад, Rassol2 сказал: будем развиваться ))) Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 3 часа назад, SiteMix сказал: Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Я выкатил глобальное обновление, а теперь только мелочи правлю. Так сказать версия 1.0 базовая сейчас и сверху могу править ошибки или допиливаю. Это кажется что сильно быстро. А по факту не сильно ))) Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 1 час назад, kikaridza123 сказал: Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd Добавил у себя. Пару дней пусть так поработает понаблюдаю на разных сайта. Если проблем не будет добавлю в следующий релиз. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 (edited) 20 часов назад, Rassol2 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% Edited December 13, 2018 by kikaridza123 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% ну значит ограничение точно на время выполнения я точно обошел. А может вы уточнение сделаете в поиске ссылок ? Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% скиньте ваш сайт донор может я подскажу вам настройки более точного поиска. А то вдруг вы заря перебираете 50т ссылок. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777 × Existing user? Sign In Sign Up Shopping section Back Purchased extensions Invoices Whishlist Alternative Contacts Forums News ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
SiteMix Posted December 12, 2018 Share Posted December 12, 2018 Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Link to comment Share on other sites More sharing options...
kikaridza123 Posted December 12, 2018 Share Posted December 12, 2018 21 час назад, Rassol2 сказал: будем развиваться ))) Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd 1 Link to comment Share on other sites More sharing options...
Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 3 часа назад, SiteMix сказал: Я ещё предыдущий релиз не успел затестить, а тут уже новая версия! Прямо стахановские темпы Я выкатил глобальное обновление, а теперь только мелочи правлю. Так сказать версия 1.0 базовая сейчас и сверху могу править ошибки или допиливаю. Это кажется что сильно быстро. А по факту не сильно ))) Link to comment Share on other sites More sharing options... Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 1 час назад, kikaridza123 сказал: Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd Добавил у себя. Пару дней пусть так поработает понаблюдаю на разных сайта. Если проблем не будет добавлю в следующий релиз. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 (edited) 20 часов назад, Rassol2 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% Edited December 13, 2018 by kikaridza123 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% ну значит ограничение точно на время выполнения я точно обошел. А может вы уточнение сделаете в поиске ссылок ? Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% скиньте ваш сайт донор может я подскажу вам настройки более точного поиска. А то вдруг вы заря перебираете 50т ссылок. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777 × Existing user? Sign In Sign Up Shopping section Back Purchased extensions Invoices Whishlist Alternative Contacts Forums News ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Rassol2 Posted December 12, 2018 Author Share Posted December 12, 2018 1 час назад, kikaridza123 сказал: Попробовал так. Перед <script src="https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js"></script> Вставил <style> li.L0, li.L1, li.L2, li.L3, li.L5, li.L6, li.L7, li.L8 { list-style-type: decimal !important } </style> Сюда добавил класс linenums <code class="prettyprint linenums">'.$page_code.'</code> У меня это так выглядит http://prntscr.com/ltx6nd Добавил у себя. Пару дней пусть так поработает понаблюдаю на разных сайта. Если проблем не будет добавлю в следующий релиз. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 (edited) 20 часов назад, Rassol2 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% Edited December 13, 2018 by kikaridza123 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% ну значит ограничение точно на время выполнения я точно обошел. А может вы уточнение сделаете в поиске ссылок ? Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% скиньте ваш сайт донор может я подскажу вам настройки более точного поиска. А то вдруг вы заря перебираете 50т ссылок. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777 × Existing user? Sign In Sign Up Shopping section Back Purchased extensions Invoices Whishlist Alternative Contacts Forums News ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 (edited) 20 часов назад, Rassol2 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% Edited December 13, 2018 by kikaridza123 Link to comment Share on other sites More sharing options...
Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% ну значит ограничение точно на время выполнения я точно обошел. А может вы уточнение сделаете в поиске ссылок ? Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% скиньте ваш сайт донор может я подскажу вам настройки более точного поиска. А то вдруг вы заря перебираете 50т ссылок. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777 × Existing user? Sign In Sign Up Shopping section Back Purchased extensions Invoices Whishlist Alternative Contacts Forums News ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: С момента запуска пошел 3 день кажется 58500 ссылок собрано но думаю хостинг скоро заблокирует мой эксперимент. Сегодня 227% от лимита нагрузки на БД http://prntscr.com/lubyuc Вчера было 117% скиньте ваш сайт донор может я подскажу вам настройки более точного поиска. А то вдруг вы заря перебираете 50т ссылок. Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777 × Existing user? Sign In Sign Up Shopping section Back Purchased extensions Invoices Whishlist Alternative Contacts Forums News ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 1 час назад, Rassol2 сказал: скиньте ваш сайт http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Link to comment Share on other sites More sharing options...
Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 54 минуты назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. Я так понимаю вам нужно собрать ссылки содержащие /routes/ Такие ссылки я нашел только на 2 типах страни. Страницы стран и страницы городов то есть /routes/ может быть только когда вы выбрали с какой страны, или с какого города. Значит в очереди сканирования нужно уточнить что нам нужны только ссылки содержащие. /cities/ /countries/ перед тем как это делать остановите сканирования. Скопите в текстовый файл ссылки очереди сканирования. И ссылки выдачи. В отдельные файлы так сказать забекапте. Затем в поле http://joxi.ru/V2VLx6QIdxvvdr вставьте /cities/ /countries/ нажмите сохранить. http://joxi.ru/xAeDpyzuRpll62 и после этого попробуйте сузить список очереди. http://joxi.ru/DrlowK5fVv33xA Это уберет из очереди сканирования все ссылки что не содержат в себе /cities/ /countries/ Значит скорее всего там нету /routes/ И их просматривать не нужно. и нажимайте старт. Думаю с работает. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплата дополнений физическими лицами Оплата дополнений юридическими лицами Политика возвратов Разработчикам Регламент размещения дополнений Регламент продаж и поддержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каталога дополнений Урегулирование споров по авторским правам Полезная информация Публичная оферта Политика возвратов Политика конфиденциальности Платежная политика Политика Передачи Персональных Данных Политика прозрачности Последние дополнения Chameleon - Responsive & Multipurpose Opencart Template + Quick Start By 29aleksey Wayforpay API оплата для Opencart 2.3, 3.x By bogdan281989 TgMarket - Модуль интернет магазина в телеграмме. By Rassol2 ShowCase – Responsive / Multipurpose Opencart Template By octemplates Telnotification By Yevhenii_7777
Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 1 час назад, kikaridza123 сказал: http://prntscr.com/luev72 вот мои настройки, возможно я и не правильно их задал. но вроде сканирует правильно. ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Link to comment Share on other sites More sharing options... kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol Последние темы Последние дополнения Последние новости All Activity Home Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] SimplePars - Универсальный парсер для ИМ
kikaridza123 Posted December 13, 2018 Share Posted December 13, 2018 56 минут назад, Rassol2 сказал: ваги настройки оставляете просто дописываете в поле Шаблон ссылок очереди Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? 1 Link to comment Share on other sites More sharing options...
Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 2 часа назад, kikaridza123 сказал: Да, так и в правду кол-во ссылок в очереди сократилось на много http://prntscr.com/lugq1j А какое-то уведомление типа ( хозяин, я завершил сбор ссылок) показывает модуль? Как понять что все-таки он завершил работу? да будет. Уведомлении. И сбор остановится. С этим проблем нету. Link to comment Share on other sites More sharing options... Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options... Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 123,281 views Rassol2 October 28, 2018 bestseller UltraStore - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 41 By octemplates, June 25, 2019 новинка octemplates (and 1 more) Tagged with: новинка octemplates ultrastore 1,023 replies 155,885 views kabantejay January 21 акция Fractal - адаптивный, универсальный шаблон [Поддержка] 1 2 3 4 40 By aridius, January 30, 2017 976 replies 101,922 views aridius Tuesday at 03:30 PM новинка ReMarket - адаптивный универсальный шаблон [Поддержка] 1 2 3 4 10 By octemplates, July 26, 2021 рекомендуем octemplates (and 1 more) Tagged with: рекомендуем octemplates remarket 249 replies 30,026 views Octsupport January 30 Простор - универсальный шаблон Opencart [Поддержка] 1 2 3 By m899, May 24, 2022 новинка 2022 универсальный шаблон 57 replies 5,102 views m899 January 30 Recently Browsing 2 members bodyak0 vikvol
Axelenz Posted December 13, 2018 Share Posted December 13, 2018 Добрый вечер. Огромное спасибо за столь архиполезную программу. Как мне кажется я нашёл способ, как на порядок увеличить скорость нахождения ссылок. Т.е. уменьшить холостой пробег на поиск и перебор не нужных ссылок и плюс не нагружать сайт донора. Сейчас построено всё на логике, что мы даём "Стартовая ссылка", например site.ru/category/ и в "Шаблон ссылок очереди" помещвем, например, подкаталоги /parent_category_1/,/parent_category_2/.../parent_category_20/. Пробовал такой способ и при наличии у донора количества категорий несколько сотен получаем десятки тысяч ссылок... что требует массу времени и перебора 90% ненужного, если у нас задача скачать не всё, а выборочно подкатегории. Зато получаем автоматизм без ручного вмешательства. Более перспективный вариант - скармливать каждый раз стартовой странице ссылку типа site.ru/category/parent_category_[n]/. Количество ссылок резко уменьшается за счёт отсечения не нужных путей. Но теряем на автоматизме, поскольку каждый раз нужно вводить новые ссылку типа site.ru/category/parent_category_[n]/ и шаблон типа /parent_category_[n]/. Если количество подкаталогов, которые необходимо быстро спарсить - пару десятков, то это уже много ручной монотонной работы. Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Благодарю. Link to comment Share on other sites More sharing options...
Rassol2 Posted December 13, 2018 Author Share Posted December 13, 2018 (edited) 26 минут назад, Axelenz сказал: Поэтому предлагаю сделать конвеер, в котором после отработки одной ссылки будет подхватываться новая стартовая ссылка и новые шаблоны. Т.е. как только получаем "готово" после обработки первой стартовой, сразу за ней автоматически подгружается вторая, третья... двадцатая. Вписывать можно построчно как на странице самой программы, так и вынести в отдельный файл. При этом можно сделать на странице выбор, откуда брать Стартовую, с того места, где она сейчас (по умолчанию, например) или с внешнего источника. Спасибо за ваше предложение. Есть пару моментов. На данном этапе модуля внесення таких правок сильно усложнит разработку модуля. Возможно в будущем сделаю макрос на это дело. /parent_category_[n]/ Но не сейчас. Сейчас могу предложить другой вариант он появится следующем мелком обновлении. Я добавлю возможность напрямую вписывать ссылки что у вас уже есть. По принципу как сделано на этой вкладке. Это позволит неким образом реализовать вашу задумку. Что бы реализовать то что вы описали, нужно будет воспользоватся экселем и сгенерировать там ссылки что вам нужны Протянуть ссылку с добавлением нужного элемента. Затем эти ссылки скопировать в поле Очередь сканирования ссылок. И нажать старт, и модуль не будет обращаться к стартовой ссылке а начнет перебор непосредственно с ссылок очереди. Я думаю это частично закроет эту подробность. Более глобальные переделыванию готов буду делать позже когда будет протестирована эта версия модуля. Edited December 13, 2018 by Rassol2 Link to comment Share on other sites More sharing options... Prev 1 2 3 4 5 6 7 8 9 Next Page 4 of 478 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 140
Recommended Posts