Axelenz
-
Posts
736 -
Joined
-
Last visited
Content Type
Profiles
Forums
Marketplace
Articles
FAQ
Our New
Store
Blogs
module__dplus_manager
Everything posted by Axelenz
-
Выставлено: Apache 2.4, Php 7.2, MySQLl 5.5
-
и получил ответ finish
-
Задайте вопрос посложнее... Перепробовал и чистку кэшей, модификаторов и пр. та же ошибка лезет... буду откатываться, если теперь получится вернуться назад... Рекомендую в дальнейшем испытывать работоспособность модуля и на локальном сервере в т.ч....
-
Fatal error: Uncaught Exception: Error: Table 'new.oc_pars_sen_link' doesn't exist<br />Error No: 1146<br />SELECT * FROM oc_pars_sen_link WHERE scan = 1 AND `dn_id`=12 in I:\domains\localhost\system\library\db\mysqli.php:40 Stack trace: #0 I:\domains\localhost\system\library\db.php(16): DB\MySQLi->query('SELECT * FROM o...', Array) #1 I:\domains\localhost\admin\model\catalog\simplepars.php(112): DB->query('SELECT * FROM o...') #2 I:\domains\localhost\system\storage\modification\system\engine\loader.php(178): ModelCatalogSimplePars->ViemGrab(12) #3 I:\domains\localhost\system\engine\proxy.php(25): Loader->{closure}(Array, Array) #4 I:\domains\localhost\admin\controller\catalog\simplepars.php(111): Proxy->__call('ViemGrab', Array) #5 I:\domains\localhost\system\storage\modification\system\engine\action.php(51): ControllerCatalogSimplePars->grab() #6 I:\domains\localhost\admin\controller\startup\router.php(26): Action->execute(Object(Registry), Array) #7 I:\domains\localhost\system\storage\modification\system\engine\action. in I:\domains\localhost\system\library\db\mysqli.php on line 40 А предыдущая версия работала нормально на локалке...
-
Стянуты страницы с сайта через ... ну не хочет сайт отдавать данные... но главное, что теперь это работает ))) Создал сайт http://simple.pars/ на локалке и всё парсит. Благодарю )
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Да, всё на локалке и мне нужно, чтобы это работало даже с отключенным интернетом ))) АОП использует для этого папку /uploads и тогда путь получается коротким...
-
Мне необходимо парсить не с сайта, а со страниц, которые я стянул с сайта себе на локалку и теперь хочу эти страницы парсить. Поэтому мне нужен способ, как указать путь на моём компьютере, что бы Ваш парсер понял, где это лежит... Ну не хочет сайт мне отдавать информацию... а она мне нужна... На АОП есть такая возможность...
-
Дайте, пожалуйста, рекомендации, как можно парсить с локальной папки, ну хотя бы с /uploads или с указанием полного пути типа c:\Users\User\Downloads\site.in.ua\ ?
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
На локальной версии: Не должно быть в ссылках очереди: & &p= ... а получаем: Очередь сканирования ссылок https://rozetka.com.ua/seller/shopaholic/?section_id=80025&p=7 https://rozetka.com.ua/seller/shopaholic/?section_id=80025&p=4 https://rozetka.com.ua/seller/shopaholic/?section_id=80025&p=3 https://rozetka.com.ua/seller/shopaholic/?section_id=80025&p=2 Почему ? Версия наипоследнейшая... И не только это... заметил, что проскакивают разные сочетания символов, которые я запретил. Согласен, не все, но всё же...
-
Тоже интересует данный вопрос. Решал его тем, что запускал парсинг параллельно на локалке и на поддомене... Может есть смысл запустить ещё, например, на виртуальной машине параллельно или создать несколько поддоменов для этой цели. А то реально для парсинга товаров >100K не хватает никакого терпения... Что скажет уважаемый разработчик по этому поводу, каким способом лучше получить псевдомногопоточность при имеющемся однопоточном модуле ?
-
У меня то же самое происходило, правда на более ранних релизах, на последней версии пока не было такого останова, а может сайты такие пока не подвернулись. Но я работаю исключительно на Open Server. Решить проблему можно с помощью стороннего плагина или скрипта, который делал бы "тыць" на Старт через определённые промежутки времени... Хотя правильнее было бы, чтобы уже в самом модуле стоял чекбокс, поставил галку и этим включил самоконтроль модуля на холостой ход... а то не хорошо, когда просыпаешься утром в надежде, что у тебя уже спарсило 1,000,000 товаров за ночь и видишь, что модуль как завис на первой сотне, так и провисел без работы всю ночь... Я за полную автоматизацию и самоконтроль модуля, чтобы не привлекать (или если привлекать то по минимуму) сторонние модули/плагины/писать скрипты и заниматься прочей самодеятельностью. Модуль должен быть самодостаточным !
-
Из хотелок... Не плохо было бы, чтобы на вкладке "Сбор ссылок" была возможность поставить галку типа "После сбора ссылок сразу перейти к парсингу". Поясняю зачем это. Часто выполняю работы по парсингу огромного количества товаров (сотни тысяч) и удобно было бы, поставив на ночь сбор ссылок, быть уверенным, что после выполнения первого этапа работа парсера продолжится и далее начнётся сам парсинг и не нужно дополнительного контроля за всем этим. Это и называется по большому счёту автоматизацией процесса...
- 13,360 replies
-
- 3
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
...или тогда у Вас один выход - разделять модуль на две ветки: lite и pro...
-
А для этого в некоторых прогах и ставят галочку соглашаясь: "Я согласен с тем, что мои действия могут привести... бла-бла-бла..." ))) Парсинг вообще занятие для тех, кто хоть немного склонен к анализу и имеет общее представление о том, что делает... А ограничивать возможности модуля только потому, что кто-то может не на то нажать стоит ли ? Ведь всегда найдётся... Обычно после пары удачных попыток отформатировать свой винчестер приходить понимание того, как это работает )
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Это разве что добавить ещё одну закладку, в которой велась бы обработка уже готового наполненного товарами прайса. Т.е. в предыдущих закладках идёт сбор данных, а в этой уже чистовая обработка их с этого прайса, сортировка, удаление ненужных строк и пр. Но это уже будет не модуль, а комбайн целый ))) Хотя всё возможно реализовать... можно даже заложить возможность в этой закладке вписывать свои формулы php для обработки... Как вариант - вынести в эту закладку часть кода с модуля, чтобы можно было дописывать/переделывать, но конечно с возможностью "вернуть по умолчанию", без этой волшебной кнопки не обойтись... )))
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Наверное можно использовать для этого: iMacros, AutoHotkey, AutoIt, Selenium, Kantu, UiPath... и т.д. Я подобное использовал, когда у меня было задание по заранее заданным артикулам найти соответствующие товары на сайте и собрать ссылки на эти товары для дальнейшего парсинга... Когда артикулов тысячи, то без автоматизации сбор ссылок просто не реален.
- 13,360 replies
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Не работает на локалке... Ошибку, конечно уже не выдаёт, но и не парсит... т.е. всё вроде бы гладко идёт, но в файле кроме ссылок больше ничего нет. Хотя на сайте с теми же настройками парсит (((
-
Не парсит на локалке... ошибку выдаёт. Warning: curl_setopt(): CURLOPT_FOLLOWLOCATION cannot be activated when an open_basedir is set in I:\OSPanel\domains\localhost\admin\model\catalog\simplepars.php on line 2720
-
Неправильный формат файла настроек. Как не пробовал через экспорт и импорт перенести настройки - ничего не получается. Выдаёт всё время ошибку, что вверху... Пробовал без ссылок, поскольку ссылочная масса больше 80,000...
-
Оригинально... благодарю. Тогда и окошко может лучше подписать соответственно: "Пропустить вхождения [-взять]"
-
<ul> <li class="home" itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/"><span itemprop="title"></span></a></li> <li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/dir_bikes.htm"><span itemprop="title">Велосипеды</span></a></li> <li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/bikes/brand=Intenzo/"><span itemprop="title">Велосипеды Intenzo</span></a></li> <li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/dir_cross_country.htm"><span itemprop="title">Горные велосипеды</span></a></li> <li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/bikes/brand=Intenzo/filter=biketype:mountain/"><span itemprop="title">Горные велосипеды Intenzo</span></a></li> <li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><span itemprop="title">Велосипед Intenzo Dakar 26"</span></li> </ul> Нужны "Горные велосипеды", например.
-
И опять же из раздела хотелок... Иногда при парсинге бывает нужно, например, с "хлебных крошек" выдернуть всего лишь одно или несколько значений, а не все. Они могут использоваться не только в качестве категории... Может в "Повторяющихся границах парсинга", после "Пропустить вхождения" добавить окошко, где можно было бы задать конкретное число, сколько спарсить "крошек" после пропуска ? В моей задаче, например, на сайте была вложенность - 6 "крошек", с которые реально мне нужно было 1-2. Понятно, что всё это возможно сделать и в Excel, но всё же...
-
Благодарю, теперь парсится !
-
В последней версии почти вся выдача ссылок типа: https://site.com.ua//site.com.ua/
-
И ещё полезные хотелки... Иногда при парсинге, например, списка типа: <ul class="123"> <li>...</li> ... <li>...</li> </ul> самым доступным способом выделения необходимого текста является указание границ парсинга <ul class="123"> и </ul> соответственно... Но не хватает небольшой такой галочки, поставив которую мы получаем включение границ парсинга в то, что парсим. Т.е., чтобы модуль спарсил не <li>...</li> ... <li>...</li> а включил в текст парсинга и сами границы и получаем на выходе <ul class="123"> <li>...</li> ... <li>...</li> </ul> Понимаю, что разными способами можно потом это дописать, подменить и использовать прочие антигемморойные штучки, но зачем ??? Если можно всего лишь дописать программно, чтобы границы парсинга имели вхождение в текст парсинга при включении соответствующей галочки ? Это ведь намного упростит некоторые задачи...
