Axelenz
-
Публікації
740 -
З нами
-
Відвідування
Тип публікації
Профілі
Форум
Маркетплейс
Статті
FAQ
Наші новини
Магазин
Блоги
module__dplus_manager
Усі публікації користувача Axelenz
-
сенкс, проскочило с 250... Рекомендую давать на модуль минимальные требования, чтобы понятно было, с чем модуль работать не будет...
-
#1071 - Указан слишком длинный ключ. Максимальная длина ключа составляет 767 байт та же ошибка...
-
Ошибка в использованиии MySQL 5.5 там ограничение по длине в более поздних версиях длина увеличена Вот что пишут: " 767 bytes - это указанное префиксное ограничение для таблиц InnoDB в MySQL версии 5.6 (и предыдущих версиях). Это 1000 байтов для таблиц MyISAM. В MySQL версии 5.7 и выше этот предел был увеличен до 3072 байт. Вы также должны знать, что если вы установите индекс в большом поле char или varchar, которое закодировано в utf8mb4, вам необходимо разделить максимальную длину префикса max 767 байтов (или 3072 байта) на 4, что приведет к 191. Это связано с тем, что максимальная длина символа utf8mb4 равна четырем байтам. Для символа utf8 это будет три байта, в результате чего максимальная длина префикса индекса будет равна 254. Один из вариантов заключается в том, чтобы просто установить нижний предел для полей VARCHAR. "
-
минуточку... Ответ MySQL: #1071 - Указан слишком длинный ключ. Максимальная длина ключа составляет 767 байт
-
Выставлено: Apache 2.4, Php 7.2, MySQLl 5.5
-
и получил ответ finish
-
Задайте вопрос посложнее... Перепробовал и чистку кэшей, модификаторов и пр. та же ошибка лезет... буду откатываться, если теперь получится вернуться назад... Рекомендую в дальнейшем испытывать работоспособность модуля и на локальном сервере в т.ч....
-
Fatal error: Uncaught Exception: Error: Table 'new.oc_pars_sen_link' doesn't exist<br />Error No: 1146<br />SELECT * FROM oc_pars_sen_link WHERE scan = 1 AND `dn_id`=12 in I:\domains\localhost\system\library\db\mysqli.php:40 Stack trace: #0 I:\domains\localhost\system\library\db.php(16): DB\MySQLi->query('SELECT * FROM o...', Array) #1 I:\domains\localhost\admin\model\catalog\simplepars.php(112): DB->query('SELECT * FROM o...') #2 I:\domains\localhost\system\storage\modification\system\engine\loader.php(178): ModelCatalogSimplePars->ViemGrab(12) #3 I:\domains\localhost\system\engine\proxy.php(25): Loader->{closure}(Array, Array) #4 I:\domains\localhost\admin\controller\catalog\simplepars.php(111): Proxy->__call('ViemGrab', Array) #5 I:\domains\localhost\system\storage\modification\system\engine\action.php(51): ControllerCatalogSimplePars->grab() #6 I:\domains\localhost\admin\controller\startup\router.php(26): Action->execute(Object(Registry), Array) #7 I:\domains\localhost\system\storage\modification\system\engine\action. in I:\domains\localhost\system\library\db\mysqli.php on line 40 А предыдущая версия работала нормально на локалке...
-
Стянуты страницы с сайта через ... ну не хочет сайт отдавать данные... но главное, что теперь это работает ))) Создал сайт http://simple.pars/ на локалке и всё парсит. Благодарю )
- 13 413 відповіді
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Да, всё на локалке и мне нужно, чтобы это работало даже с отключенным интернетом ))) АОП использует для этого папку /uploads и тогда путь получается коротким...
-
Мне необходимо парсить не с сайта, а со страниц, которые я стянул с сайта себе на локалку и теперь хочу эти страницы парсить. Поэтому мне нужен способ, как указать путь на моём компьютере, что бы Ваш парсер понял, где это лежит... Ну не хочет сайт мне отдавать информацию... а она мне нужна... На АОП есть такая возможность...
-
Дайте, пожалуйста, рекомендации, как можно парсить с локальной папки, ну хотя бы с /uploads или с указанием полного пути типа c:\Users\User\Downloads\site.in.ua\ ?
- 13 413 відповіді
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
На локальной версии: Не должно быть в ссылках очереди: & &p= ... а получаем: Очередь сканирования ссылок https://rozetka.com.ua/seller/shopaholic/?section_id=80025&p=7 https://rozetka.com.ua/seller/shopaholic/?section_id=80025&p=4 https://rozetka.com.ua/seller/shopaholic/?section_id=80025&p=3 https://rozetka.com.ua/seller/shopaholic/?section_id=80025&p=2 Почему ? Версия наипоследнейшая... И не только это... заметил, что проскакивают разные сочетания символов, которые я запретил. Согласен, не все, но всё же...
-
Тоже интересует данный вопрос. Решал его тем, что запускал парсинг параллельно на локалке и на поддомене... Может есть смысл запустить ещё, например, на виртуальной машине параллельно или создать несколько поддоменов для этой цели. А то реально для парсинга товаров >100K не хватает никакого терпения... Что скажет уважаемый разработчик по этому поводу, каким способом лучше получить псевдомногопоточность при имеющемся однопоточном модуле ?
-
У меня то же самое происходило, правда на более ранних релизах, на последней версии пока не было такого останова, а может сайты такие пока не подвернулись. Но я работаю исключительно на Open Server. Решить проблему можно с помощью стороннего плагина или скрипта, который делал бы "тыць" на Старт через определённые промежутки времени... Хотя правильнее было бы, чтобы уже в самом модуле стоял чекбокс, поставил галку и этим включил самоконтроль модуля на холостой ход... а то не хорошо, когда просыпаешься утром в надежде, что у тебя уже спарсило 1,000,000 товаров за ночь и видишь, что модуль как завис на первой сотне, так и провисел без работы всю ночь... Я за полную автоматизацию и самоконтроль модуля, чтобы не привлекать (или если привлекать то по минимуму) сторонние модули/плагины/писать скрипты и заниматься прочей самодеятельностью. Модуль должен быть самодостаточным !
-
Из хотелок... Не плохо было бы, чтобы на вкладке "Сбор ссылок" была возможность поставить галку типа "После сбора ссылок сразу перейти к парсингу". Поясняю зачем это. Часто выполняю работы по парсингу огромного количества товаров (сотни тысяч) и удобно было бы, поставив на ночь сбор ссылок, быть уверенным, что после выполнения первого этапа работа парсера продолжится и далее начнётся сам парсинг и не нужно дополнительного контроля за всем этим. Это и называется по большому счёту автоматизацией процесса...
- 13 413 відповіді
-
- 3
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
...или тогда у Вас один выход - разделять модуль на две ветки: lite и pro...
-
А для этого в некоторых прогах и ставят галочку соглашаясь: "Я согласен с тем, что мои действия могут привести... бла-бла-бла..." ))) Парсинг вообще занятие для тех, кто хоть немного склонен к анализу и имеет общее представление о том, что делает... А ограничивать возможности модуля только потому, что кто-то может не на то нажать стоит ли ? Ведь всегда найдётся... Обычно после пары удачных попыток отформатировать свой винчестер приходить понимание того, как это работает )
- 13 413 відповіді
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Это разве что добавить ещё одну закладку, в которой велась бы обработка уже готового наполненного товарами прайса. Т.е. в предыдущих закладках идёт сбор данных, а в этой уже чистовая обработка их с этого прайса, сортировка, удаление ненужных строк и пр. Но это уже будет не модуль, а комбайн целый ))) Хотя всё возможно реализовать... можно даже заложить возможность в этой закладке вписывать свои формулы php для обработки... Как вариант - вынести в эту закладку часть кода с модуля, чтобы можно было дописывать/переделывать, но конечно с возможностью "вернуть по умолчанию", без этой волшебной кнопки не обойтись... )))
- 13 413 відповіді
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Наверное можно использовать для этого: iMacros, AutoHotkey, AutoIt, Selenium, Kantu, UiPath... и т.д. Я подобное использовал, когда у меня было задание по заранее заданным артикулам найти соответствующие товары на сайте и собрать ссылки на эти товары для дальнейшего парсинга... Когда артикулов тысячи, то без автоматизации сбор ссылок просто не реален.
- 13 413 відповіді
-
- 1
-
-
- simplepars
- парсинг товаров opencart
- (і ще %d)
-
Не работает на локалке... Ошибку, конечно уже не выдаёт, но и не парсит... т.е. всё вроде бы гладко идёт, но в файле кроме ссылок больше ничего нет. Хотя на сайте с теми же настройками парсит (((
-
Не парсит на локалке... ошибку выдаёт. Warning: curl_setopt(): CURLOPT_FOLLOWLOCATION cannot be activated when an open_basedir is set in I:\OSPanel\domains\localhost\admin\model\catalog\simplepars.php on line 2720
-
Неправильный формат файла настроек. Как не пробовал через экспорт и импорт перенести настройки - ничего не получается. Выдаёт всё время ошибку, что вверху... Пробовал без ссылок, поскольку ссылочная масса больше 80,000...
-
Оригинально... благодарю. Тогда и окошко может лучше подписать соответственно: "Пропустить вхождения [-взять]"
-
<ul> <li class="home" itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/"><span itemprop="title"></span></a></li> <li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/dir_bikes.htm"><span itemprop="title">Велосипеды</span></a></li> <li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/bikes/brand=Intenzo/"><span itemprop="title">Велосипеды Intenzo</span></a></li> <li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/dir_cross_country.htm"><span itemprop="title">Горные велосипеды</span></a></li> <li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/bikes/brand=Intenzo/filter=biketype:mountain/"><span itemprop="title">Горные велосипеды Intenzo</span></a></li> <li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><span itemprop="title">Велосипед Intenzo Dakar 26"</span></li> </ul> Нужны "Горные велосипеды", например.
