fjeka Опубликовано: 11 марта 2015 Поделиться Опубликовано: 11 марта 2015 Хороший модуль. Но вот что хотелось бы еще: 1. Возможно ли сделать поиск не только по названию и модели, а еще по полю UPC? Дело в том, что по названию у меня не ищется так как оно слишком длинное и включает в себя характеристики товара, а в поле модель у меня артикулы так как оно зарезервировано для другого модуля. 2. Возможно ли сделать парсинг по расписанию? Настроить чтоб с периодичностью, например, обновлялись цены и только у тех товаров у которых уже есть ссылки. 3. При изменении настроек модуля слетает фильтр в карточке товаров что не удобно. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
igyan Опубликовано: 12 марта 2015 Автор Поделиться Опубликовано: 12 марта 2015 upc используется довольно редко, придется много переделывать, смысла особо нет единственное как можно сделать по расписанию это через cron, но тут проблема, что модули запускается через админку с проверкой логина и токена, может и есть решение этой проблемы, но мне не известно да фильтр слетает, может исправлю в обновлениях Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... aleksus33 Опубликовано: 12 марта 2015 Поделиться Опубликовано: 12 марта 2015 Добрый вечер! Огромное спасибо автору модуля,пользуюсь данным парсер-менеджером, все отлично. Но у меня есть к автору просьба по доработке данного модуля. Парсер отличный, все делает так как нужно, но прайс-агрегатор в моем случае hotline с которого парсится информация время от времени меняет структуру строк в описании. На выходе мы получаем, что строки одних и тех же атрибутов не совпадают, что влечет за собой дубли. Это заметно при сравнении товаров, при выводе фильтров. Как вариант решения данной проблемы я бы предложил в данном модуле сделать функционал который позволяет выгрузить все атрибуты, поправить,а потом загрузить в нормальном виде. Возможно я по дилетантски описал решение, прошу сильно не пинать, так как в программировании не силен. Повторюсь: АВТОРУ ОГРОМНОЕ СПАСИБО ЗА МОДУЛЬ!!! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 12 марта 2015 Поделиться Опубликовано: 12 марта 2015 upc используется довольно редко, придется много переделывать, смысла особо нет единственное как можно сделать по расписанию это через cron, но тут проблема, что модули запускается через админку с проверкой логина и токена, может и есть решение этой проблемы, но мне не известно да фильтр слетает, может исправлю в обновлениях 1. Согласен. Наверно это только мне нужно. Тогда не надо. Что-нибудь придумаю. 2. Если это сложно реализовать то не надо. Можно ли хотя бы сделать так, чтоб можно было отфильтровать только те товары у которых проставлены ссылки и вручную из админки запустить парсинг. Или добавить возможность запускать парсинг всех товаров со ссылками без необходимости выделения их галочками. 3. Отлично. Есть еще пару вопросов: 4. Не для всех товаров на маркете есть своя страница. Иногда бывает что по названию выдается страница с предложениями от нескольких магазинов. Можно ли сделать парсинг с такой страницы? Например чтоб проставлялась минимальная цена. 5. Есть товары со статусом "Нет в продаже" Можно ли им выставлять цену 0 и количество 0. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 13 марта 2015 Автор Поделиться Опубликовано: 13 марта 2015 Добрый вечер! Огромное спасибо автору модуля,пользуюсь данным парсер-менеджером, все отлично. Но у меня есть к автору просьба по доработке данного модуля. Парсер отличный, все делает так как нужно, но прайс-агрегатор в моем случае hotline с которого парсится информация время от времени меняет структуру строк в описании. На выходе мы получаем, что строки одних и тех же атрибутов не совпадают, что влечет за собой дубли. Это заметно при сравнении товаров, при выводе фильтров. Как вариант решения данной проблемы я бы предложил в данном модуле сделать функционал который позволяет выгрузить все атрибуты, поправить,а потом загрузить в нормальном виде. Возможно я по дилетантски описал решение, прошу сильно не пинать, так как в программировании не силен. Повторюсь: АВТОРУ ОГРОМНОЕ СПАСИБО ЗА МОДУЛЬ!!! Здравствуйте, спасибо за отзыв, модуль сделан в первую очередь для парсинга, посмотрите в дополнениях есть множество модулей для экспорта/импорта, есть модуль пакетного изменения товаров, возможно он вам подойдет Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 13 марта 2015 Автор Поделиться Опубликовано: 13 марта 2015 1. Согласен. Наверно это только мне нужно. Тогда не надо. Что-нибудь придумаю. 2. Если это сложно реализовать то не надо. Можно ли хотя бы сделать так, чтоб можно было отфильтровать только те товары у которых проставлены ссылки и вручную из админки запустить парсинг. Или добавить возможность запускать парсинг всех товаров со ссылками без необходимости выделения их галочками. 3. Отлично. Есть еще пару вопросов: 4. Не для всех товаров на маркете есть своя страница. Иногда бывает что по названию выдается страница с предложениями от нескольких магазинов. Можно ли сделать парсинг с такой страницы? Например чтоб проставлялась минимальная цена. 5. Есть товары со статусом "Нет в продаже" Можно ли им выставлять цену 0 и количество 0. При парсинге с яндекса нередко банят, выкидывают капчу и тд., поэтому, по-моему нужен контроль. Если не хотите часто ставить галочку, сделайте настройку по выводу товаров 100-200-300 и делайте парсинг большого количества. С других доноров проще, но представьте, если сразу несколько человек запустит парсинг всех товаров, это будет сродни DDOS атаки. Так что лучше давайте оставим так как есть Насчет товаров без страниц, сам процесс парсинга состоит в разборе верстки донора, в парсере три донора, с других сайтов парсить не будет. по последнему пункту попробую что-нибудь сделать Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 14 марта 2015 Поделиться Опубликовано: 14 марта 2015 Еще заметил что при поиске ссылок и при парсинге очиень сильно начинает тормозить сайт с которого идет парсинг. При этом другие сайты на этом же хостинге работают нормально. Хостинг не дешевый. Ресурсов достаточно. Можно ли оптимизировать производительность, чтоб сайтом можно было пользоваться. А то иногда совсем перестают страницы загружаться. И еще вопрос по прокси. Как именно организована работа через список? Если IP прокси Яндекс заблокирует, то автоматом начнется работа через другой прокси в списке? Или проверка идет на уровне доступен прокси или нет? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 15 марта 2015 Автор Поделиться Опубликовано: 15 марта 2015 При парсинге большая нагрузка по http и на базу данных, поэтому и зависания. Если парсите через прокси, то плюс еще время ответа от прокси. Если использовать бесплатные прокси, которые могут не работать в момент парсинга, то скрипт будет ожидать таймаут ответа от прокси. Работа через прокси- лист: парсер пытается достучаться до сайта через прокси, если получена страница с товаром, то идет работа с данными, если получен бан, то выкинет капчу или должен браться следующий прокси. хуже если нет ответа от прокси, парсер будет ждать 15 сек, только потом перейдет к следующему прокси прокси при парсинге не удаляются, поэтому при следующем парсинге будут опять использоваться и нерабочие прокси, удаляются прокси только если нажать "проверка прокси" Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 15 марта 2015 Поделиться Опубликовано: 15 марта 2015 При парсинге большая нагрузка по http и на базу данных, поэтому и зависания. Можно ли как то уменьшить нагрузку на базу? Может как-нибудь разграничить работу скрипта и сайта? Пусть скрипт будет работать дольше. Мне главное чтоб сайт открывался в процессе парсинга. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... jekyman83 Опубликовано: 15 марта 2015 Поделиться Опубликовано: 15 марта 2015 Работает нормально ? Какие проблемы вылезают? Хочу купить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 16 марта 2015 Автор Поделиться Опубликовано: 16 марта 2015 Можно ли как то уменьшить нагрузку на базу? Может как-нибудь разграничить работу скрипта и сайта? Пусть скрипт будет работать дольше. Мне главное чтоб сайт открывался в процессе парсинга. Разделить не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение. Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... sonicking Опубликовано: 16 марта 2015 Поделиться Опубликовано: 16 марта 2015 Надо делать отдельное приложение. при адекватной цене думаю спрос будет приличный Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. или парсить на локалке, а потом синхронизировать с сервером Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. Так дело в том, что во время работы парсера нагрузка на сервер со стороны посетителей минимальная. Сайт просто перестает открываться. Еще заметил такую вещь. Если нажимаю ссылку искать, то в процессе поиска сайт не открывается. Но после поиска может вылететь сообщение, что товар не найден. По идее должно быть только одно обращение к базе данных в момент запроса названия товара. Почему тогда во время поиска такая большая нагрузка на базу? Может как-то можно оптимизировать работу? Разделить не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение. Сколько времени потребуется для написания такого приложения? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 Если парсите через прокси, то прибавьте время ответа от самого прокси По времени не могу сказать, смотря с какого донора. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... sonicking Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 По времени не могу сказать, смотря с какого донора. с тех же доноров, что и в парсере Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 с яндексом я бы не стал связываться, много проблем с остальных, думаю за неделю можно справиться, но желания и времени заниматься нет Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 22 марта 2015 Поделиться Опубликовано: 22 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Некоторые пользователи наоборот просили убрать название техники, оно вставляется ,например, при парсинге с онлайнера. Можно добавить поле, если вам нужно. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 23 марта 2015 Поделиться Опубликовано: 23 марта 2015 Нужно, большинство товаров с яндекса. В онлайнере почему-то мало нужных мне позиций. Буду благодарен. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Для яндекса в файл admin\view\template\module\parsermanager.tpl строка 623 после строки <form id="form_parsing" action="" method="POST"> добавьте <input type="text" name="prefix" value="" size="50" placeholder="название товара"> на экране должно появиться поле в файл строка 623 admin\controller\module\parsermanager.php перед строкой 1377 MCurl::addMessage("Название товара: ".$product['title']); добавьте if(isset($this->request->post['prefix']) AND !empty($this->request->post['prefix'])){ $product['title'] = $this->request->post['prefix'].' '.$product['title']; } Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 24 марта 2015 Поделиться Опубликовано: 24 марта 2015 Благодарю, видимо яндекс теперь не отдает название техники. а пишет сразу брендо-модель. Вот пример http://market.yandex.ru/product/6905922/?hid=4954975&text=Moulinex%20CE4000&srnum=1 Все таки лучше с хотлайна и онлайнера, если есть возможность :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 24 марта 2015 Автор Поделиться Опубликовано: 24 марта 2015 Я написал вам как сделать, чтобы вы могли написать название вручную, у вас должно появится поле для ввода названия, попробуйте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... tymoxa Опубликовано: 28 марта 2015 Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 28 марта 2015 Автор Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Здравствуйте, импортируйте куки с хотлайна с включенным украинским и загрузите в парсер. Как импортировать описано в приложении к парсеру, можно любым средством в браузере. Название файла должно быть cookie.txt. Я попробовал на лампах, получилось вставить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... dima2000 Опубликовано: 2 апреля 2015 Поделиться Опубликовано: 2 апреля 2015 Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ? 02-04-2015 11:00:23: Начало парсинга02-04-2015 11:00:23: Cookie включены.02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-802-04-2015 11:00:23: Удачный ответ от сервера02-04-2015 11:00:23: Получено 6480 байт02-04-2015 11:00:23: Конец парсинга вот лог Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 12 13 14 15 16 17 18 19 20 21 22 Вперёд Страница 17 из 62 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 8 Перейти к списку тем Похожие публикации парсинг Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 комментариев 1 986 просмотров solohaigor 14 апреля 2023 парсинг [Поддержка] Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 1 ответ 355 просмотров vvbmusic 18 марта [Поддержка] SimplePars - Универсальный парсер для ИМ 1 2 3 4 524 Автор: Rassol2, 1 ноября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 13 076 ответов 849 572 просмотра Rassol2 19 марта SimplePars - Универсальный парсер для ИМ Автор: Rassol2, 28 октября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 комментариев 143 262 просмотра Rassol2 28 октября 2018 [Поддержка] Настройка парсинга модулем SimplePars. Наполнение сайта товаром Автор: partshez, 3 апреля 2022 наполнение им парсинг (и ещё 20) Теги: наполнение им парсинг parser parse import скачать товары обновление цен добавление товаров загрузить товары симплпарс simplepars наполнение интернетмагазина парсер product обновление товар yml xml перенос товаров грабер сбор ссылок парсинг в csv парсинг товаров opencart 1 ответ 647 просмотров LuckyGenius 27 апреля 2023 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] Парсер-менеджер товаров с торговых площадок Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
aleksus33 Опубликовано: 12 марта 2015 Поделиться Опубликовано: 12 марта 2015 Добрый вечер! Огромное спасибо автору модуля,пользуюсь данным парсер-менеджером, все отлично. Но у меня есть к автору просьба по доработке данного модуля. Парсер отличный, все делает так как нужно, но прайс-агрегатор в моем случае hotline с которого парсится информация время от времени меняет структуру строк в описании. На выходе мы получаем, что строки одних и тех же атрибутов не совпадают, что влечет за собой дубли. Это заметно при сравнении товаров, при выводе фильтров. Как вариант решения данной проблемы я бы предложил в данном модуле сделать функционал который позволяет выгрузить все атрибуты, поправить,а потом загрузить в нормальном виде. Возможно я по дилетантски описал решение, прошу сильно не пинать, так как в программировании не силен. Повторюсь: АВТОРУ ОГРОМНОЕ СПАСИБО ЗА МОДУЛЬ!!! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
fjeka Опубликовано: 12 марта 2015 Поделиться Опубликовано: 12 марта 2015 upc используется довольно редко, придется много переделывать, смысла особо нет единственное как можно сделать по расписанию это через cron, но тут проблема, что модули запускается через админку с проверкой логина и токена, может и есть решение этой проблемы, но мне не известно да фильтр слетает, может исправлю в обновлениях 1. Согласен. Наверно это только мне нужно. Тогда не надо. Что-нибудь придумаю. 2. Если это сложно реализовать то не надо. Можно ли хотя бы сделать так, чтоб можно было отфильтровать только те товары у которых проставлены ссылки и вручную из админки запустить парсинг. Или добавить возможность запускать парсинг всех товаров со ссылками без необходимости выделения их галочками. 3. Отлично. Есть еще пару вопросов: 4. Не для всех товаров на маркете есть своя страница. Иногда бывает что по названию выдается страница с предложениями от нескольких магазинов. Можно ли сделать парсинг с такой страницы? Например чтоб проставлялась минимальная цена. 5. Есть товары со статусом "Нет в продаже" Можно ли им выставлять цену 0 и количество 0. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
igyan Опубликовано: 13 марта 2015 Автор Поделиться Опубликовано: 13 марта 2015 Добрый вечер! Огромное спасибо автору модуля,пользуюсь данным парсер-менеджером, все отлично. Но у меня есть к автору просьба по доработке данного модуля. Парсер отличный, все делает так как нужно, но прайс-агрегатор в моем случае hotline с которого парсится информация время от времени меняет структуру строк в описании. На выходе мы получаем, что строки одних и тех же атрибутов не совпадают, что влечет за собой дубли. Это заметно при сравнении товаров, при выводе фильтров. Как вариант решения данной проблемы я бы предложил в данном модуле сделать функционал который позволяет выгрузить все атрибуты, поправить,а потом загрузить в нормальном виде. Возможно я по дилетантски описал решение, прошу сильно не пинать, так как в программировании не силен. Повторюсь: АВТОРУ ОГРОМНОЕ СПАСИБО ЗА МОДУЛЬ!!! Здравствуйте, спасибо за отзыв, модуль сделан в первую очередь для парсинга, посмотрите в дополнениях есть множество модулей для экспорта/импорта, есть модуль пакетного изменения товаров, возможно он вам подойдет Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 13 марта 2015 Автор Поделиться Опубликовано: 13 марта 2015 1. Согласен. Наверно это только мне нужно. Тогда не надо. Что-нибудь придумаю. 2. Если это сложно реализовать то не надо. Можно ли хотя бы сделать так, чтоб можно было отфильтровать только те товары у которых проставлены ссылки и вручную из админки запустить парсинг. Или добавить возможность запускать парсинг всех товаров со ссылками без необходимости выделения их галочками. 3. Отлично. Есть еще пару вопросов: 4. Не для всех товаров на маркете есть своя страница. Иногда бывает что по названию выдается страница с предложениями от нескольких магазинов. Можно ли сделать парсинг с такой страницы? Например чтоб проставлялась минимальная цена. 5. Есть товары со статусом "Нет в продаже" Можно ли им выставлять цену 0 и количество 0. При парсинге с яндекса нередко банят, выкидывают капчу и тд., поэтому, по-моему нужен контроль. Если не хотите часто ставить галочку, сделайте настройку по выводу товаров 100-200-300 и делайте парсинг большого количества. С других доноров проще, но представьте, если сразу несколько человек запустит парсинг всех товаров, это будет сродни DDOS атаки. Так что лучше давайте оставим так как есть Насчет товаров без страниц, сам процесс парсинга состоит в разборе верстки донора, в парсере три донора, с других сайтов парсить не будет. по последнему пункту попробую что-нибудь сделать Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 14 марта 2015 Поделиться Опубликовано: 14 марта 2015 Еще заметил что при поиске ссылок и при парсинге очиень сильно начинает тормозить сайт с которого идет парсинг. При этом другие сайты на этом же хостинге работают нормально. Хостинг не дешевый. Ресурсов достаточно. Можно ли оптимизировать производительность, чтоб сайтом можно было пользоваться. А то иногда совсем перестают страницы загружаться. И еще вопрос по прокси. Как именно организована работа через список? Если IP прокси Яндекс заблокирует, то автоматом начнется работа через другой прокси в списке? Или проверка идет на уровне доступен прокси или нет? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 15 марта 2015 Автор Поделиться Опубликовано: 15 марта 2015 При парсинге большая нагрузка по http и на базу данных, поэтому и зависания. Если парсите через прокси, то плюс еще время ответа от прокси. Если использовать бесплатные прокси, которые могут не работать в момент парсинга, то скрипт будет ожидать таймаут ответа от прокси. Работа через прокси- лист: парсер пытается достучаться до сайта через прокси, если получена страница с товаром, то идет работа с данными, если получен бан, то выкинет капчу или должен браться следующий прокси. хуже если нет ответа от прокси, парсер будет ждать 15 сек, только потом перейдет к следующему прокси прокси при парсинге не удаляются, поэтому при следующем парсинге будут опять использоваться и нерабочие прокси, удаляются прокси только если нажать "проверка прокси" Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 15 марта 2015 Поделиться Опубликовано: 15 марта 2015 При парсинге большая нагрузка по http и на базу данных, поэтому и зависания. Можно ли как то уменьшить нагрузку на базу? Может как-нибудь разграничить работу скрипта и сайта? Пусть скрипт будет работать дольше. Мне главное чтоб сайт открывался в процессе парсинга. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... jekyman83 Опубликовано: 15 марта 2015 Поделиться Опубликовано: 15 марта 2015 Работает нормально ? Какие проблемы вылезают? Хочу купить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 16 марта 2015 Автор Поделиться Опубликовано: 16 марта 2015 Можно ли как то уменьшить нагрузку на базу? Может как-нибудь разграничить работу скрипта и сайта? Пусть скрипт будет работать дольше. Мне главное чтоб сайт открывался в процессе парсинга. Разделить не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение. Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... sonicking Опубликовано: 16 марта 2015 Поделиться Опубликовано: 16 марта 2015 Надо делать отдельное приложение. при адекватной цене думаю спрос будет приличный Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. или парсить на локалке, а потом синхронизировать с сервером Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. Так дело в том, что во время работы парсера нагрузка на сервер со стороны посетителей минимальная. Сайт просто перестает открываться. Еще заметил такую вещь. Если нажимаю ссылку искать, то в процессе поиска сайт не открывается. Но после поиска может вылететь сообщение, что товар не найден. По идее должно быть только одно обращение к базе данных в момент запроса названия товара. Почему тогда во время поиска такая большая нагрузка на базу? Может как-то можно оптимизировать работу? Разделить не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение. Сколько времени потребуется для написания такого приложения? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 Если парсите через прокси, то прибавьте время ответа от самого прокси По времени не могу сказать, смотря с какого донора. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... sonicking Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 По времени не могу сказать, смотря с какого донора. с тех же доноров, что и в парсере Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 с яндексом я бы не стал связываться, много проблем с остальных, думаю за неделю можно справиться, но желания и времени заниматься нет Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 22 марта 2015 Поделиться Опубликовано: 22 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Некоторые пользователи наоборот просили убрать название техники, оно вставляется ,например, при парсинге с онлайнера. Можно добавить поле, если вам нужно. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 23 марта 2015 Поделиться Опубликовано: 23 марта 2015 Нужно, большинство товаров с яндекса. В онлайнере почему-то мало нужных мне позиций. Буду благодарен. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Для яндекса в файл admin\view\template\module\parsermanager.tpl строка 623 после строки <form id="form_parsing" action="" method="POST"> добавьте <input type="text" name="prefix" value="" size="50" placeholder="название товара"> на экране должно появиться поле в файл строка 623 admin\controller\module\parsermanager.php перед строкой 1377 MCurl::addMessage("Название товара: ".$product['title']); добавьте if(isset($this->request->post['prefix']) AND !empty($this->request->post['prefix'])){ $product['title'] = $this->request->post['prefix'].' '.$product['title']; } Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 24 марта 2015 Поделиться Опубликовано: 24 марта 2015 Благодарю, видимо яндекс теперь не отдает название техники. а пишет сразу брендо-модель. Вот пример http://market.yandex.ru/product/6905922/?hid=4954975&text=Moulinex%20CE4000&srnum=1 Все таки лучше с хотлайна и онлайнера, если есть возможность :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 24 марта 2015 Автор Поделиться Опубликовано: 24 марта 2015 Я написал вам как сделать, чтобы вы могли написать название вручную, у вас должно появится поле для ввода названия, попробуйте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... tymoxa Опубликовано: 28 марта 2015 Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 28 марта 2015 Автор Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Здравствуйте, импортируйте куки с хотлайна с включенным украинским и загрузите в парсер. Как импортировать описано в приложении к парсеру, можно любым средством в браузере. Название файла должно быть cookie.txt. Я попробовал на лампах, получилось вставить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... dima2000 Опубликовано: 2 апреля 2015 Поделиться Опубликовано: 2 апреля 2015 Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ? 02-04-2015 11:00:23: Начало парсинга02-04-2015 11:00:23: Cookie включены.02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-802-04-2015 11:00:23: Удачный ответ от сервера02-04-2015 11:00:23: Получено 6480 байт02-04-2015 11:00:23: Конец парсинга вот лог Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 12 13 14 15 16 17 18 19 20 21 22 Вперёд Страница 17 из 62 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 8 Перейти к списку тем Похожие публикации парсинг Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 комментариев 1 986 просмотров solohaigor 14 апреля 2023 парсинг [Поддержка] Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 1 ответ 355 просмотров vvbmusic 18 марта [Поддержка] SimplePars - Универсальный парсер для ИМ 1 2 3 4 524 Автор: Rassol2, 1 ноября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 13 076 ответов 849 572 просмотра Rassol2 19 марта SimplePars - Универсальный парсер для ИМ Автор: Rassol2, 28 октября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 комментариев 143 262 просмотра Rassol2 28 октября 2018 [Поддержка] Настройка парсинга модулем SimplePars. Наполнение сайта товаром Автор: partshez, 3 апреля 2022 наполнение им парсинг (и ещё 20) Теги: наполнение им парсинг parser parse import скачать товары обновление цен добавление товаров загрузить товары симплпарс simplepars наполнение интернетмагазина парсер product обновление товар yml xml перенос товаров грабер сбор ссылок парсинг в csv парсинг товаров opencart 1 ответ 647 просмотров LuckyGenius 27 апреля 2023 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] Парсер-менеджер товаров с торговых площадок Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
igyan Опубликовано: 13 марта 2015 Автор Поделиться Опубликовано: 13 марта 2015 1. Согласен. Наверно это только мне нужно. Тогда не надо. Что-нибудь придумаю. 2. Если это сложно реализовать то не надо. Можно ли хотя бы сделать так, чтоб можно было отфильтровать только те товары у которых проставлены ссылки и вручную из админки запустить парсинг. Или добавить возможность запускать парсинг всех товаров со ссылками без необходимости выделения их галочками. 3. Отлично. Есть еще пару вопросов: 4. Не для всех товаров на маркете есть своя страница. Иногда бывает что по названию выдается страница с предложениями от нескольких магазинов. Можно ли сделать парсинг с такой страницы? Например чтоб проставлялась минимальная цена. 5. Есть товары со статусом "Нет в продаже" Можно ли им выставлять цену 0 и количество 0. При парсинге с яндекса нередко банят, выкидывают капчу и тд., поэтому, по-моему нужен контроль. Если не хотите часто ставить галочку, сделайте настройку по выводу товаров 100-200-300 и делайте парсинг большого количества. С других доноров проще, но представьте, если сразу несколько человек запустит парсинг всех товаров, это будет сродни DDOS атаки. Так что лучше давайте оставим так как есть Насчет товаров без страниц, сам процесс парсинга состоит в разборе верстки донора, в парсере три донора, с других сайтов парсить не будет. по последнему пункту попробую что-нибудь сделать Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 14 марта 2015 Поделиться Опубликовано: 14 марта 2015 Еще заметил что при поиске ссылок и при парсинге очиень сильно начинает тормозить сайт с которого идет парсинг. При этом другие сайты на этом же хостинге работают нормально. Хостинг не дешевый. Ресурсов достаточно. Можно ли оптимизировать производительность, чтоб сайтом можно было пользоваться. А то иногда совсем перестают страницы загружаться. И еще вопрос по прокси. Как именно организована работа через список? Если IP прокси Яндекс заблокирует, то автоматом начнется работа через другой прокси в списке? Или проверка идет на уровне доступен прокси или нет? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 15 марта 2015 Автор Поделиться Опубликовано: 15 марта 2015 При парсинге большая нагрузка по http и на базу данных, поэтому и зависания. Если парсите через прокси, то плюс еще время ответа от прокси. Если использовать бесплатные прокси, которые могут не работать в момент парсинга, то скрипт будет ожидать таймаут ответа от прокси. Работа через прокси- лист: парсер пытается достучаться до сайта через прокси, если получена страница с товаром, то идет работа с данными, если получен бан, то выкинет капчу или должен браться следующий прокси. хуже если нет ответа от прокси, парсер будет ждать 15 сек, только потом перейдет к следующему прокси прокси при парсинге не удаляются, поэтому при следующем парсинге будут опять использоваться и нерабочие прокси, удаляются прокси только если нажать "проверка прокси" Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 15 марта 2015 Поделиться Опубликовано: 15 марта 2015 При парсинге большая нагрузка по http и на базу данных, поэтому и зависания. Можно ли как то уменьшить нагрузку на базу? Может как-нибудь разграничить работу скрипта и сайта? Пусть скрипт будет работать дольше. Мне главное чтоб сайт открывался в процессе парсинга. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... jekyman83 Опубликовано: 15 марта 2015 Поделиться Опубликовано: 15 марта 2015 Работает нормально ? Какие проблемы вылезают? Хочу купить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 16 марта 2015 Автор Поделиться Опубликовано: 16 марта 2015 Можно ли как то уменьшить нагрузку на базу? Может как-нибудь разграничить работу скрипта и сайта? Пусть скрипт будет работать дольше. Мне главное чтоб сайт открывался в процессе парсинга. Разделить не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение. Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... sonicking Опубликовано: 16 марта 2015 Поделиться Опубликовано: 16 марта 2015 Надо делать отдельное приложение. при адекватной цене думаю спрос будет приличный Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. или парсить на локалке, а потом синхронизировать с сервером Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. Так дело в том, что во время работы парсера нагрузка на сервер со стороны посетителей минимальная. Сайт просто перестает открываться. Еще заметил такую вещь. Если нажимаю ссылку искать, то в процессе поиска сайт не открывается. Но после поиска может вылететь сообщение, что товар не найден. По идее должно быть только одно обращение к базе данных в момент запроса названия товара. Почему тогда во время поиска такая большая нагрузка на базу? Может как-то можно оптимизировать работу? Разделить не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение. Сколько времени потребуется для написания такого приложения? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 Если парсите через прокси, то прибавьте время ответа от самого прокси По времени не могу сказать, смотря с какого донора. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... sonicking Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 По времени не могу сказать, смотря с какого донора. с тех же доноров, что и в парсере Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 с яндексом я бы не стал связываться, много проблем с остальных, думаю за неделю можно справиться, но желания и времени заниматься нет Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 22 марта 2015 Поделиться Опубликовано: 22 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Некоторые пользователи наоборот просили убрать название техники, оно вставляется ,например, при парсинге с онлайнера. Можно добавить поле, если вам нужно. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 23 марта 2015 Поделиться Опубликовано: 23 марта 2015 Нужно, большинство товаров с яндекса. В онлайнере почему-то мало нужных мне позиций. Буду благодарен. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Для яндекса в файл admin\view\template\module\parsermanager.tpl строка 623 после строки <form id="form_parsing" action="" method="POST"> добавьте <input type="text" name="prefix" value="" size="50" placeholder="название товара"> на экране должно появиться поле в файл строка 623 admin\controller\module\parsermanager.php перед строкой 1377 MCurl::addMessage("Название товара: ".$product['title']); добавьте if(isset($this->request->post['prefix']) AND !empty($this->request->post['prefix'])){ $product['title'] = $this->request->post['prefix'].' '.$product['title']; } Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 24 марта 2015 Поделиться Опубликовано: 24 марта 2015 Благодарю, видимо яндекс теперь не отдает название техники. а пишет сразу брендо-модель. Вот пример http://market.yandex.ru/product/6905922/?hid=4954975&text=Moulinex%20CE4000&srnum=1 Все таки лучше с хотлайна и онлайнера, если есть возможность :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 24 марта 2015 Автор Поделиться Опубликовано: 24 марта 2015 Я написал вам как сделать, чтобы вы могли написать название вручную, у вас должно появится поле для ввода названия, попробуйте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... tymoxa Опубликовано: 28 марта 2015 Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 28 марта 2015 Автор Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Здравствуйте, импортируйте куки с хотлайна с включенным украинским и загрузите в парсер. Как импортировать описано в приложении к парсеру, можно любым средством в браузере. Название файла должно быть cookie.txt. Я попробовал на лампах, получилось вставить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... dima2000 Опубликовано: 2 апреля 2015 Поделиться Опубликовано: 2 апреля 2015 Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ? 02-04-2015 11:00:23: Начало парсинга02-04-2015 11:00:23: Cookie включены.02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-802-04-2015 11:00:23: Удачный ответ от сервера02-04-2015 11:00:23: Получено 6480 байт02-04-2015 11:00:23: Конец парсинга вот лог Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 12 13 14 15 16 17 18 19 20 21 22 Вперёд Страница 17 из 62 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 8 Перейти к списку тем Похожие публикации парсинг Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 комментариев 1 986 просмотров solohaigor 14 апреля 2023 парсинг [Поддержка] Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 1 ответ 355 просмотров vvbmusic 18 марта [Поддержка] SimplePars - Универсальный парсер для ИМ 1 2 3 4 524 Автор: Rassol2, 1 ноября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 13 076 ответов 849 572 просмотра Rassol2 19 марта SimplePars - Универсальный парсер для ИМ Автор: Rassol2, 28 октября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 комментариев 143 262 просмотра Rassol2 28 октября 2018 [Поддержка] Настройка парсинга модулем SimplePars. Наполнение сайта товаром Автор: partshez, 3 апреля 2022 наполнение им парсинг (и ещё 20) Теги: наполнение им парсинг parser parse import скачать товары обновление цен добавление товаров загрузить товары симплпарс simplepars наполнение интернетмагазина парсер product обновление товар yml xml перенос товаров грабер сбор ссылок парсинг в csv парсинг товаров opencart 1 ответ 647 просмотров LuckyGenius 27 апреля 2023 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] Парсер-менеджер товаров с торговых площадок Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
fjeka Опубликовано: 14 марта 2015 Поделиться Опубликовано: 14 марта 2015 Еще заметил что при поиске ссылок и при парсинге очиень сильно начинает тормозить сайт с которого идет парсинг. При этом другие сайты на этом же хостинге работают нормально. Хостинг не дешевый. Ресурсов достаточно. Можно ли оптимизировать производительность, чтоб сайтом можно было пользоваться. А то иногда совсем перестают страницы загружаться. И еще вопрос по прокси. Как именно организована работа через список? Если IP прокси Яндекс заблокирует, то автоматом начнется работа через другой прокси в списке? Или проверка идет на уровне доступен прокси или нет? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
igyan Опубликовано: 15 марта 2015 Автор Поделиться Опубликовано: 15 марта 2015 При парсинге большая нагрузка по http и на базу данных, поэтому и зависания. Если парсите через прокси, то плюс еще время ответа от прокси. Если использовать бесплатные прокси, которые могут не работать в момент парсинга, то скрипт будет ожидать таймаут ответа от прокси. Работа через прокси- лист: парсер пытается достучаться до сайта через прокси, если получена страница с товаром, то идет работа с данными, если получен бан, то выкинет капчу или должен браться следующий прокси. хуже если нет ответа от прокси, парсер будет ждать 15 сек, только потом перейдет к следующему прокси прокси при парсинге не удаляются, поэтому при следующем парсинге будут опять использоваться и нерабочие прокси, удаляются прокси только если нажать "проверка прокси" Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 15 марта 2015 Поделиться Опубликовано: 15 марта 2015 При парсинге большая нагрузка по http и на базу данных, поэтому и зависания. Можно ли как то уменьшить нагрузку на базу? Может как-нибудь разграничить работу скрипта и сайта? Пусть скрипт будет работать дольше. Мне главное чтоб сайт открывался в процессе парсинга. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... jekyman83 Опубликовано: 15 марта 2015 Поделиться Опубликовано: 15 марта 2015 Работает нормально ? Какие проблемы вылезают? Хочу купить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 16 марта 2015 Автор Поделиться Опубликовано: 16 марта 2015 Можно ли как то уменьшить нагрузку на базу? Может как-нибудь разграничить работу скрипта и сайта? Пусть скрипт будет работать дольше. Мне главное чтоб сайт открывался в процессе парсинга. Разделить не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение. Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... sonicking Опубликовано: 16 марта 2015 Поделиться Опубликовано: 16 марта 2015 Надо делать отдельное приложение. при адекватной цене думаю спрос будет приличный Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. или парсить на локалке, а потом синхронизировать с сервером Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. Так дело в том, что во время работы парсера нагрузка на сервер со стороны посетителей минимальная. Сайт просто перестает открываться. Еще заметил такую вещь. Если нажимаю ссылку искать, то в процессе поиска сайт не открывается. Но после поиска может вылететь сообщение, что товар не найден. По идее должно быть только одно обращение к базе данных в момент запроса названия товара. Почему тогда во время поиска такая большая нагрузка на базу? Может как-то можно оптимизировать работу? Разделить не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение. Сколько времени потребуется для написания такого приложения? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 Если парсите через прокси, то прибавьте время ответа от самого прокси По времени не могу сказать, смотря с какого донора. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... sonicking Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 По времени не могу сказать, смотря с какого донора. с тех же доноров, что и в парсере Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 с яндексом я бы не стал связываться, много проблем с остальных, думаю за неделю можно справиться, но желания и времени заниматься нет Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 22 марта 2015 Поделиться Опубликовано: 22 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Некоторые пользователи наоборот просили убрать название техники, оно вставляется ,например, при парсинге с онлайнера. Можно добавить поле, если вам нужно. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 23 марта 2015 Поделиться Опубликовано: 23 марта 2015 Нужно, большинство товаров с яндекса. В онлайнере почему-то мало нужных мне позиций. Буду благодарен. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Для яндекса в файл admin\view\template\module\parsermanager.tpl строка 623 после строки <form id="form_parsing" action="" method="POST"> добавьте <input type="text" name="prefix" value="" size="50" placeholder="название товара"> на экране должно появиться поле в файл строка 623 admin\controller\module\parsermanager.php перед строкой 1377 MCurl::addMessage("Название товара: ".$product['title']); добавьте if(isset($this->request->post['prefix']) AND !empty($this->request->post['prefix'])){ $product['title'] = $this->request->post['prefix'].' '.$product['title']; } Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 24 марта 2015 Поделиться Опубликовано: 24 марта 2015 Благодарю, видимо яндекс теперь не отдает название техники. а пишет сразу брендо-модель. Вот пример http://market.yandex.ru/product/6905922/?hid=4954975&text=Moulinex%20CE4000&srnum=1 Все таки лучше с хотлайна и онлайнера, если есть возможность :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 24 марта 2015 Автор Поделиться Опубликовано: 24 марта 2015 Я написал вам как сделать, чтобы вы могли написать название вручную, у вас должно появится поле для ввода названия, попробуйте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... tymoxa Опубликовано: 28 марта 2015 Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 28 марта 2015 Автор Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Здравствуйте, импортируйте куки с хотлайна с включенным украинским и загрузите в парсер. Как импортировать описано в приложении к парсеру, можно любым средством в браузере. Название файла должно быть cookie.txt. Я попробовал на лампах, получилось вставить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... dima2000 Опубликовано: 2 апреля 2015 Поделиться Опубликовано: 2 апреля 2015 Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ? 02-04-2015 11:00:23: Начало парсинга02-04-2015 11:00:23: Cookie включены.02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-802-04-2015 11:00:23: Удачный ответ от сервера02-04-2015 11:00:23: Получено 6480 байт02-04-2015 11:00:23: Конец парсинга вот лог Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 12 13 14 15 16 17 18 19 20 21 22 Вперёд Страница 17 из 62 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 8 Перейти к списку тем Похожие публикации парсинг Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 комментариев 1 986 просмотров solohaigor 14 апреля 2023 парсинг [Поддержка] Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 1 ответ 355 просмотров vvbmusic 18 марта [Поддержка] SimplePars - Универсальный парсер для ИМ 1 2 3 4 524 Автор: Rassol2, 1 ноября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 13 076 ответов 849 572 просмотра Rassol2 19 марта SimplePars - Универсальный парсер для ИМ Автор: Rassol2, 28 октября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 комментариев 143 262 просмотра Rassol2 28 октября 2018 [Поддержка] Настройка парсинга модулем SimplePars. Наполнение сайта товаром Автор: partshez, 3 апреля 2022 наполнение им парсинг (и ещё 20) Теги: наполнение им парсинг parser parse import скачать товары обновление цен добавление товаров загрузить товары симплпарс simplepars наполнение интернетмагазина парсер product обновление товар yml xml перенос товаров грабер сбор ссылок парсинг в csv парсинг товаров opencart 1 ответ 647 просмотров LuckyGenius 27 апреля 2023 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] Парсер-менеджер товаров с торговых площадок Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
fjeka Опубликовано: 15 марта 2015 Поделиться Опубликовано: 15 марта 2015 При парсинге большая нагрузка по http и на базу данных, поэтому и зависания. Можно ли как то уменьшить нагрузку на базу? Может как-нибудь разграничить работу скрипта и сайта? Пусть скрипт будет работать дольше. Мне главное чтоб сайт открывался в процессе парсинга. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
jekyman83 Опубликовано: 15 марта 2015 Поделиться Опубликовано: 15 марта 2015 Работает нормально ? Какие проблемы вылезают? Хочу купить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
igyan Опубликовано: 16 марта 2015 Автор Поделиться Опубликовано: 16 марта 2015 Можно ли как то уменьшить нагрузку на базу? Может как-нибудь разграничить работу скрипта и сайта? Пусть скрипт будет работать дольше. Мне главное чтоб сайт открывался в процессе парсинга. Разделить не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение. Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... sonicking Опубликовано: 16 марта 2015 Поделиться Опубликовано: 16 марта 2015 Надо делать отдельное приложение. при адекватной цене думаю спрос будет приличный Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. или парсить на локалке, а потом синхронизировать с сервером Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... fjeka Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. Так дело в том, что во время работы парсера нагрузка на сервер со стороны посетителей минимальная. Сайт просто перестает открываться. Еще заметил такую вещь. Если нажимаю ссылку искать, то в процессе поиска сайт не открывается. Но после поиска может вылететь сообщение, что товар не найден. По идее должно быть только одно обращение к базе данных в момент запроса названия товара. Почему тогда во время поиска такая большая нагрузка на базу? Может как-то можно оптимизировать работу? Разделить не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение. Сколько времени потребуется для написания такого приложения? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 Если парсите через прокси, то прибавьте время ответа от самого прокси По времени не могу сказать, смотря с какого донора. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... sonicking Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 По времени не могу сказать, смотря с какого донора. с тех же доноров, что и в парсере Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 с яндексом я бы не стал связываться, много проблем с остальных, думаю за неделю можно справиться, но желания и времени заниматься нет Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 22 марта 2015 Поделиться Опубликовано: 22 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Некоторые пользователи наоборот просили убрать название техники, оно вставляется ,например, при парсинге с онлайнера. Можно добавить поле, если вам нужно. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 23 марта 2015 Поделиться Опубликовано: 23 марта 2015 Нужно, большинство товаров с яндекса. В онлайнере почему-то мало нужных мне позиций. Буду благодарен. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Для яндекса в файл admin\view\template\module\parsermanager.tpl строка 623 после строки <form id="form_parsing" action="" method="POST"> добавьте <input type="text" name="prefix" value="" size="50" placeholder="название товара"> на экране должно появиться поле в файл строка 623 admin\controller\module\parsermanager.php перед строкой 1377 MCurl::addMessage("Название товара: ".$product['title']); добавьте if(isset($this->request->post['prefix']) AND !empty($this->request->post['prefix'])){ $product['title'] = $this->request->post['prefix'].' '.$product['title']; } Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 24 марта 2015 Поделиться Опубликовано: 24 марта 2015 Благодарю, видимо яндекс теперь не отдает название техники. а пишет сразу брендо-модель. Вот пример http://market.yandex.ru/product/6905922/?hid=4954975&text=Moulinex%20CE4000&srnum=1 Все таки лучше с хотлайна и онлайнера, если есть возможность :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 24 марта 2015 Автор Поделиться Опубликовано: 24 марта 2015 Я написал вам как сделать, чтобы вы могли написать название вручную, у вас должно появится поле для ввода названия, попробуйте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... tymoxa Опубликовано: 28 марта 2015 Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 28 марта 2015 Автор Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Здравствуйте, импортируйте куки с хотлайна с включенным украинским и загрузите в парсер. Как импортировать описано в приложении к парсеру, можно любым средством в браузере. Название файла должно быть cookie.txt. Я попробовал на лампах, получилось вставить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... dima2000 Опубликовано: 2 апреля 2015 Поделиться Опубликовано: 2 апреля 2015 Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ? 02-04-2015 11:00:23: Начало парсинга02-04-2015 11:00:23: Cookie включены.02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-802-04-2015 11:00:23: Удачный ответ от сервера02-04-2015 11:00:23: Получено 6480 байт02-04-2015 11:00:23: Конец парсинга вот лог Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 12 13 14 15 16 17 18 19 20 21 22 Вперёд Страница 17 из 62 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 8 Перейти к списку тем Похожие публикации парсинг Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 комментариев 1 986 просмотров solohaigor 14 апреля 2023 парсинг [Поддержка] Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 1 ответ 355 просмотров vvbmusic 18 марта [Поддержка] SimplePars - Универсальный парсер для ИМ 1 2 3 4 524 Автор: Rassol2, 1 ноября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 13 076 ответов 849 572 просмотра Rassol2 19 марта SimplePars - Универсальный парсер для ИМ Автор: Rassol2, 28 октября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 комментариев 143 262 просмотра Rassol2 28 октября 2018 [Поддержка] Настройка парсинга модулем SimplePars. Наполнение сайта товаром Автор: partshez, 3 апреля 2022 наполнение им парсинг (и ещё 20) Теги: наполнение им парсинг parser parse import скачать товары обновление цен добавление товаров загрузить товары симплпарс simplepars наполнение интернетмагазина парсер product обновление товар yml xml перенос товаров грабер сбор ссылок парсинг в csv парсинг товаров opencart 1 ответ 647 просмотров LuckyGenius 27 апреля 2023 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] Парсер-менеджер товаров с торговых площадок Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
sonicking Опубликовано: 16 марта 2015 Поделиться Опубликовано: 16 марта 2015 Надо делать отдельное приложение. при адекватной цене думаю спрос будет приличный Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. или парсить на локалке, а потом синхронизировать с сервером Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
fjeka Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. Так дело в том, что во время работы парсера нагрузка на сервер со стороны посетителей минимальная. Сайт просто перестает открываться. Еще заметил такую вещь. Если нажимаю ссылку искать, то в процессе поиска сайт не открывается. Но после поиска может вылететь сообщение, что товар не найден. По идее должно быть только одно обращение к базе данных в момент запроса названия товара. Почему тогда во время поиска такая большая нагрузка на базу? Может как-то можно оптимизировать работу? Разделить не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение. Сколько времени потребуется для написания такого приложения? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 Если парсите через прокси, то прибавьте время ответа от самого прокси По времени не могу сказать, смотря с какого донора. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... sonicking Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 По времени не могу сказать, смотря с какого донора. с тех же доноров, что и в парсере Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 с яндексом я бы не стал связываться, много проблем с остальных, думаю за неделю можно справиться, но желания и времени заниматься нет Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 22 марта 2015 Поделиться Опубликовано: 22 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Некоторые пользователи наоборот просили убрать название техники, оно вставляется ,например, при парсинге с онлайнера. Можно добавить поле, если вам нужно. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 23 марта 2015 Поделиться Опубликовано: 23 марта 2015 Нужно, большинство товаров с яндекса. В онлайнере почему-то мало нужных мне позиций. Буду благодарен. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Для яндекса в файл admin\view\template\module\parsermanager.tpl строка 623 после строки <form id="form_parsing" action="" method="POST"> добавьте <input type="text" name="prefix" value="" size="50" placeholder="название товара"> на экране должно появиться поле в файл строка 623 admin\controller\module\parsermanager.php перед строкой 1377 MCurl::addMessage("Название товара: ".$product['title']); добавьте if(isset($this->request->post['prefix']) AND !empty($this->request->post['prefix'])){ $product['title'] = $this->request->post['prefix'].' '.$product['title']; } Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 24 марта 2015 Поделиться Опубликовано: 24 марта 2015 Благодарю, видимо яндекс теперь не отдает название техники. а пишет сразу брендо-модель. Вот пример http://market.yandex.ru/product/6905922/?hid=4954975&text=Moulinex%20CE4000&srnum=1 Все таки лучше с хотлайна и онлайнера, если есть возможность :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 24 марта 2015 Автор Поделиться Опубликовано: 24 марта 2015 Я написал вам как сделать, чтобы вы могли написать название вручную, у вас должно появится поле для ввода названия, попробуйте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... tymoxa Опубликовано: 28 марта 2015 Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 28 марта 2015 Автор Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Здравствуйте, импортируйте куки с хотлайна с включенным украинским и загрузите в парсер. Как импортировать описано в приложении к парсеру, можно любым средством в браузере. Название файла должно быть cookie.txt. Я попробовал на лампах, получилось вставить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... dima2000 Опубликовано: 2 апреля 2015 Поделиться Опубликовано: 2 апреля 2015 Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ? 02-04-2015 11:00:23: Начало парсинга02-04-2015 11:00:23: Cookie включены.02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-802-04-2015 11:00:23: Удачный ответ от сервера02-04-2015 11:00:23: Получено 6480 байт02-04-2015 11:00:23: Конец парсинга вот лог Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 12 13 14 15 16 17 18 19 20 21 22 Вперёд Страница 17 из 62 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 8 Перейти к списку тем Похожие публикации парсинг Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 комментариев 1 986 просмотров solohaigor 14 апреля 2023 парсинг [Поддержка] Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 1 ответ 355 просмотров vvbmusic 18 марта [Поддержка] SimplePars - Универсальный парсер для ИМ 1 2 3 4 524 Автор: Rassol2, 1 ноября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 13 076 ответов 849 572 просмотра Rassol2 19 марта SimplePars - Универсальный парсер для ИМ Автор: Rassol2, 28 октября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 комментариев 143 262 просмотра Rassol2 28 октября 2018 [Поддержка] Настройка парсинга модулем SimplePars. Наполнение сайта товаром Автор: partshez, 3 апреля 2022 наполнение им парсинг (и ещё 20) Теги: наполнение им парсинг parser parse import скачать товары обновление цен добавление товаров загрузить товары симплпарс simplepars наполнение интернетмагазина парсер product обновление товар yml xml перенос товаров грабер сбор ссылок парсинг в csv парсинг товаров opencart 1 ответ 647 просмотров LuckyGenius 27 апреля 2023 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] Парсер-менеджер товаров с торговых площадок Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
sonicking Опубликовано: 17 марта 2015 Поделиться Опубликовано: 17 марта 2015 По времени не могу сказать, смотря с какого донора. с тех же доноров, что и в парсере Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
igyan Опубликовано: 17 марта 2015 Автор Поделиться Опубликовано: 17 марта 2015 с яндексом я бы не стал связываться, много проблем с остальных, думаю за неделю можно справиться, но желания и времени заниматься нет Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 22 марта 2015 Поделиться Опубликовано: 22 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Некоторые пользователи наоборот просили убрать название техники, оно вставляется ,например, при парсинге с онлайнера. Можно добавить поле, если вам нужно. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 23 марта 2015 Поделиться Опубликовано: 23 марта 2015 Нужно, большинство товаров с яндекса. В онлайнере почему-то мало нужных мне позиций. Буду благодарен. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Для яндекса в файл admin\view\template\module\parsermanager.tpl строка 623 после строки <form id="form_parsing" action="" method="POST"> добавьте <input type="text" name="prefix" value="" size="50" placeholder="название товара"> на экране должно появиться поле в файл строка 623 admin\controller\module\parsermanager.php перед строкой 1377 MCurl::addMessage("Название товара: ".$product['title']); добавьте if(isset($this->request->post['prefix']) AND !empty($this->request->post['prefix'])){ $product['title'] = $this->request->post['prefix'].' '.$product['title']; } Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 24 марта 2015 Поделиться Опубликовано: 24 марта 2015 Благодарю, видимо яндекс теперь не отдает название техники. а пишет сразу брендо-модель. Вот пример http://market.yandex.ru/product/6905922/?hid=4954975&text=Moulinex%20CE4000&srnum=1 Все таки лучше с хотлайна и онлайнера, если есть возможность :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 24 марта 2015 Автор Поделиться Опубликовано: 24 марта 2015 Я написал вам как сделать, чтобы вы могли написать название вручную, у вас должно появится поле для ввода названия, попробуйте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... tymoxa Опубликовано: 28 марта 2015 Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 28 марта 2015 Автор Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Здравствуйте, импортируйте куки с хотлайна с включенным украинским и загрузите в парсер. Как импортировать описано в приложении к парсеру, можно любым средством в браузере. Название файла должно быть cookie.txt. Я попробовал на лампах, получилось вставить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... dima2000 Опубликовано: 2 апреля 2015 Поделиться Опубликовано: 2 апреля 2015 Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ? 02-04-2015 11:00:23: Начало парсинга02-04-2015 11:00:23: Cookie включены.02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-802-04-2015 11:00:23: Удачный ответ от сервера02-04-2015 11:00:23: Получено 6480 байт02-04-2015 11:00:23: Конец парсинга вот лог Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 12 13 14 15 16 17 18 19 20 21 22 Вперёд Страница 17 из 62 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 8 Перейти к списку тем Похожие публикации парсинг Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 комментариев 1 986 просмотров solohaigor 14 апреля 2023 парсинг [Поддержка] Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 1 ответ 355 просмотров vvbmusic 18 марта [Поддержка] SimplePars - Универсальный парсер для ИМ 1 2 3 4 524 Автор: Rassol2, 1 ноября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 13 076 ответов 849 572 просмотра Rassol2 19 марта SimplePars - Универсальный парсер для ИМ Автор: Rassol2, 28 октября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 комментариев 143 262 просмотра Rassol2 28 октября 2018 [Поддержка] Настройка парсинга модулем SimplePars. Наполнение сайта товаром Автор: partshez, 3 апреля 2022 наполнение им парсинг (и ещё 20) Теги: наполнение им парсинг parser parse import скачать товары обновление цен добавление товаров загрузить товары симплпарс simplepars наполнение интернетмагазина парсер product обновление товар yml xml перенос товаров грабер сбор ссылок парсинг в csv парсинг товаров opencart 1 ответ 647 просмотров LuckyGenius 27 апреля 2023 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] Парсер-менеджер товаров с торговых площадок Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
vikstg Опубликовано: 22 марта 2015 Поделиться Опубликовано: 22 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники. Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом? Некоторые пользователи наоборот просили убрать название техники, оно вставляется ,например, при парсинге с онлайнера. Можно добавить поле, если вам нужно. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 23 марта 2015 Поделиться Опубликовано: 23 марта 2015 Нужно, большинство товаров с яндекса. В онлайнере почему-то мало нужных мне позиций. Буду благодарен. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Для яндекса в файл admin\view\template\module\parsermanager.tpl строка 623 после строки <form id="form_parsing" action="" method="POST"> добавьте <input type="text" name="prefix" value="" size="50" placeholder="название товара"> на экране должно появиться поле в файл строка 623 admin\controller\module\parsermanager.php перед строкой 1377 MCurl::addMessage("Название товара: ".$product['title']); добавьте if(isset($this->request->post['prefix']) AND !empty($this->request->post['prefix'])){ $product['title'] = $this->request->post['prefix'].' '.$product['title']; } Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 24 марта 2015 Поделиться Опубликовано: 24 марта 2015 Благодарю, видимо яндекс теперь не отдает название техники. а пишет сразу брендо-модель. Вот пример http://market.yandex.ru/product/6905922/?hid=4954975&text=Moulinex%20CE4000&srnum=1 Все таки лучше с хотлайна и онлайнера, если есть возможность :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 24 марта 2015 Автор Поделиться Опубликовано: 24 марта 2015 Я написал вам как сделать, чтобы вы могли написать название вручную, у вас должно появится поле для ввода названия, попробуйте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... tymoxa Опубликовано: 28 марта 2015 Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 28 марта 2015 Автор Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Здравствуйте, импортируйте куки с хотлайна с включенным украинским и загрузите в парсер. Как импортировать описано в приложении к парсеру, можно любым средством в браузере. Название файла должно быть cookie.txt. Я попробовал на лампах, получилось вставить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... dima2000 Опубликовано: 2 апреля 2015 Поделиться Опубликовано: 2 апреля 2015 Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ? 02-04-2015 11:00:23: Начало парсинга02-04-2015 11:00:23: Cookie включены.02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-802-04-2015 11:00:23: Удачный ответ от сервера02-04-2015 11:00:23: Получено 6480 байт02-04-2015 11:00:23: Конец парсинга вот лог Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 12 13 14 15 16 17 18 19 20 21 22 Вперёд Страница 17 из 62 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 8 Перейти к списку тем Похожие публикации парсинг Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 комментариев 1 986 просмотров solohaigor 14 апреля 2023 парсинг [Поддержка] Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 1 ответ 355 просмотров vvbmusic 18 марта [Поддержка] SimplePars - Универсальный парсер для ИМ 1 2 3 4 524 Автор: Rassol2, 1 ноября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 13 076 ответов 849 572 просмотра Rassol2 19 марта SimplePars - Универсальный парсер для ИМ Автор: Rassol2, 28 октября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 комментариев 143 262 просмотра Rassol2 28 октября 2018 [Поддержка] Настройка парсинга модулем SimplePars. Наполнение сайта товаром Автор: partshez, 3 апреля 2022 наполнение им парсинг (и ещё 20) Теги: наполнение им парсинг parser parse import скачать товары обновление цен добавление товаров загрузить товары симплпарс simplepars наполнение интернетмагазина парсер product обновление товар yml xml перенос товаров грабер сбор ссылок парсинг в csv парсинг товаров opencart 1 ответ 647 просмотров LuckyGenius 27 апреля 2023 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] Парсер-менеджер товаров с торговых площадок Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha
vikstg Опубликовано: 23 марта 2015 Поделиться Опубликовано: 23 марта 2015 Нужно, большинство товаров с яндекса. В онлайнере почему-то мало нужных мне позиций. Буду благодарен. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
igyan Опубликовано: 23 марта 2015 Автор Поделиться Опубликовано: 23 марта 2015 Для яндекса в файл admin\view\template\module\parsermanager.tpl строка 623 после строки <form id="form_parsing" action="" method="POST"> добавьте <input type="text" name="prefix" value="" size="50" placeholder="название товара"> на экране должно появиться поле в файл строка 623 admin\controller\module\parsermanager.php перед строкой 1377 MCurl::addMessage("Название товара: ".$product['title']); добавьте if(isset($this->request->post['prefix']) AND !empty($this->request->post['prefix'])){ $product['title'] = $this->request->post['prefix'].' '.$product['title']; } Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... vikstg Опубликовано: 24 марта 2015 Поделиться Опубликовано: 24 марта 2015 Благодарю, видимо яндекс теперь не отдает название техники. а пишет сразу брендо-модель. Вот пример http://market.yandex.ru/product/6905922/?hid=4954975&text=Moulinex%20CE4000&srnum=1 Все таки лучше с хотлайна и онлайнера, если есть возможность :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 24 марта 2015 Автор Поделиться Опубликовано: 24 марта 2015 Я написал вам как сделать, чтобы вы могли написать название вручную, у вас должно появится поле для ввода названия, попробуйте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... tymoxa Опубликовано: 28 марта 2015 Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 28 марта 2015 Автор Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Здравствуйте, импортируйте куки с хотлайна с включенным украинским и загрузите в парсер. Как импортировать описано в приложении к парсеру, можно любым средством в браузере. Название файла должно быть cookie.txt. Я попробовал на лампах, получилось вставить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... dima2000 Опубликовано: 2 апреля 2015 Поделиться Опубликовано: 2 апреля 2015 Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ? 02-04-2015 11:00:23: Начало парсинга02-04-2015 11:00:23: Cookie включены.02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-802-04-2015 11:00:23: Удачный ответ от сервера02-04-2015 11:00:23: Получено 6480 байт02-04-2015 11:00:23: Конец парсинга вот лог Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 12 13 14 15 16 17 18 19 20 21 22 Вперёд Страница 17 из 62 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 8 Перейти к списку тем Похожие публикации парсинг Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 комментариев 1 986 просмотров solohaigor 14 апреля 2023 парсинг [Поддержка] Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 1 ответ 355 просмотров vvbmusic 18 марта [Поддержка] SimplePars - Универсальный парсер для ИМ 1 2 3 4 524 Автор: Rassol2, 1 ноября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 13 076 ответов 849 572 просмотра Rassol2 19 марта SimplePars - Универсальный парсер для ИМ Автор: Rassol2, 28 октября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 комментариев 143 262 просмотра Rassol2 28 октября 2018 [Поддержка] Настройка парсинга модулем SimplePars. Наполнение сайта товаром Автор: partshez, 3 апреля 2022 наполнение им парсинг (и ещё 20) Теги: наполнение им парсинг parser parse import скачать товары обновление цен добавление товаров загрузить товары симплпарс simplepars наполнение интернетмагазина парсер product обновление товар yml xml перенос товаров грабер сбор ссылок парсинг в csv парсинг товаров opencart 1 ответ 647 просмотров LuckyGenius 27 апреля 2023 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения Парсеры [Поддержка] Парсер-менеджер товаров с торговых площадок
vikstg Опубликовано: 24 марта 2015 Поделиться Опубликовано: 24 марта 2015 Благодарю, видимо яндекс теперь не отдает название техники. а пишет сразу брендо-модель. Вот пример http://market.yandex.ru/product/6905922/?hid=4954975&text=Moulinex%20CE4000&srnum=1 Все таки лучше с хотлайна и онлайнера, если есть возможность :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
igyan Опубликовано: 24 марта 2015 Автор Поделиться Опубликовано: 24 марта 2015 Я написал вам как сделать, чтобы вы могли написать название вручную, у вас должно появится поле для ввода названия, попробуйте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... tymoxa Опубликовано: 28 марта 2015 Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... igyan Опубликовано: 28 марта 2015 Автор Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Здравствуйте, импортируйте куки с хотлайна с включенным украинским и загрузите в парсер. Как импортировать описано в приложении к парсеру, можно любым средством в браузере. Название файла должно быть cookie.txt. Я попробовал на лампах, получилось вставить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... dima2000 Опубликовано: 2 апреля 2015 Поделиться Опубликовано: 2 апреля 2015 Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ? 02-04-2015 11:00:23: Начало парсинга02-04-2015 11:00:23: Cookie включены.02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-802-04-2015 11:00:23: Удачный ответ от сервера02-04-2015 11:00:23: Получено 6480 байт02-04-2015 11:00:23: Конец парсинга вот лог Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 12 13 14 15 16 17 18 19 20 21 22 Вперёд Страница 17 из 62 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 8 Перейти к списку тем Похожие публикации парсинг Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 0 комментариев 1 986 просмотров solohaigor 14 апреля 2023 парсинг [Поддержка] Парсер товаров. Наполнение Opencart, Insales, Bitrix, CRM и CMS Автор: solohaigor, 14 апреля 2023 парсер наполнить (и ещё 12) Теги: парсер наполнить наполнение импорт товары перенос спарсить сбор opencart мониторинг цен конкуренты каталог товаров обновление цен импорт и экспорт поставщиков 1 ответ 355 просмотров vvbmusic 18 марта [Поддержка] SimplePars - Универсальный парсер для ИМ 1 2 3 4 524 Автор: Rassol2, 1 ноября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 13 076 ответов 849 572 просмотра Rassol2 19 марта SimplePars - Универсальный парсер для ИМ Автор: Rassol2, 28 октября 2018 simplepars парсинг товаров opencart (и ещё 15) Теги: simplepars парсинг товаров opencart парсинг в csv сбор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 комментариев 143 262 просмотра Rassol2 28 октября 2018 [Поддержка] Настройка парсинга модулем SimplePars. Наполнение сайта товаром Автор: partshez, 3 апреля 2022 наполнение им парсинг (и ещё 20) Теги: наполнение им парсинг parser parse import скачать товары обновление цен добавление товаров загрузить товары симплпарс simplepars наполнение интернетмагазина парсер product обновление товар yml xml перенос товаров грабер сбор ссылок парсинг в csv парсинг товаров opencart 1 ответ 647 просмотров LuckyGenius 27 апреля 2023 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу.
tymoxa Опубликовано: 28 марта 2015 Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
igyan Опубликовано: 28 марта 2015 Автор Поделиться Опубликовано: 28 марта 2015 Добрый день. Спасибо за отличный плагин. Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например? Здравствуйте, импортируйте куки с хотлайна с включенным украинским и загрузите в парсер. Как импортировать описано в приложении к парсеру, можно любым средством в браузере. Название файла должно быть cookie.txt. Я попробовал на лампах, получилось вставить. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... dima2000 Опубликовано: 2 апреля 2015 Поделиться Опубликовано: 2 апреля 2015 Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ? 02-04-2015 11:00:23: Начало парсинга02-04-2015 11:00:23: Cookie включены.02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-802-04-2015 11:00:23: Удачный ответ от сервера02-04-2015 11:00:23: Получено 6480 байт02-04-2015 11:00:23: Конец парсинга вот лог Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 12 13 14 15 16 17 18 19 20 21 22 Вперёд Страница 17 из 62 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 8
dima2000 Опубликовано: 2 апреля 2015 Поделиться Опубликовано: 2 апреля 2015 Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ? 02-04-2015 11:00:23: Начало парсинга02-04-2015 11:00:23: Cookie включены.02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-802-04-2015 11:00:23: Удачный ответ от сервера02-04-2015 11:00:23: Получено 6480 байт02-04-2015 11:00:23: Конец парсинга вот лог Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
Рекомендованные сообщения