TSwedkov
-
Posts
17 -
Joined
-
Last visited
TSwedkov's Achievements
-
TSwedkov changed their profile photo -
Приветствую! на сайте есть товары от производителей, которые есть в наличии и которые я хотел бы в первую очередь продать. поэтому хотел бы в любой товар на сайте подставлять товар по производителю. Но при это как связно - если бытовая химия, то в рекомендованных любая химия от выбранного производителя, если ершики-ведра и прочая, то ершики-ведра от одного производителя. Или возможно есть просто "умный модуль" который подбирает по той же категории - средства для нержавейки- рекомендуемое мной средство для нержавейки, швабры- рекомендуемая мной швабра и тд. Или может быть есть как то более красивое решение когда есть 10 товаров под заказ или пока нет в наличии и есть 2 в наличии и именно их надо продать как можно быстрей, подсовывая к тем, что в наличии нет? Спасибо за любые дельные советы! (окстор 2.3, щ.-техстор)
-
Уважаемый разработчик! я предположил что на этапе сбора ссылок нельзя задать "Собирать ссылки с товарами страна производитель не Россия" в чем я не прав то? это делается через контроль границ при парсинге. и все здорово работает но мне нужно как то отобрать ссылки чтоб уменьшить количество обращений к донору. вопрос как отфильтровать эти ссылки
-
Установил согласно инструкции. Заработало сразу и без ошибок. -
ничего! я же написал, что поставил проверку границ и страницы с "не Россия" пропускаются. Но ведь чтобы пропустить нужно спарсить То есть всеравно надо сделать 5000 обращений к донору. вот я и думаю- как отобрать ссылки, что бы потом парсить только то что нужно. чтобы сделать 1500 запросов вместо 5000. Касательно если я верно понял, то фильтры касаются только символами самого урл. На этапе сбора ссылок парсинг не ведется и нет возможности фильтровать в теле страницы. ссылки у тиу и пром уа обрезают даже фирму производитель tiu.ru/p419820342-komplekt-kofejnyj-nat.html tiu.ru/p275444356-kolosnik-dlya-zharovni.html tiu.ru/p269781279-kovanyj-mangal-dlya.html изучив раздел "Сбор ссылок URL/Сбор ссылок" я не понял как можно фильтровать по код страницы.
-
Чем больше пользуешься программой тем больше понимаешь, что программа отличная. Нужны были товары не российского производства. Легко. Ставишь проверку границ "не Россия" и парсишь только импорт. (вместо 5000 ссылок 1500) Но есть подозрение, что это не совсем комильфо. То есть ты все равно парсишь, то напрягаешь сервер и все такое Но на этапе отбора урл тоже нет возможности фильтровать по стране товара. Какой правильный алгоритм если я хочу минимизировать количество урл? то есть надо спарсить все в цсв? потом фильтр? и потом оттуда ссылки в список? Или есть какое то более красивое решение отобрать ссылки по фильтрам (страна, валюта и тд)?
-
Нет, я хотел бы как то попробовать портировать те цены, которые " от "и чтобы у меня тоже были "от" таких цен где то 15%, то есть много. то есть у меня есть товар с разными диаметрами. и соответственно цена в идеале должна стоит "от" для малого диаметра и далее люди сами узнают видимо сначала нужен какой то модуль которы позволит в принципе поставить цены "от" насколько понял в стоке такого нет. И спасибо за помощь! первый вариант сработал.
-
Добрый день! столкнулся с тем, что цены "от" обнуляются каким то образом можно портировать цены "от ххх"? через регулярные немного разобрался что то вроде {reg[#[от]#]}|0 типа перед цифрами удаляем "от" то есть "от 100" получаем "0100" и я получил что нужно. то есть хотя бы какую то цену но хотелось понять как можно на своем сайте получить "от"?
-
10 штук. белый список. пауза 10-60 сек. подстановка агентов и сесий и прочая. постарался все по инструкции сделать. Доноры- сайты на пром уа, тиу ру и диал бай. это вроде одинаковых движок для трех стран. предполагаю, что такая проблема редкая?
-
Приветствую! вынужден просить помощи повторно. дело не в кеше. вообще ни в чем! приму любой совет! Дело в том, что из 5600 ссылок дают ошибку 1528! ---- 2021-06-13 10:36:23| !->[Товар Не создан/Не обновлен] : Неспарсен идентификатора товара, sku | По ссылке 2021-06-13 10:36:23| !->[Товар не обновлен] : В магазине не найден товар с sku = [] Ссылка | --- Перед тем как писать решил вручную отобрать ссылки, которые не прошли. 25 штук! И прогнать еще раз! И чудо - не прошло 12. Я прогнал теперь 12. Из них не прошло 5. Я прогнал 5- прошли все! то есть если крутить их по кругу, то все проходит. Нет никакой реальной ошибки. что не схватывает, не подхватывает и тд. При этом если опять прогнать 25, то опять будут ошибки! Но по другим товарам. и что расстраивает- в товарах где ошибка зачем то прописывает цену 77 рублей! наверное я где то такую цифру поставил или еще что то. но в результате на сайте после обновления цен с донора 1528 позиций с ценой от 200 до 4 000 000 имеют цену 77 рублей. 1. Может быть какие то настройки поменять? увеличить разрешенное время загрузки или еще что то? 2. Как я могу отфильтровать 1528 ссылок из 5600? Только вручную через логи? 3. Реально ли добавить данную ошибку (хоть это и не ошибка!) в список, чтобы можно было заново прогонять? Спасибо!
-
и не надо. Так как ошибка эта, как оказалась, только если брать страницу из кеша. отключил кеш- ошибки пропали. --- просмотрел кеш- почем то в кеше- из урла нужный мне идентификатор выкидывается и какой то токен или еще что то прописывается
-
можно ли как то по второму кругу отправить ссылки на парсинг с ошибкой [Товар Не создан/Не обновлен] : Неспарсен идентификатора товара, sku [Товар не обновлен] : В магазине не найден товар с sku = [] но ссылки открывается и артикул этот есть. какую то закономерность выявить не удалось. просто есть желание попробовать прогнать по второму кругу. но ошибки то нет и стандартными средствами ссылки на парсинг не поставить через "Ссылки с ошибками" или как вариант - можно ли как присвоить код ошибки этой ошибке? чтобы через "Ссылки с ошибками" выбрать их и запустить заново
-
Приветствую.ошибка - Парсинг : ОШИБКА запроса | Код ошибки = 92 | Текст ошибки = HTTP/2 stream 1 was not closed cleanly: PROTOCOL_ERROR (err 1) может ли быть такое из за какого то юсер агента? через 3-4 запроса одна ошибка. --- упд. даже 4 ошибки подряд выскакивают. потом несколько без ошибок.
-
Спасибо за ответ! я почему начал спрашивать- перед покупкой начал изучать справку. И там про прокси написано что большие проблемы с портами и все такое. Типа хостер мешает использовать что либо отличное от 80 и 443. То есть через прокси это как крайний метод. Но ведь банят очень часто (я программами по парсингу пользуюсь- стоит хоть немного ускорить , до 5сек запрос, то все, бан). Но на компе без проблем с портами, которые выдают для прокси. и вот думаю- если проблема такая с прокси, то если сайт блокернут, то по сути сипл парс перестанет работать. Или с прокси не настолько все плохо? Есть ли в справке раздел рекомендаций как не попасть на бан?
-
вы как то решили проблему? или сменили донора? перед покупкой программы хочу понять- если на доноре забанили то можно как то решить это проблему.
-
тогда точно надо брать. оплатил. спасибо за хороший модуль.
