Защита от автоматического парсина

[vimpel77]

Имеем ИМ с большой номенклатурой, которую наполняем вручную, не хотелось бы делать такой подарок шустрым конкурентам.
Ищу решения для защиты от парсинга

[esculapra]

20.02.2023 в 14:44, vimpel77 сказал:

Ищу решения для защиты от парсинга

Походу я знаю. Я делал систему антихакер под опенкарт, и там имеется функция отслеживания количества запросов от одного адреса в течение отрезка времени (например, более 3-х за 1 секунду - забанить; но можно азрешить сканирование роботами гугл, яху и пр. ). Сегодня проверю. Только система пока для 2.3 (под 3 еще не доделал).

[Flint2000]

В 20.02.2023 в 14:56, esculapra сказав:

например, более 3-х за 1 секунду - забанить; но можно азрешить сканирование роботами гугл, яху и пр.

30 ip проксі все це нівелюють

[markimax]

При розумному парсингу неможливо зробити захист від нього (proxy, затримки між парсингом сторінок, імітація користувача, мімікрірування під гугл бот  та т п)
Це все рівно що "боротьба з вітряками"

[esculapra]

20.02.2023 в 16:53, markimax сказал:

При розумному парсингу неможливо зробити захист від нього (proxy, затримки між парсингом сторінок, імітація користувача, мімікрірування під гугл бот  та т п)
Це все рівно що "боротьба з вітряками"

Типа все владельцы интернет-магазинов такие продвинутые и будут заморачтваться. Та обычными качалками слизывают контент.

[vimpel77]

20.02.2023 в 16:53, markimax сказал:

При розумному парсингу неможливо зробити захист від нього (proxy, затримки між парсингом сторінок, імітація користувача, мімікрірування під гугл бот  та т п)
Це все рівно що "боротьба з вітряками"

Мене влаштує, якщо парсінг буде не можливий, за допомогою базових качалок з 3-5 проксі.
Головне, щоб не заважало гугл боту і т.п.

[niger]

20.02.2023 в 16:53, markimax сказал:

При розумному парсингу неможливо зробити захист від нього (proxy, затримки між парсингом сторінок, імітація користувача, мімікрірування під гугл бот  та т п)
Це все рівно що "боротьба з вітряками"

та вже є кампанії котрі цим заробляють. Тож нічого вигадувати не треба. Берете та платити. І вони вам надсилають вже готові дані для імпорту. 

Тому усі намагання захиститись від парсингу то дурна трата коштів, які краще витратити на маркетинг.

[pawana]

В 20.02.2023 в 14:44, vimpel77 сказав:

ИМ с большой номенклатурой, которую наполняем вручную

 

Та сама історія була - дуже не приємно було бачити мої описи товару в конкурентів, особливо коли вони ранжувалися краще   

Але потім побачив, що конкуренти без описів ранжуються ще краще. Або з лабудою в описах. І зрозумів, що то все не має сенсу. Є сенс ставити плагін який буде додавати посилання на свої сторінки з сайтів дебілів, які в вас здерли описи.

А ще більший сенс є в тому, щоб покупці вас цінили і не шукали вам заміну.

Але то тільки моя думка.

П.С. З тих пір мої описи стали тільки краще, а в конкурентів так і залишились мої помилки десятирічної давнини

Змінено 20 лютого 2023 користувачем pawana

[vimpel77]

20.02.2023 в 19:10, pawana сказал:

 

Та сама історія була - дуже не приємно було бачити мої описи товару в конкурентів, особливо коли вони ранжувалися краще   

Та ми вже і авторські права пробували оформлювати на деякі зображення, намальовані конкретно під нас. Але законодавство "діряве", поки не докажеш суму прямого збитку, до суду можна не йти.
Багато мамкиних магазинщиків, які навчились парсити і продавати з націнкою в 5%, коли в середньому по ринку 30%.

 

Тому хотілося б якесь не дороге і просте рішення, щоб відсіяти тих, хто не займається парсингом професійно, а використовує модулі з варезу і т.п.

Змінено 20 лютого 2023 користувачем vimpel77

[pawana]

В 20.02.2023 в 19:19, vimpel77 сказав:

зображення, намальовані конкретно під нас

Ставте невеличкий вотермарк.
 

В 20.02.2023 в 19:19, vimpel77 сказав:

Багато мамкиних магазинщиків

Вони завжди будуть.
 

В 20.02.2023 в 19:19, vimpel77 сказав:

хотілося б якесь не дороге і просте рішення

Їх дійсно не має. Нажаль, якщо захочуть спарсити - спарсять. Краще займіться продуктивною роботою - вона хоч гроші приносить. 
Саме правильне - це скріпт, який вставляє зворотнє посилання. Якась кількість тих посилань залишиться в описах і отримаєте гарний зиск від своєї роботи.

Ваші гроші - це робота з покупцем і для покупця, а боротися з гів...ом - це грошей не приносить. 

Знову ж, це моя думка як результат власного досвіду

Змінено 20 лютого 2023 користувачем pawana

[vimpel77]

Прийнято, скрипт впровадимо. Якщо хтось має цікаві рішення - готовий розглянути.

Розгляну й інші варіанти. Якщо не можемо повністю завадити парсину, то добре було б його максимально ускладнити

 

З приводу продуктивної роботи - абсолютно згоден. Але маю технологічно дуже складну тему, делегувати наповнення сайту поки не виходить через брак компетенції співробтіників. Банально легше зробити самостійно, ніж пояснити алгорим роботи з іноземними сайтами і т.п. 

 

Тому спостерігати свої картки товарів у конкурентів, які не паряться і просто парсять й мають кращі позиції ніж мої - надо образливо

Змінено 20 лютого 2023 користувачем vimpel77

[Yoda]

есть вагон и маленькая тележка признаков фрод-запросов к веб серверу, и так же есть вагон и маленькая тележка механизмов реагирования.
Отличить можно с первых двух нот.

 

Все решается. Но очень дорого!

[Espresso.Doktor]

В 20.02.2023 в 22:23, vimpel77 сказав:

Прийнято, скрипт впровадимо. Якщо хтось має цікаві рішення - готовий розглянути.

Розгляну й інші варіанти. Якщо не можемо повністю завадити парсину, то добре було б його максимально ускладнити

 

З приводу продуктивної роботи - абсолютно згоден. Але маю технологічно дуже складну тему, делегувати наповнення сайту поки не виходить через брак компетенції співробтіників. Банально легше зробити самостійно, ніж пояснити алгорим роботи з іноземними сайтами і т.п. 

 

Тому спостерігати свої картки товарів у конкурентів, які не паряться і просто парсять й мають кращі позиції ніж мої - надо образливо

 

Доволі знайома мені ситуація.

Як вирішили цю історію з ускладненням парсінгу ?

 

І саме головне, як перевіряєте результат ?