Jump to content
Search In
  • More options...
Find results that contain...
Find results in...
  • Sign Up

Защита от парсинга...


Recommended Posts

Здравствуйте, есть ли решения/модули, которые "затрудняют"/защищают от парсинга информации на сайте..?

Link to post
Share on other sites

17 минут назад, Mixxxa163 сказал:

Здравствуйте, есть ли решения/модули, которые "затрудняют"/защищают от парсинга информации на сайте..?

А что конкретно вы хотите защитить? Скрипты js можно закрыть аналогом ionCube например. Вы хотите html как-то зашифровать?

Цель защиты какая? Какую проблему вы решаете? Избыточная нагрузка на сервер ботами или просто пытаетесь защитить сайт именно от копирования контента?

Если в конечном итоге кто-то захочет спарсить ваш сайт - это можно сделать вручную и с этим вы вообще ничего не сделаете... Закрыться на 100% невозможно в прицнипе, потому что любой человек может просто походить по страницам и покопировать данные вручную - это тоже вид парсинга как бы... Есть даже специальные конторы, которые этим занимаются на постоянке....

  • +1 1
Link to post
Share on other sites
1 минуту назад, OtezVikentiy сказал:

А что конкретно вы хотите защитить? Скрипты js можно закрыть аналогом ionCube например. Вы хотите html как-то зашифровать?

карточки товаров картинки описание, статьи

Link to post
Share on other sites

2 минуты назад, Mixxxa163 сказал:

карточки товаров картинки описание, статьи

А цель какая итоговая? Просто чтобы другие не копировали? Или у вас какие-то технические проблемы из-за ботов?

Если чтобы просто не копировали - то это скорее всего того не стоит, потому что если у вас прям супер-пупер эксклюзивный контент - то проще его наверное как-то лицензировать через патенты, интеллектуальную собственность и т.д. пойти через юриспруденцию.

А если защита от ботов, которые ддосят и дают нагрузку лишнюю - то тут уже есть о чем поговорить, но каждый случай довольно индивидуален.
На картинки можно вотермарки создавать например.

Link to post
Share on other sites
3 минуты назад, OtezVikentiy сказал:

А цель какая итоговая? Просто чтобы другие не копировали? Или у вас какие-то технические проблемы из-за ботов?

Если чтобы просто не копировали - то это скорее всего того не стоит, потому что если у вас прям супер-пупер эксклюзивный контент - то проще его наверное как-то лицензировать через патенты, интеллектуальную собственность и т.д. пойти через юриспруденцию.

А если защита от ботов, которые ддосят и дают нагрузку лишнюю - то тут уже есть о чем поговорить, но каждый случай довольно индивидуален.
На картинки можно вотермарки создавать например.

цель от конкурентов чтобы не скопировали. слышал, что есть решения, которые определяют парсер и дают ошибку 404, вроде так..от ботов это на хостинге можно 

Link to post
Share on other sites

50 минут назад, Mixxxa163 сказал:

цель от конкурентов чтобы не скопировали. слышал, что есть решения, которые определяют парсер и дают ошибку 404, вроде так..от ботов это на хостинге можно 

сайт общедоступная, и защитить вы её можете тока не выкладывая на всемирную сеть)

  • +1 1
Link to post
Share on other sites
1 час назад, Mixxxa163 сказал:

цель от конкурентов чтобы не скопировали. слышал, что есть решения, которые определяют парсер и дают ошибку 404, вроде так..от ботов это на хостинге можно 

А что по вашему значит определяют парсер? Что такое парсер по вашему в вашем видении?

Парсер - это кусок кода, который выполняется циклично для каждой страницы. Знать весь список парсеров в мире невозможно. Даже если есть какое-то готовое решение - то например ваш конкурент может написать на заказ свой парсер конкретно вашего сайта и парсить его. И можно написать так, что вы никогда не поймете, что это ходит бот, потому что его можно замаскировать под человека и работу через браузер...

Если цель только защита от копипасты - то не забивайте себе голову. Если за дешево - это будут выброшенные деньги, потому что за дешево такие решения качественными не бывают. Либо это за дорого настолько, что не по карману большей части аудитории опенкарта. Так что проще забить на это и всё. И пользоваться например вебмастером яндекса более умело и инструментарием гугла. Там есть возможность добавлять тексты перед тем как вы их опубликуете у себя. Таким образом вы будете говорить поисковику, что именно вы являетесь автором этих текстов.

  • +1 2
Link to post
Share on other sites
7 минут назад, OtezVikentiy сказал:

А что по вашему значит определяют парсер? Что такое парсер по вашему в вашем видении?

Парсер - это кусок кода, который выполняется циклично для каждой страницы. Знать весь список парсеров в мире невозможно. Даже если есть какое-то готовое решение - то например ваш конкурент может написать на заказ свой парсер конкретно вашего сайта и парсить его. И можно написать так, что вы никогда не поймете, что это ходит бот, потому что его можно замаскировать под человека и работу через браузер...

Если цель только защита от копипасты - то не забивайте себе голову. Если за дешево - это будут выброшенные деньги, потому что за дешево такие решения качественными не бывают. Либо это за дорого настолько, что не по карману большей части аудитории опенкарта. Так что проще забить на это и всё. И пользоваться например вебмастером яндекса более умело и инструментарием гугла. Там есть возможность добавлять тексты перед тем как вы их опубликуете у себя. Таким образом вы будете говорить поисковику, что именно вы являетесь автором этих текстов.

ясно, благодарю за развернутый ответ. То есть перед открытием индексации сайта, нужно завести аккаунты в вебмастере и серч консоли, настроить их, и добавить тексты статей?

Link to post
Share on other sites

11 минут назад, Mixxxa163 сказал:

ясно, благодарю за развернутый ответ. То есть перед открытием индексации сайта, нужно завести аккаунты в вебмастере и серч консоли, настроить их, и добавить тексты статей?

...без индексации не получится...там уже нет такой возможности я прочитал...

Link to post
Share on other sites

1 час назад, OtezVikentiy сказал:

цель от конкурентов чтобы не скопировали

А речь об интернет-магазине? Если да, то это - последнее, о чём вы должны думать :-)

  • +1 1
Link to post
Share on other sites

31 минуту назад, IgorDmitrenko сказал:

А речь об интернет-магазине? Если да, то это - последнее, о чём вы должны думать :-)

да

Link to post
Share on other sites

23 часа назад, Mixxxa163 сказал:

...без индексации не получится...там уже нет такой возможности я прочитал...

Эммм.... в Яндексе точно есть - я вот только что проверил как бы... у меня правда индексированный магазин уже... Может поэтому есть... Но это не особо проблема на самом деле.

Я не думаю, что как только вы выложите магазин в паблик - сразу набегут злые конкурренты и начнут злобно копипастить все подряд... Это уже из разряда паранойи.

  • +1 1
Link to post
Share on other sites

Технически, сделать защиту от парсинга можно (спросите ЦИК РФ, они умеют :angry:). Не стопроцентную, но затрудняющую работу ботов. Неприятность в том, что работу ботов поисковиков такая защита тоже затрудняет, они ведь именно парсингом и занимаются :-)

  • +1 2
Link to post
Share on other sites

А если водный знак поставить на все картинки?

Link to post
Share on other sites

41 минуту назад, Mixxxa163 сказал:

А если водный знак поставить на все картинки?

Многие не захотят брать у Вас картинки или все будут знать, что они перепродаваны с Вашего сайта :)

  • +1 1
Link to post
Share on other sites
3 часа назад, Mixxxa163 сказал:

А если водный знак поставить на все картинки?

Можно сделать так, чтобы если идет обращение по прямому урлу к картинке без атрибутики пользователя, чтобы пересылало этих всех чертей на 404 например. То есть картинки показывать только пользователям, а всем остальным кроме гугла и яндекса (роботов) - 404ю выдавать. Погуглите, таких рецептов довольно много.

Ставить водный знак на картинки - да, тоже как вариант.

  • +1 1
Link to post
Share on other sites
  • 2 weeks later...
В 02.10.2021 в 22:36, Mixxxa163 сказал:

А если водный знак поставить на все картинки?

 

как минимум, интерес к парсингу картинок с водяным знаком конкретного магазина сильно уменьшится.

нужно только позаботиться чтобы для парсинга были бы недоступны исходники без водяного знака.

 

Например, вот этот модуль умеет ставить полноценную защиту от скачивания исходников при использовании водяного знака:

 

 

  • +1 1
Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.