Видео: Как мы теряем и зарабатываем деньги? (Сентябрь 2024)
Скажем, вы онлайн поставщик подержанной электроники. Ваш бизнес зависит от того парня, который хочет, чтобы подержанный iPad нашел ваши отличные цены. Но вы не были бы так счастливы, если бы конкурент захватил весь ваш прайс-лист, чтобы просто побить ваши цены. Как вы можете разрешить пользователям полный доступ, не допуская массового удаления вашего контента? Ну, вы могли бы использовать ScrapeDefender, облачное решение для защиты от соскобов, которое выпущено сегодня. Я говорил с Робертом Кейном, генеральным директором ScrapeDefender, о том, как работает этот продукт.
Кому это нужно?
«Мы уже работаем с авиакомпаниями, бытовой электроникой, финансовыми рынками и, в частности, с бета-версиями», - сказал Кейн. «Любой сайт, который публикует много важного контента, прайс-листов, недвижимости… весь этот контент может быть собран массово». Кейн указал, что в то время как некоторые скребки используют простые сценарии, другие пытаются маскироваться под людей, захватывая сайт медленнее или используя несколько ботов. «Задача владельцев заключается в том, как мне позволить миру войти и не допускать посторонних ботов», - заключил Кейн.
Вот где приходит ScrapeDefender. «Наш монитор - пассивный инструмент, такой как Google Analytics», - сказал Кейн. «Вы вставляете одну строку кода на своем сайте, что позволяет нам отслеживать его круглосуточно. Всего одна строка кода в заголовке веб-страницы. Поскольку она пассивна, это не влияет на вашу производственную сеть».
Онлайн панель
Клиент ScrapeDefender может просмотреть обзор всех заблокированных операций по очистке, но также может углубиться в подробности. Кейн продемонстрировал систему, показывая мне виды деятельности, которые поднимают красный флаг. Многие из них довольно просты. IP-адрес скребка, как правило, делает гораздо больше посещений сайта и посещений страниц, чем у человека, и имеет тенденцию оставаться на любой странице в течение очень короткого времени. Даже когда они пытаются идти медленно и избегать обнаружения, картина видна. Посещения людьми обычно приходят с полем реферера; визиты соскоб ботов никогда не делают. Все эти критерии способствуют общему баллу риска; достаточно высокий балл почти всегда определяет скребковую активность.
«Сложные скребки используют несколько IP-адресов», - отметил Кейн. «Но мы используем цифровой отпечаток для сопоставления связанных сеансов, даже если IP-адрес отличается. Это может быть скрипт, работающий на разных машинах или на разных виртуальных машинах, но отпечаток совпадает.
Скребок, не соскоб!
Я спросил, что произойдет, когда будет найден скребок. «Мы делаем это двумя способами», - сказал Кейн. «Мы предлагаем модуль безопасности, который может их блокировать, но мы выясняем, что организации, с которыми мы работаем, имеют свой собственный брандмауэр. Итак, у нас есть API, который может отправлять подозрительные IP-адреса на их брандмауэр»."
Итак, сколько это стоит? Цены начинаются от $ 79 в месяц и масштабируются до любого размера сайта. «Кто-то связался с нами на прошлой неделе, - сказал Кейн, - о веб-сайте с 25 миллионами просмотров страниц… в день ! Мы поддерживаем его».
Компания запустит проверку около 150 уязвимостей, связанных с очисткой, для нового клиента, но любой может запустить бесплатное сканирование, которое проверяет их подмножество. Просто зайдите на сайт ScrapeDefender и введите доменное имя. Через несколько минут вы получите ответ.
Будущее
«По моему мнению, - сказал Кейн, - антискриппинг сейчас похож на ранний антивирусный бизнес. Это огромная возможность. Каждый должен иметь ее». Он отметил, что Snapchat мог бы использовать эту технологию, чтобы предотвратить сбор 4, 6 миллионов пользовательских данных и тем самым предотвратить недавний рост спама в Snapchat.
«CAPTCHA - это не решение», - сказал Кейн. «Даже если это сработало, разве они не слышали о фермах CAPTCHA? Реальное решение - это посмотреть на поведение и заблокировать поведение, связанное с пересчетом».
Еще неизвестно, решат ли владельцы веб-сайтов заплатить за решение для предотвращения взлома. Я буду наблюдать, как этот разыгрывается.
