Технология позади xkeyscore NSA

Если вы сосредоточитесь на технологии XKeyscore - предполагаемой правительственной программе, используемой АНБ для противодействия террористам, - а не на политике, то это на самом деле ошеломляет. По некоторым данным, программа XKeyscore может обрабатывать до 41 миллиарда записей.

В основе XKeyscore лежат две основные технологические тенденции: большие данные и аналитика данных. И это не только правительство, которое охотно охватывает этот тип технологий. Информация - самый горячий товар, который есть. Ниже мы рассмотрим, что может быть скрыто за техническими характеристиками такой программы, как XKeyscore, и основаны на том, что используют компании, которые собирают и анализируют одни и те же большие наборы данных, и комментарии поставщиков, которые помогают этим компаниям перемещать эти данные.

Удивительные технологии

Большие данные относятся к сбору настолько больших наборов данных, что для анализа, анализа и составления отчетов по этой информации необходимы специальные технологии. В двух словах, Data Analytics - это процесс разбивки этой информации на аккуратные отсеки, чтобы ее можно было более тщательно изучить.

Где широко используется этот обширный сбор и анализ данных? В частной промышленности. Мелисса Колодзей, директор по маркетинговым коммуникациям в Attunity, компании по разработке решений, которая помогает предприятиям получать доступ и перемещать большие объемы данных, сказала, что в розничной торговле компании будут собирать и «собирать огромные объемы данных», чтобы проанализировать привычки клиентов для подробности, такие как: «если этот человек только что купил шампунь, чтобы он мог предложить этому клиенту купон на мобильный телефон, пока он еще в магазине». Колодзей сказал, что компании хотят и могут иметь «возможности, близкие к реальному времени», когда дело доходит до анализа этих больших наборов данных, и хотят отбирать информацию как можно быстрее.

Удивительные технические особенности

Нет реальной информации о конкретной технологии, которая может использоваться с XKeyscore, за исключением того факта, что она включает 700 серверов Linux, расположенных по всему миру. Но можно предположить тип оборудования, необходимого для агрегирования и управления этими большими наборами данных. Лишь немногие производители делают типы машин, способных справиться с такой удивительной вычислительной мощностью: Oracle, HP, IBM и EMC - это те, которые больше всего приходят на ум.

Конечно, не только марка железа центра обработки данных делает возможным сбор и анализ огромных объемов данных.

«Технологические инновации в области аппаратного обеспечения (емкость и скорость памяти, многоядерные, многопроцессорные системы) и программного обеспечения (столбчатые базы данных, кластерные файловые системы и т. Д.) Позволили« хранить »практически неограниченные объемы данных», - говорит вице-президент Байрон Бэнкс. президент базы данных и технологий в SAP.

Параллельная обработка, достижения в области необработанных вычислительных мощностей, а также огромные объемы хранения при относительно низких затратах сделали этот вид интеллектуального анализа данных более простым для правительства, предприятий и даже предприятий среднего бизнеса. Лоуренс Шварц, вице-президент по маркетингу Attunity, сказал, что современные хранилища данных «в целом созданы для поддержки терабайтов данных».

Тот факт, что существует так много источников данных, все они так тесно переплетены, также помог сделать анализ и сбор больших массивов данных настолько привлекательными для промышленности. «Я думаю, что люди всегда хотели выяснить, что делать с данными. За последнее десятилетие появилось так много источников информации, теперь их стало намного больше, так как они взаимосвязаны. У нас не было лет назад… столько вычислительной мощности, что сейчас есть возможности ", сказал Шварц.

Затяжные проблемы и очевидные противоречия

Несмотря на то, что технология продолжает быстро развиваться в области поддержки больших данных и анализа таких данных, проблемы остаются.

По словам Шварца, организации часто собирают больше данных, чем могут обработать. Существует также «огромная нехватка исследователей данных», чтобы понять смысл этих собранных данных.

«Проблема многих существующих решений и методов заключается в том, что они не могут понять и определить, какая полезная информация существует в этих огромных пулах 0 и 1, а затем анализировать и использовать ее своевременно и экономически эффективно. В SAP мы "Сосредоточены на инновациях, которые устраняют сложность из ИТ-среды и повышают скорость и гибкость, с помощью которых" данные "могут превращаться в полезную" информацию "и доставляться конечному пользователю или приложению", - сказали в банках SAP.

Тогда есть проблемы безопасности. «Из-за того, что компании и потребители данных продолжают распространять и хранить в облаках, общественность должна быть обеспокоена практикой информационной безопасности компаний, облака которых хранят нашу личную информацию», - сказал Пейдж Лейдиг, старший вице-президент CipherCloud. «Принимая во внимание, что PRISM сидит и контролирует информацию, проходящую через определенные облака, XKeyscore активно следует за любым конкретным человеком в Интернете по веб-сайтам, которые посещаются, на электронные письма, которыми обмениваются сообщения в социальных сетях. В обоих случаях кто-то просматривает и собирает данные, идентифицирующие личность без согласия владельца данных - и это проблема конфиденциальности, даже если мотивация - национальная безопасность для общественного блага ».

Тем не менее, по словам Лейдига, во всяком случае, эти программы интернет-наблюдения «подчеркивают нашу зависимость от облачных технологий на уровне предприятия и потребителя». Что касается обеспечения безопасности данных или предотвращения кражи данных у хакеров или у ИТ-специалистов, Лейдиг советует, что «лучшим подходом является включение облака (и приложений-убийц, которые нужны предприятию и потребителям) с помощью небьющегося шифрования для шифрования». данные в бред. Таким образом, неавторизованные пользователи - будь то спецслужба или кибер-вор - не могут использовать данные. В качестве дополнительной меры контроля предоставьте предприятиям, а не поставщикам облачных услуг, ключи шифрования / дешифрования.

В случае запроса информации (письма АНБ, о которых мы так много слышали), предприятие будет уведомлено и может работать с правительством напрямую, а не обойдаться и в неведении о том, что данные клиента доступны без согласия. Это та модель, в которой облачный провайдер хранит ключи, передает данные и по закону не может раскрыть запрос информации для предприятия ».

Очевидно, что сейчас широкое обсуждение в обществе происходит только потому, что существует технология сбора и анализа огромных данных, дает ли это лицензию правительству и предприятиям на использование такой технологии для граждан и потребителей? Это дискуссия, которая обязательно продолжится в течение достаточно долгого времени.

Для получения дополнительной информации, проверьте, Xkeyscore не следит за вами, это Google для NSA для перехваченных данных.