OSINT - технология поиска, сбора и анализа данных, полученных из любых источников в сети

В эпоху царствования всемирной сети как у представителей спецслужб, так и у простых частных пользователей появилось колоссальное число возможностей. Самая главная из них – доступность открытых источников информации и поиск по ним благодаря технологии OSINT. Есть проблема? Что-то интересует? Необходимо срочно найти ответ на вопрос? Просто гугли!

Как показывает статистика, в 93% случаев пользователи ищут информацию с помощью Гугл и Яндекс, а оставшиеся 7% приходятся на Мейл, Бинг, Яху, Рамблер и другие. Ну а если вы не нашли что-то в поисковике, то всегда можно обратиться к социальным сетям, где можно дособрать недостоающую информацию. Просто и понятно.

ЗНАКОМСТВО С ТЕХНОЛОГИЕЙ OSINT

OSINT (или как звучит в полной английской версии Open Source INTelligence) — это технология поиска, аккумулирования и анализа данных, собранных из доступных источников в интернете. Звучит слишком обобщающе, поэтому постараемся раскрыть суть термина более человеческим языком.

Еще в 1947 году один из аналитиков ЦРУ Кен Шерман сообщил, что порядка 80% информации страна собирает именно из открытых источников в сети. Немногим позже руководитель РУМО Соединенных Штатов Самуэль Уилсон рассказал, что 90% данных по разведке также получают из открытых источников, а лишь оставшиеся 10% приходятся на профессиональную работу агентов и шпионов. Вот такой вот современный «джеймс бонд», заключенный в поисковую строку интернета.

Так чем же отличается обычный серфинг в сети от OSINT’а? В первую очередь в глубине подхода. Так, для многих обывателей сети поиск завершается на той стадии, где для профессионалов все самое интересное только начинается.

OSINT позволяет выполнить порядка 90% задач, которые стоят перед частными детективными агентствами. Так, в сети представлены самые ценные источники данных: сайты объявлений, торговые площадки, блоги, форумы по интересам, государственные проекты, банковские онлайн-системы, социальные сети. Важно только из общего «сумма» суметь вычленить действительно важную и полезную информацию, что иногда может сравниться с просеиванием горы земли через сито для фильтра золотых пород. Необходимо понимать, что иногда информация является куда более ценной и существенной, чем груда драгоценного металла. Некоторые данные могут затянуть на миллионы и миллиарды.

Так чем же отличается новичок от профессионального «серфера»? Первый просто видит забавную картинку, репостик с советами, страницы и группы для убивания времени. Профессионал же отмечает даты публикации контента, заинтересованность и активность пользователей, важные детали на изображениях, метки с геолокацией, оценивает целевую аудиторию – и это только начало. На следующем этапе может быть отправлен IP-logger, позволяющий определить IP-адреса. Затем следует просканировать порты, чтобы понять, какое технологическое оснащение находится рядом с конкретным человеком: камеры, принтеры, ПК, роутеры и другое оборудование, подключенное по сети. Так, если в списке будет обнаружено 2-3 ксерокса, можем предположить, что человек находится на рабочем месте в офисе. А вот еще один наглядный пример. В адресной строке популярной соцсети Вконтакте к основному адресу профиля после слэша добавляется персональный id, что не секрет. Но он может содержать не только цифры, а еще и никнейм. Последний является ценнейшей информацией, ведь большинство пользователей сети склонны использовать одни и те же псевдонимы на различных ресурсах. Так, по одному только никнейму в адресной строке можно «пробить» и другие активности конкретного пользователя: страницы в социальных сетях, сообщения на тематических форумах, резюме, заказы на торговых площадках и т. д.

Так все же, что же это такое OSINT?

Технология позволяет собирать максимум информации из открытых источников для полноценного профессионального анализа. При этом данные могут размещаться в различных формах: статьи, публикации обсуждения на форумах, видео- и аудиофайлы, документы, картинки, анимации, гифки и т. д.

Прежде чем найти ответ на вопрос или удовлетворить потребность в знаниях, пользователей осуществляет поиск информации и подвергает ее качественному анализу, что отнимает порою слишком много времени. Ну а получение точных результатов для обывателя и вовсе становится трудно выполнимой задачей. Помочь в этом могут инструменты с открытым исходным кодов, которые к тому же можно запустить одновременно. Они соберут вам данные из доступных источников, оставляя за вами лишь работу по сопоставлению и аналитике.

Ниже мы изучим инструменты и технологии работы OSINT более глубоко.

ОСНОВНЫЕ ИНСТРУМЕНТЫ И МЕТОДЫ

Shodan. Пока все активно использую гугл для ответов на простейшие житейские вопросы, нереально крутой поисковик Shodan дает возможность хакерам просматривать выставленные активы. Так, сервис сразу продемонстрирует вам выборку результатов, которые наиболее полно в плане смысла отвечают вашему запросу. Чаще всего системой пользуются для поиска активов, подключенных к сети.

Инструмент имеет открытый исходный код, позволяет провести качественную аналитику по вопросам безопасности, проверить уязвимые места конкретной цели (открытость личных данных, доступной паролей и портов, айпишника и т. д.). Также Shodan обеспечивает наиболее адаптивный поиск по сообществам.

Google Dorks. Сервис на самом деле запущен с 2002 года, но признайтесь, слышали ли вы о нем? Он демонстрирует замечательную производительность и является поистине интеллектуальным инструментом, который базируется на запросах. Сервис имеет открытый исходный код, помогая пользователям быстро ориентироваться на результаты или индекс поиска.
Maltego. Встроенный в Kali Linux эффективный интеллектуальный инструмент от компании Paterva имеет открытый код и предназначен для проведения серьезных исследований целей с помощью преобразований. Написан он на языке программирования Java. Для использования потребуется бесплатная регистрация на сайте производителя, после чего можно переходить к созданию цифровых отпечатков выбранной цели в сети. Неправда ли круто?

Инструмент позволяет преобразовывать IP, находить и определять номер AS, сетевые блоки. Не сильно потрудившись, можно обнаружить конкретные фразы и местоположения цели.

TheHarvester. Узконаправленный, но от этого не менее полезный инструмент для поиска поддоменов, электронной почты, айпишников и других полезностей из огромного массива общедоступной информации.
Recon-Ng. Полезный инструмент для проведения полевой разведки с помощью модульного подхода. Пригодится пользователям, которые не понаслышке знакомы с Metasploit. В инструмент встроены модули, позволяющие получить информацию в соответствии с запросом и потребностями. Модули его можно использовать, разметив домены в рабочем пространстве. Последние создаются для выполнения специальных операций, как, например, поисках доменов, связанных первоначальным или целевых.

Полезным модулем является bing_linkedin_cache, позволяющий собрать информацию об электронной переписке, связанной с целевым доменом. Активно применяется для воплощения в жизнь технологий социальной инженерии.

Ко всему прочему это еще и эффективный инструмент разведки, имеющий открытый исходный код – мастхев для исследователей безопасности в сети.

SpiderFoot. Еще один полезный инструмент разведки, тоже имеющий открытый код для Виндовс и Линакс. Написан на базе языка Python, имеет очень удобную конфигурацию, отлично работает почти на любой платформе, встраивается в графические интерфейсы.

Полезной фишкой является возможность использования запросов больше чем из ста ресурсов OSINT. Собирайте данные об электронной переписке, логины, айпишники, доменные название и т. д. еще быстрее и качественнее. Также вы можете узнать о сетевых блоках, веб-серверах и еще о много чем другом, недоступном обычному пользователю.

Настраивайте с помощью инструмента таргетинговые рекламные кампании в социальных сетях, полностью удовлетворяющие требованиям. SpiderFoot собирает только полезную информацию, понимая, как те или иные данные взаимосвязаны друг с другом.

Благодаря инструменту вы получите полное представление о риске хакерских угроз, делающих уязвимыми ваши аккаунты и профили, приводящих в потере личных данных (в том числе платежных). Проведите свой «тест» на проникновение злоумышленников, что позволит улучшить уровень предупреждения угроз и повысить общую безопасность системы до того, как данные будут в реальности украдены.

Creepy. Специальный инструмент для проведения разведки геолокации, собирающий данные в основном из социальных сетей, хостингов публикации картинок и фотографий. По итогам работы сервис публикует отчеты на карте с помощью специального поискового фильтра. Отчеты можно скачать в формате CSV или KML, для того чтобы экспортировать в специальные аналитические программы.

Инструмент имеет открытый исходный код. Основной его функционал разбит на 2 вкладки: «targets» и «map view».

Ресурс написан на базе языка Python и предлагается с упакованным двоичным кодом, который позволяет интегрировать его в различные дистрибутивы.

ПРЕИМУЩЕСТВА РАБОТЫ

Несмотря на то, что существуют сотни веб-ресурсов для поиска данных о конкретных людях или юридических фирмах, пользователи все еще не знают, как получать эксклюзив.

Так, применяя расширенные поисковые запросы в системах Googl Doks, Бинг, Яндекс и DuckDuckGo, пользователь может получить удивительные, а порою и пугающие результаты.

А еще есть специальные сайты, предназначенные для поиска людей по некоторым предоставленным данным.

Только представьте, что существуют ресурсы, осуществляющие поиск сразу по всему интернету и на базе одного критерия! Достаточно ввести адрес электронной почты или загрузить фотографию, а может указать IP – и вуаля, ваш объект найден всего за один клик. В одном месте вы получите структурированную и упорядоченную информацию из многочисленных ресурсов в сети. Проверяйте конкретную личность или целую корпорацию всего за час серфинга в интернете. Это позволит минимизировать риски недобросовестного партнерства или мошенничества в разы.

Еще одним преимуществом является уникальность самой системы OSINT. Тут нет шаблонных алгоритмов для проведения вашего расследования, так как все случаи уникальные, поэтому требуют индивидуального подхода.

OSINT представлен рядом платформ, которые позволяют проводить комплекс действий за пару кликов: поиск и сбор данных, аналитика, исследование динамики изменений, сравнение результатов за временной период и т. д.

Благодаря технологии любой пользователь может собрать эксклюзивные данные, которые добровольно вам никто не предоставит: это и изучение страниц, на которые подписана искомая личность, и все его «лайки», комментарии под публикациями, круг общения и социальные связи. Вы можете проверить человека на связь и взаимодействие с различными людьми, в том числе блоггерами, политиками, чиновниками, медийными персонами, общественными организациями, фондами. Такие возможности позволяют оценить степень риска взаимодействия с той или иной фигурой при личном общении или осуществлении серьезной сделки. Также они помогают выбрать оптимальную переговорную стратегию с учетом предпочтений, о которых очень легко узнать после мониторинга активности будущего партнера на форумах и в социальных сетях.

OSINT просто необходим для крупных фирм и организаций, которые хотят работать наиболее продуктивно, прибыльно и с минимальными рисками утечки ценной коммерческой информации.

ЧТО НУЖНО ДЛЯ РАБОТЫ OSINT В СОВРЕМЕННЫХ РЕАЛИЯХ

Алгоритм работы в системе очень прост и предполагает соблюдение последовательности шагов. Последняя была разработана и протестирована на эффективность в течение многих лет.

Соберите всю исходную информацию о цели, которая есть в открытом доступе (личные данные, адреса почты, фотографии, контакты и т. д.).
Обозначьте себе задачи: какие вопросы необходимо решить, какой информации не хватает для формирования целостной картинки.
Определитесь с инструментами OSINT, которые эффективно работают именно с вашими задачами.
Настройте поиск, после чего проанализируйте все собранные данные.
Запустите повторный поиск на основе новой полученной информации.
Подтвердите или опровергните свои догадки.

Можем сделать вывод, что OSINT – это технология нашего настоящего и будущего. Те, кто разобрались с ее инструментами и принципами работы всегда будут на шаг впереди в конкурентной борьбе и вопросах личной безопасности.