Splunk что это за программа
Splunk. Введение в анализ машинных данных — часть 1. Примеры SPL запросов и визуализация логов
В данной статье мы расскажем и покажем как загрузить данные в Splunk, как строить поисковые запросы в системе на основе встроенного языка SPL и как можно их визуализировать. Это чисто практическая «How to» статья на основе тестовых данных, доступ к которым предоставляется свободно и доступен для скачивания всем желающим.
После прочтения и практического повторения Вы научитесь:
Загрузка данных в систему
В системе можно выделить 5 основных источников сбора логов (это не полный список):
Но в нашем учебном примере, нам будет достаточно одного скаченного на локальный компьютер бесплатного Splunk Enterprise Free. Инструкции по установке вы можете найти в нашей предыдущей статье.
Теперь когда Вы скачали данные и установили Splunk их надо загрузить в него. На самом деле это достаточно просто (инструкция), потому что данные заранее подготовлены. Важно! Не нужно разархивировать архив.
SPL запросы
Ключевые особенности языка SPL:
Структура SPL:
Стандартно SPL запрос можно разделить на несколько этапов: фильтрация и выбор нужных данных, затем создание новых полей на основе уже существующих, затем агрегирование данных и вычисление статистик, и в конце переименование полей, сортировка другими словами облагораживание вывода.
После того как Вы загрузили данные в систему вы можете осуществлять поиски по ним (ниже примеры запросов, с результатами выполнения):
Поисковый интерфейс имеет следующий вид:
Поиск и фильтрация:
В Splunk можно «как в гугле» искать события по ключевому слову, или набору ключевых слов разделенных стандартными логическими операторами, примеры ниже. Также вы можете в любой момент актуализировать свой поиск, выбрав нужный вам временной интервал как в меню справа, так и центральной зеленой гистограмме, которая показывает количество событий в определенный период времени.
Вычисляемые поля (Eval):
Splunk может создавать новые поля на основе уже существующих, для этого используется команда eval, синтаксис и пример использования которой описан ниже. После того как мы создали какое-то поле, оно также может участвовать в дальнейших запросах.
Статистические запросы и визуализация:
После того как мы научились фильтровать и создавать новые поля переходим к следующему этапу — статистические запросы или агрегирование данных. Плюс все это естественно можно визуализировать. Для этих запросов вам потребуется загрузить в систему другой тестовый файл. Важно, на этапе загрузки поменять sourcetype csv на eq c помощью кнопки Save As, чтобы результаты запросов совпадали с нашими скриншотами.
Статистические запросы во времени:
Так как Splunk осуществляет все поиски во времени, то одно из самых распространенных команд является timechart, которая позволяет строить статистические запросы с привязкой ко времени, ниже примеры (тип визуализации можно выбрать в интерфейсе под закладками statistics, visualization и рядом с кнопкой format):
Заключение
В следующий раз мы расскажем про несколько интересных команд которые позволяют работать с данными в которых есть географические координаты и про то, как и откуда взять эти координаты если их нет, а также про группировки данных для выделения транзакций и выявления очередности событий.
Также хочу отметить супер полезный документ, содержащий в одном месте множество информации о Splunk — Quick Reference Guide.
Зачем вам нужен Splunk? Мониторинг работы IT инфраструктуры
В предыдущих статьях мы уже писали о том, как Splunk можно использовать для аналитики работы приложений, аналитики событий безопасности, а также промышленных данных и интернета вещей.
Что касается мониторинга IT инфраструктуры, то он полезен в тех случаях, когда ваша цель заключается не в том, чтобы фокусироваться на том, что работает в данный момент, а знать, что сломано или находится в критическом режиме, наблюдаются ли потери производительности в отдельных сервисах.
Многие проблемы в перспективе могут привести к снижению клиентской удовлетворенности и потере клиентов, потере времени сотрудников и денег организации из-за простоя оборудования. Поэтому важно научиться опережать и выявлять проблемы до их возникновения.
Задачи, которые можно решать с помощью мониторинга IT инфраструктуры, можно разделить на 4 области:
С помощь Splunk можно произвести полную интеграцию всех систем, приложений и надстроек, объединяя между собой на первый взгляд несвязанные данные. Установка хостов и получение первых логов и метрик зачастую требует совсем немного времени.
Постоянный мониторинг и корреляция
Постоянный мониторинг в режиме реального времени и коррелированные показатели на основе данных со всех устройств позволяют видеть полную картину работоспособности системы, выявлять аномалии и первопричины проблем, определять области воздействия.
На основе исторических данных и комплексных KPI можно предсказывать уровень здоровья инфраструктуры, что позволит предотвратить сбои в работе системы до того, как они произойдут.
Фильтрация событий и сокращение времени расследования
Использование алгоритмов машинного обучения позволяет автоматически сокращать количество событий до тех, которые требуют усиленного внимания. А всесторонняя видимость событий и построение прогнозов позволят сократить время расследования инцидентов и уменьшить общее число инцидентов и сбоев.
Настраиваемые визуализации и оповещения
Возможность создавать различные отчеты и визуализации своих IT-сервисов, ключевых показателей и тенденций. Панели отчетности могут отличаться и легко настраиваться для разных категорий пользователей. А также на основе значений различных показателей, группы показателей или конкретных событий можно настраивать оповещения для быстрого информирования о проблемах и скорейшего реагирования.
Splunk How-to, или Как и где научиться Splunk
В этой статье мы хотим поделиться с вами полезными материалами и ресурсами, с помощью которых можно научиться работать в Splunk. Понятно, что самый лучший опыт — это участие в проектах и набивание собственных шишек на практике, но все таки теория тоже важна. В этой статье мы расскажем как и где лучше изучать Splunk.
1. Книги
Splunk Operational Intelligence Cookbook
В книге рассматриваются многие темы, с которыми вы столкнетесь при работе в Splunk, начиная с загрузки данных, заканчивая созданием продвинутых аналитических отчетов с использованием языков XML и Python. В книге по каждой теме есть пошаговая инструкция со скриншотами.
Implementing Splunk Big Data Reporting and Development for Operational Intelligence
Эта книга во многом схожа с предыдущей по темам, структурой изложения с практическими примерами, но в ней меньше говорится о простом и делается акцент на «advanced» методиках поиска, визуализации, конфигурировании архитектуры Splunk и тд.
Exploring Splunk Search Processing Language (SPL) Primer And Cookbook
В этой книги основной акцент делается на построение запросов и язык запросов SPL: логика, функции, синтаксис.
Следует отметить, что в книгах нет ничего сверх нового, чего вы не найдете в официальной документации, ссылки на которую будут в следующем разделе, также некоторые функции уже могут быть изменены в новых версиях Splunk и актуальную информацию лучше смотреть там, но все же, в книгах информация представлена в более простом и понятном для пользователя (особенно начинающего) формате.
2. Полезные материалы и сайты
Manuals Splunk Enterprise
Самый основной источник, из которого можно получить всю актуальную информацию о работе в Splunk. Все, что можно реализовать в Splunk, вы можете найти здесь: инструкцию по загрузке разных типов данных из различных источников, подробную справку по каждой функции языка SPL, инструкцию по всем способам визуализации и созданию отчетности, руководство по администрированию системы, устранению неполадок и тд. Каждая страница имеет несколько версий в зависимости от того, информация о какой версии Splunk вам нужна.
Среди минусов этого руководства хочется отметить, что там слишком много информации, чтобы легко найти именно то, что нужно (особенно если вы начинающий пользователь), а также сложная система гиперссылок с одной темы на другую. Наш совет: если вы попали в какой-то раздел, не пытайтесь изучать его с середины и искать ответы на вопросы в разных частях — прочитайте раздел полностью. Да это займет больше времени, но понимания будет гораздо больше.
Splunk Quick Reference Guide
Небольшой обзор на 6 страниц, в котором даны определения основных понятий системы, а также синтаксиса языка SPL. Обычно мы используем его как настольный “читшит”, так как там собраны самые распространенные команды.
Форум, на котором пользователи задают вопросы другим пользователям по поводу различных затруднений в работе. Если у вас возникает проблема, но наверняка вы сможете найти готовое решение там или самостоятельно задать вопрос. Главное плюс этого форума, что сотрудники спланка мониторят и апрувят правильные ответы. А еще там можно выиграть билет ежегодную конференцию splunk.conf за высокую карму.
В блоге представлено множество статей о трендах в области информационных технологий и как Splunk с ними связан. Именно здесь публикуются реальные кейсы использования Splunk и различные “best practices” причем статьи пишут довольно прокаченые спланкеры. Однако там как и во всех блогах проскакивают и маркетинговые статьи, куда уж без них.
Мы регулярно выпускаем статьи связанные с работой Splunk. Инструкции по работе с системой, интеграции с другими системами и различные обзоры. Мы сохраняем полный список для удобной навигации здесь, он постоянно пополняется.
3. Видео
Если кому-то лень читать, то можно смотреть. Ниже мы опубликовали ссылки на различные каналы с видео контентом. Возможно видео это немного долго, но за то там видно на какие кнопки и как нажимать.
Официальные образовательные видео на сайте –> ссылка
Youtube канал Splunk –> ссылка
Youtube канал Splunk How-to –> ссылка
4. Обучение
У Splunk есть множество официальных обучений. Схема обучения примерно одинаковая: изучение теоретического материала (видео или инструктор) и выполнение практических лаб на тестовом Splunk, затем тест и получение сертификата. Их можно найти тут.
В основном курсы платные, но есть и несколько бесплатных:
В этом курсе рассказывается о интерфейсе Splunk, основных элементах и их предназначении, как создавать поисковые запросы, использовать для этого поля, получать статистику из ваших данных, создавать отчеты, панели мониторинга и предупреждения (алерты). Если вы только начинаете — это must have.
В этом курсе изучается интерфейс и функции приложения для Splunk User Behavior Analytics. По большому счету, данный курс вам покажет что такое UBA от спланка.
Этот курс дает обзор инфраструктуры Splunk Enterprise. Пользователи получают информацию о том, как преобразовать развертывание Splunk из одного экземпляра в распределенную среду.
Официальное очное обучение в России на русском языке
Splunk — общее описание платформы, базовые особенности установки и архитектуры
В рамках корпоративного блога компании TS Solution мы начинаем серию обучающих статей про такой продукт для анализа машинных данных как Splunk. Большинство статей будут представлять собой «how to tutorial», описание интересных кейсов и решение популярных проблем.
В данной статье мы кратко расскажем о самой системе и её назначении, а также рассмотрим варианты по её установке. 
Пару слов про Splunk
Splunk это платформа для сбора, хранения, обработки и анализа машинных данных, то есть логов. На сегодняшний день является крайне популярной в США и в Европе и постепенно выходит на другие рынки, включая Россию. Одной из главных особенностей платформы является то, что она может работать с данными практически из любых источников, и поэтому список возможных применений системы очень широк.
Splunk, в большинстве случаев, (автоматически или с помощью аддонов) разбирает входные данные на поля и значения и в последствии обрабатывает их. Обработка происходит посредством SPL запросов (специальный язык от Splunk), с помощью которого можно строить различные выборки и таблицы, сортировать, фильтровать, агрегировать, строить отчеты, создавать вычисляемые поля, обращаться как к внутренним, так и внешним справочникам, создавать дашборды, с широким спектром визуализации и делать алерты (например по результату выполнения запроса отправлять тикеты в Service Desk). Все это можно упаковать в свое персональное приложение.
Основные отличия или сильные стороны Splunk
Почему это важно? Потому что Splunk может обеспечить сбор данных в реальном времени из тысяч разнородных источников — и это может быть как физический или виртуальный хост, так и облако. Также Splunk поддерживает поиск не только в реальном времени, но и по всему временному промежутку, данные за который были собраны. То есть мы можем осуществлять поиск, мониторинг, оповещения, отчетность и анализ за любое время (исторический данные и данные в реальном времени в одном решении). И наконец, Splunk обеспечивает быстрый результат и высокую интерактивность поисковых запросов на чрезвычайно больших объемах данных.
Где скачать?
Бесплатная версия Splunk c ограничением на индексацию в 500 Мб в день доступна на официальном сайте компании, единственное что вам нужно сделать это пройти регистрацию.
Системные требования
Splunk поддерживает как 32-bit, так и 64-bit разрядную архитектуру. Ниже представлены таблицы с доступными платформами для Splunk отдельно для Unix и Microsoft. В последнем столбце таблицы находится информация о Splunk Universal Forwarder. Это отдельный дистрибутив и отдельная роль в платформе Splunk, которая выступает в качестве агента и отвечает исключительно за сбор логов и пересылку их на сервер.
Unix
А – версия доступна для скачивания, но не имеет официальной поддержки
D – версия в данный момент поддерживается, но в будущих релизах компания может снять ее с официальной поддержки
Windows
D – версия в данный момент поддерживается, но в будущих релизах компания может снять ее с официальной поддержки
… — версия поддерживается, но Splunk не рекомендует использовать данную архитектуру
Установка
После того как вы скачали установочный файл просто запускайте установку и по умолчанию система встанет в базовой конфигурации. Подробная пошаговая инструкция по установке на Windows здесь, на Unix системы здесь.
После установки Splunk должен быть доступен через веб интерфейс порт 8000: localhost:8000 и после смены пароля и входа вы увидите следующий интерфейс.
На этом мы закончим вводный обзор. В следующей статье мы расскажем как загрузить данные в Splunk, как пользоваться языком SPL, как строить графики и дашборды.
Также, мы недавно делали вебекс общего характера про Splunk — его запись вы можете посмотреть по ссылке на Youtube. В этом вебинаре был показан базовый функционал и рассказаны некоторые кейсы применения продукта.
Зачем вам нужен Splunk? Аналитика событий безопасности
Было ли нарушение информационной безопасности предприятия? Какие внутренние угрозы есть у организации? Как и насколько быстро мы можем обнаружить, заблокировать или остановить атаку? В этой статье мы расскажем, как вам может помочь Splunk в поиске ответов на эти вопросы.
Этой статьей мы продолжаем цикл статей о том, для решения каких задач можно использовать Splunk и сегодня мы будем подробнее разбираться с тем, как можно использовать Splunk для аналитики событий безопасности.
В реалиях сегодняшнего дня предприятиям уже недостаточно простого мониторинга традиционных событий, им нужны решения, способные адаптироваться к современным угрозам, ускоряющие скорость реагирования на инциденты и дающие возможность выявлять и устранять известные и неизвестные угрозы.
Давайте разберемся подробнее, какие задачи решает Splunk для обеспечения безопасности:
Мониторинг в реальном времени
Ускорение реакции является сложной задачей в современных сложных ИТ-средах. Splunk позволяет получать четкое и наглядное представления о состоянии безопасности организации в текущий момент, а также содержит удобную настройку представлений и детализацию данных вплоть до базовых событий. Использование непрерывного мониторинга, статических и динамических поисков или визуальных корреляций для определения вредоносной активности сокращает время реагирования. А также Splunk предоставляет аналитикам инструменты для определения приоритетов для более быстрого реагирования на угрозы с более высоким приоритетом.
Обнаружение сложных угроз
С помощью Splunk можно отслеживать разные стадии сложной угрозы и объединять взаимосвязанные события. Взаимосвязи определяются по любому полю, любым данным и на любом временном интервале. Splunk позволяет аналитикам безопасности применять расширенный статистический анализ и методы машинного обучения для выявления выбросов и аномалий, которые позволяют выявить неизвестные и сложные угрозы.
Внутренние угрозы
Splunk служит для выявления злонамеренных действий сотрудников и других внутренних угроз до того, как произойдет кража конфиденциальных данных, их повреждение или злоупотребление полномочиями. С помощью Splunk можно определить неправильное использование разрешений, аномальное поведение, даже в случае использования законных учетных записей, уровней доступа или источников. Например, чрезмерно длительные сеансы, нестандартное время или входа. А накапливаемые данные о различных действиях пользователя позволяют основывать исследования на исторических данных. В Splunk возможна интеграция с Active Directory или базами данных HR для получения информации о сотрудниках.
Расследование инцидентов
Splunk позволяет анализировать инциденты для определения обстоятельств и масштабов инцидента. Это достигается с помощью поиска и нахождения корреляций по ключевым словам, терминам или значениям для различных сетевых устройств, хостов, считывателей и т.д. Для аналитиков безопасности это дает широкий контекст инцидента, что помогает быстрее и лучше оценивать уровень угрозы, определять причины и следствия.
Автоматизация гетерогенных систем
Архитектуры безопасности обычно включают в себя различные уровни инструментов и продуктов. Как правило, они не предназначены для совместной работы и содержат пробелы в вопросах работы специалистов по безопасности по установке связей между разными доменами. Splunk устраняет эти пробелы, обеспечивая единый интерфейс для автоматического извлечения данных, что позволяет строить комплексную аналитику и реагировать на угрозы в средах с продуктами разных поставщиков.
Обнаружение мошенничества
С помощью поиска и анализа данных в реальном времени, обнаружения и исследования выбросов и аномалий на основе исторических данных можно выявить мошеннические действия, определить влияние и масштаб мошенничества.
Обзор основных готовых решений:
Splunk Enterprise Security
Splunk Enterprise Security (ES) — система управления информационной безопасностью и событиями (англ. Security and information event management, SIEM), которая формирует подробную картину машинных данных, создаваемых различными технологиями безопасности (сеть, конечные точки, доступ, вредоносные программы, уязвимость). Благодаря Splunk Enterprise Security специалисты по безопасности могут быстро обнаруживать внутренние и внешние атаки и принимать ответные меры. Это позволяет упростить операции по защите от угроз, минимизировать риск и обеспечить безопасность бизнеса. Splunk Enterprise Security оптимизирует все аспекты защиты и подходит для организаций любого масштаба и профессионального уровня.
Видео-обзор можно посмотреть тут
Организации по всему миру используют Splunk Enterprise Security (ES) в качестве SIEM для мониторинга безопасности, расширенного обнаружения угроз, реагирования на инциденты и использования широкого спектра аналитических приложений для анализа безопасности.
Осенью 2017 года Gartner опубликовал свой магический квадрант по рынку решений по управлению информационной безопасности и событиями безопасности, где Splunk был назван одним из лидеров на этом рынке.
Splunk User Behavior Analytics
Splunk User Behavior Analytics (Splunk UBA) помогает компаниям находить скрытые угрозы и аномальное поведение пользователей, устройств и приложений с помощью алгоритмов машинного самообучения, аналитики базовых линий поведения пользователей и одноранговых групп. Таким образом организации могут обнаруживать постоянные угрозы повышенной сложности (advanced persistent threat, APT), заражения вредоносными программами и внутренние угрозы. Splunk UBA обеспечивает рабочие процессы аналитиков и разработчиков процедур безопасности, требует минимума администрирования и интегрируется с существующей инфраструктурой для обнаружения скрытых угроз.
Видео–обзор по этой ссылке
Приложение Splunk для PCI Compliance (для Splunk Enterprise) — это разработанное и поддерживаемое Splunk приложение, призванное помочь организациям удовлетворить требованиям PCI DSS 3.2. С помощью приложения анализируются и измеряются эффективность и статус соответствия PCI в режиме реального времени. Оно также может определять и устанавливать приоритеты в любых областях управления, которые могут потребоваться, и вы также можете быстро обратиться к любому отчету или запросу данных.
Приложение предоставляет готовые поисковые запросы, информационные панели, отчеты, инфраструктуру реагирования на инциденты и интеграцию с информацией о сотрудниках и устройствах, чтобы обеспечить вам видимость активности системы, приложений и устройств, относящихся к соблюдению PCI.