# Splunk — general description ## Splunk — general description В рамках корпоративного блога компании [TS Solution](http://tssolution.ru/) мы начинаем серию обучающих статей про такой продукт для анализа машинных данных как [Splunk](http://tssolution.ru/splunk/). Большинство статей будут представлять собой «how to tutorial», описание интересных кейсов и решение популярных проблем. В данной статье мы кратко расскажем о самой системе и её назначении, а также рассмотрим варианты по её установке. ![](https://296194292-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FLoAqAoOfr7XVUQw7Gff8%2Fuploads%2Fgit-blob-fbb8fb04b015c397ec4aa5c303844289654f77e5%2F1176d11f941d4a65bb0a4324874ba45c.jpg?alt=media) ## Пару слов про Splunk Splunk это платформа для сбора, хранения, обработки и анализа машинных данных, то есть логов. На сегодняшний день является крайне популярной в США и в Европе и постепенно выходит на другие рынки, включая Россию. Одной из главных особенностей платформы является то, что она может работать с данными практически из любых источников, и поэтому список возможных применений системы очень широк. ![](https://296194292-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FLoAqAoOfr7XVUQw7Gff8%2Fuploads%2Fgit-blob-92057b852a336c7c04662971e002a90cc7a7b046%2Fa524cbaab16649aaab8e8546434f7ef5.png?alt=media) Splunk, в большинстве случаев, (автоматически или с помощью аддонов) разбирает входные данные на поля и значения и в последствии обрабатывает их. Обработка происходит посредством SPL запросов (специальный язык от Splunk), с помощью которого можно строить различные выборки и таблицы, сортировать, фильтровать, агрегировать, строить отчеты, создавать вычисляемые поля, обращаться как к внутренним, так и внешним справочникам, создавать дашборды, с широким спектром визуализации и делать алерты (например по результату выполнения запроса отправлять тикеты в Service Desk). Все это можно упаковать в свое персональное приложение. ![](https://296194292-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FLoAqAoOfr7XVUQw7Gff8%2Fuploads%2Fgit-blob-a7ff34a1378a208e24cda6204778888667b55e95%2Fe01ee5281e6f416a8ad43750a52a2544.png?alt=media) ### Основные отличия или сильные стороны Splunk * **Real Time Architecture**: Splunk осуществляет сбор, поиск, мониторинг и анализ по различным и достаточно большим (сотни Тб данных в день) объемам данных в режиме реального времени и все это — одна система. Почему это важно? Потому что Splunk может обеспечить сбор данных в реальном времени из тысяч разнородных источников — и это может быть как физический или виртуальный хост, так и облако. Также Splunk поддерживает поиск не только в реальном времени, но и по всему временному промежутку, данные за который были собраны. То есть мы можем осуществлять поиск, мониторинг, оповещения, отчетность и анализ за любое время (исторический данные и данные в реальном времени в одном решении). И наконец, Splunk обеспечивает быстрый результат и высокую интерактивность поисковых запросов на чрезвычайно больших объемах данных. * **Universal Machine Data Platform**: Splunk является универсальной платформой для машинных данных, которая обеспечивает комплексный сбор данных, их обработку и анализ. Таким образом мы можем индексировать любые машинные данные с отметкой о времени независимо от структуры и формата. Splunk способен объединить в себе машинные данные + бизнес данные + пользовательские данные, что делает его крайне универсальным. * **Schema on the Fly**: Splunk осуществляет поиски по времени, то есть вам не нужно заранее знать структуру данных, чтобы сформировать запрос. Вы можете выбрать промежуток во времени, ввести пару ключевых слов и быстро ознакомиться с данными. Нет никаких жестких ограничений на столбцы, таблицы и прочее. Это сильно повышает гибкость системы. Также любой запрос можно остановить, поставить на паузу или показать промежуточные результаты. * **Agile Reporting & Analytics**: Splunk предоставляет широкие возможности по построению аналитики, отчетов и их визуализации. Помимо целевых данных, система также может обращаться ко внешним справочникам, например в SQL БД. Также хотелось бы сказать, что Splunk достаточно открытая система и вы всегда можете дописать свой модуль, хотя возможности визуализации ну очень разнообразны. * **Scales from Desktop to Enterprise**: Splunk использует технологию MapReduce, что обеспечивает распределение нагрузок и горизонтальную масштабируемость системы, то есть мы можем начать с одного сервера для Splunk, а при увеличении данных — быстро добавить пару новых серверов и распределить нагрузку. Также благодаря технологии MapReduce Splunk может быстро перерабатывать реально большие объемы данных, не требуя выдающегося железа. * **Fast Time to Value**: Splunk позволяет быстро получить результат от использования. Внедрение занимает часы или дни, а не недели и месяцы. Тоже самое с масштабированием и эксплуатацией. * **Passionate & Vibrant Community**: У Splunk есть очень качественное, а главное бесплатное комьюнити, которое включает: * [Splunk Base](https://splunkbase.splunk.com/) — портал, содержащий всевозможные приложения и аддоны, 99% из которых бесплатно * [Splunk Answers](https://answers.splunk.com/) — форум с большим числом вопросов/ответов и живых участников * [Splunk Dev](http://dev.splunk.com/) — портал для разработчиков * [Splunk Dock](http://docs.splunk.com/Documentation) — полная база знаний продукта #### Где скачать? Бесплатная версия Splunk c ограничением на индексацию в 500 Мб в день доступна на [официальном сайте компании](https://www.splunk.com/en_us/download/splunk-enterprise.html), единственное что вам нужно сделать это пройти регистрацию. #### Системные требования ![](https://296194292-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FLoAqAoOfr7XVUQw7Gff8%2Fuploads%2Fgit-blob-31155526e140f0a0f5803fffd7233b8a0abfb8a6%2F1177a740f272465cbf71a16e121a1d0b.png?alt=media) Splunk поддерживает как 32-bit, так и 64-bit разрядную архитектуру. Ниже представлены таблицы с доступными платформами для Splunk отдельно для Unix и Microsoft. В последнем столбце таблицы находится информация о Splunk Universal Forwarder. Это отдельный дистрибутив и отдельная роль в платформе Splunk, которая выступает в качестве агента и отвечает исключительно за сбор логов и пересылку их на сервер. **Unix** ![](https://296194292-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FLoAqAoOfr7XVUQw7Gff8%2Fuploads%2Fgit-blob-b2150afb6a0f2814cd6c9626cf0983a30a1b4148%2F168e8d1cb23043b1aeb28a4423335193.png?alt=media) А – версия доступна для скачивания, но не имеет официальной поддержки D – версия в данный момент поддерживается, но в будущих релизах компания может снять ее с официальной поддержки **Windows** ![](https://296194292-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FLoAqAoOfr7XVUQw7Gff8%2Fuploads%2Fgit-blob-256056436969f4167a6b778116743dd8a73584c6%2F9026d8a458cd449ab5b1bde7a4e877a1.png?alt=media) D – версия в данный момент поддерживается, но в будущих релизах компания может снять ее с официальной поддержки … — версия поддерживается, но Splunk не рекомендует использовать данную архитектуру #### Установка После того как вы скачали установочный файл просто запускайте установку и по умолчанию система встанет в базовой конфигурации. Подробная пошаговая инструкция по установке на Windows [здесь](http://docs.splunk.com/Documentation/Splunk/6.5.2/Installation/InstallonWindows), на Unix системы [здесь](http://docs.splunk.com/Documentation/Splunk/6.5.2/Installation/InstallonLinux). После установки Splunk должен быть доступен через веб интерфейс порт 8000: localhost:8000 и после смены пароля и входа вы увидите следующий интерфейс. ![](https://gitlab.com/johnmkane/tech-recipe-book/-/blob/main/Book/Architect/SIEM%20SOC/Splunk/Splunk%20%E2%80%94%20general%20description/Untitled) На этом мы закончим вводный обзор. В следующей статье мы расскажем как загрузить данные в Splunk, как пользоваться языком SPL, как строить графики и дашборды. Также, мы недавно делали вебекс общего характера про Splunk — его запись вы можете посмотреть по ссылке на [Youtube](https://www.youtube.com/watch?v=DmsyP82mmjg\&feature=youtu.be). В этом вебинаре был показан базовый функционал и рассказаны некоторые кейсы применения продукта.