نرم افزار اسپلانک ES

امروزه نرم افزار Splunk بشدت شهرت یافته است و بسیاری علاقه مند هستند که بدانند اسپلانک چیست؟

نرم افزار Splunk با قابلیت های مانیتورینگ لحظه ای ترافیک ، رویداد ها ، تحلیل و انطباق انواع دیتا با تکنولوژیMachine Learning جهت آنالیز داده های بزرگ قادر به ارائه گزارشی کامل و اولویت بندی شده با فرمت ها و نمودار های متنوع از انواع رفتار ها ، تهدیدات و آسیب پذیری ها میباشد. اسپلانک با سرعت بالا و به صورت لحظه ای در پردازش دیتا جهت گزارش دهی و مانیتورینگ دقیق انواع داده ها در انواع نرم افزار ها ، شبکه ها و سرویس های Cloud بر اساس پالیسی های اعمال شده همچون نوع داده و حجم، موقعیت،زمان و… سبب کاهش ریسک و نفوذ پذیری شده و مناسب جهت استفاده در انواع سازمان ها و مراکز عملیات امنیت SOC میباشد.

نرم افزار Splunk راهکاری نوین مبنی بر SIEM است که میتواند لاگ‌ های سیستم ها را به ‌خوبی دسته ‌بندی کرده و آن‌ ها را به صورت‌ های مختلف برای تحلیل ساده‌تر نمایش دهد، تا کارشناسان امنیت شبکه سازمان بتوانند این رفتارهای مشکوک را در کمترین زمان ممکن شناسایی کرده و به آن‌ ها پاسخ دهند. به واسطه این ابزار می‌توان از صحت عملکرد سرویس‌های حیاتی زیرساخت و جریان ترافیک ها در سطح شبکه اطمینان حاصل کرد. اسپلانک می‌تواند به منظور حل چالش های امنیتی از طریق تجزیه و تحلیل رویدادها، متریک ها و لاگ ‌ها مورد استفاده قرار گیرد و مناسب جهت استفاده در انواع سازمان های متوسط ، یزرگ و مراکز عملیات امنیت SOC میباشد.

همچنین این نرم افزار با پشتیبانی بستر های Cloud و با تکنولوژی های پیشرفته جهت آنالیز داده های عظیم داده های بزرگ، نرم افزاری هوشمند جهت زیر نظر گرفتن فعالیت ها در شبکه و اعلام هشدار به مدیران میباشد. این محصول با جمع آوری انواع داده‌ها ، یکپارچه سازی رویدادها و اعلان ها به منظور آمادگی جهت تحلیل و بررسی داده های مختلفی از قبیل وب سایت ها، برنامه ها، حسگرها، دستگاه ها و … قابلیت این را دارد تا جریان داده ها را بصورت یک سری از رویدادهای دسته بندی شده تجزیه کرده، به طوری که به راحتی بتوان آنها را مشاهده و جستجو کرد. اسپلانک داده های فرستاده شده از تمام برنامه های کاربردی، سرویس دهنده ها، و تمام دستگاه های تشکیل دهنده ی ساختار شبکه را نمایش میدهد.

این نرم افزار، یک موتور جستجو و تحلیل قدرتمند و همه کاره است که امکان نظارت، خطایابی، هشداردهی و گزارش دهی بر روی داده های در حال انتقال بر روی شبکه را به صورت لحظه ای به شما میدهد. همچنین نسبت به مقیاس بسیار انعطاف پذیر است. میتوان از Splunk به منظور حل مسائل جزئی استفاده کرد و یا آن را تبدیل به راه حل اصلی تحلیل یک سازمان وسیع کرد.

نرم افزار اسپلانک جهت پردازش و مدیریت دیتا از اجزای مختلفی، بمنظور راه اندازی و مدیریت بیش از یک نود اسپلانک و جهت قابلیت های High Availability وLoad Balancing، تشکیل شده که به دو دسته زیر تقسیم میشوند:

• Processing Components
• Management Components

اجزای پردازش دیتا (Processing Components)

به طور کلی پردازش اطلاعات در اسپلانک به این صورت است که ابتدا Universal Forwarder لاگ های سیستم را به سمت Heavy Forwarder ارسال کرده و پس از انجام بخشی از پردازش جهت Indexing نهایی لاگ ها به Indexer   ارسال میشوند. سپس فرایند جستجو از طریق ارسالSearch Head Indexer  به سمت Indexer Component صورت میگیرد و پس از دریافت پاسخ نتایج جستجو ارائه میشوند. در ادامه به بررسی دقیق هر کدام از این اجزا میپردازیم.

• Indexer: در معماری اسپلانک Indexer  اصلی ترین جزء این نرم افزارمیباشد و لاگ ها در نهایت به این قسمت ارسال شده و میتوان Indexing  بر روی اطلاعات انجام داد و فرایند سرچ بین داده های عظیم را تسهیل بخشید. جستجو، طبقه بندی و تحلیل داده های ورودی از کاربرد های اصلی این بخش است.
• Search Head: این بخش با ارسال Search Query به سمت Indexer ها و دریافت پاسخ، نتایج جستجو را ارائه میدهد.
• Forwarder: این جزء داده ها را از منابع مختلف مانند  سیستم عامل ویندوز، لینوکس، روتر، فایروال و غیره جمع آوری کرده و به منظور طبقه بندی و تحلیل بهIndexer  ارسال میکند.Forwarder به دو صورت زیر قابل راه اندازی میباشد:
• Universal Forwarder: وقتی داده ای که میخواهیم جمع آوری کنیم، مستقیما بر روی سرویس دهنده ای که Splunk روی آن نصب شده است قرار نداشته باشد، Universal Forwarder میتواند بر روی سرویس دهنده نصب شود و داده را به سمت نرم افزار Splunk Enterprise هدایت میکنند. هنگامی که نیاز به دریافت لاگ از هاست های لینوکس و ویندوز میباشد این Component را بر روی سرور نصب میکنیم تا لاگ های این سیستم ها را به سمت Indexer Component ارسال کند.
• Heavy Forwarder: این بخش یک نمونه کامل از Enterprise Splunk است که میتواند علاوه بر فوروارد کردن، داده ها را طبقه بندی و تحلیل کرده، و یا حتی آنها را تغییر دهد و عموماً در نقش Forwarder سطح متوسط، جمع آوری کننده داده، و گاهی فیلتر کننده داده عمل میکند. مدیران میتوانند ابتدا لاگ ها را به سمت Heavy Forwarder ارسال کرده تا بخشی از پردازش ها در این بخش انجام شود تا سبب کاهش بار پردازشی Indexer Component گردد.

داشبوردهای مدیریتی اسپلانک (Management Components)

در Indexer که جزء اصلی اسپلانک میباشد، میتوان جهت مدیریت اجزای های دیگر از این جزء که از قسمت های زیر تشکیل شده، استفاده کرد:

License Master:

این قسمت که جهت مدیریت لایسنس سایر اجزا استفاده میشود به عنوان Master شناخته شده و قابلیت بررسی وضعیت و فعال سازی لایسنس برای سایر اجزا که License Slave نامیده میشوند، را مهیا میکند.

Deployment Server:

 این قسمت قابلیت مدیریت یکپارچه تمام  اجزا را فراهم میاورد و و از طریق این کنسول میتوان سایر Forwarder ها را به راحتی مدیریت کرد.

Indexer Cluster Master Node:

این بخش جهت راه اندازی سرور های Indexer استفاده شده و قابلیت های Load Balancing و High Availability را بین سرور ها مدیریت میکند.

Search Head Cluster Deployer:

در واقع همان واسط کاربر گرافیکی نرم افزار است که ما با استفاده از آن جستجو، تحلیل، و گزارش میکنیم.در صورت راه اندازی چند Search Head این جزء قادر به اعمال تنظیمات و برقراری Load Balancing و HA بینSearch Head ها میباشد.

Monitor Console:

این Component قادر به مانیتورینگ دقیق Component های دیگر با استفاده از داشبرد های مختلف جهت بررسی لاگ ها،آلارم ها ، گزارشات ، وضعیت منابع مورد استفاده و پردازش های هر Component میباشد.

فرآیند تحلیل دیتا در اسپلانک

این بخش مسیری است که مشخص میکند دیتای خام ابتدا از چه مسیری باید عبور کند و با چه فرایند هایی پردازش شوند. این مسیر شامل بخش های زیر میشود:

Input (Data Input):

این بخش که اولین مرحله Data Pipeline میباشد دیتای خام را از تجهیزات شبکه مانند فایروال، روتر و غیره گرفته و جمع آوری میکند. در این مرحله با تقسیم و دسته بندی پکت ها و اضافه کردن لیست Metadata که شامل اطلاعات زیر میباشد، پکت ها را متمایز میکند:

• قسمت Host: در این قسمت اطلاعات IP و Host Name دستگاه فرستنده مشخص میشود.
• قسمت Source:  بیانگر این است که دیتا از چه پروتکلی دریافت شده است. برای مثال از لاگ های دریافت شده از طریق پروتکل Syslog یا IIS در این قسمت مشخص میشوند.
• قسمت Source Type: بیانگر نوع دستگاه فرستنده لاگ میباشد.

Parsing (Event Parsing):

در مرجله بعد، که جزو پردازش های Indexing میباشد، تقسیم و دسته بندی بر اساس یکسری مشخصه هایی همچون زمان و نوع داده ها انجام میگردد. این مرحله بر روی Indexer Component یا Heavy Forwarder انجام میشود.

Indexing (Writing to Disk):

این مرحله که اصلی ترین بخش پردازش های Indexing میباشد داده ها را به صورت ایندکس شده و فشرده بر روی دیسک ذخیره میکند. این مرحله تنها به وسیله Indexer Component قابل انجام است.

Searching:

تمامی فعالیت های مرتبط با جستجو در این بخش انجام میشود و Search Head Indexer با ارسال کوئری به سمت Indexer و دریافت پاسخ، نتایج جستجو را ارائه میدهد.

معماری های طراحی اسپلانک

میتوان نرم افزار اسپلانک را با توجه به نوع طراحی و حجم دیتا، وسعت شبکه و جهت راه اندازی قابلیت های High Availability و Load Balancing، با معماری های زیر راه اندازی کرد:

Departmental Deployment:

این طراحی تنها یک سرور اسپلانک داریم که شامل قابلیت های Indexing و Search Management را خواهد داشت.

Small Enterprise:

 در این نوع طراحی و پیاده‌سازی، یک نود به صورت اختصاصی به Search Head اختصاص داده می‌شود و دو الی سه نود برای Indexer در نظر گرفته می‌شود.

Medium Enterprise:

 در این نوع طراحی و پیاده‌سازی، از Search Head Cluster با وسعت کوچک و چندین Indexer استفاده می‌شود.

Large Enterprise:

 در این نوع طراحی و پیاده سازی از Search Head Cluster با وسعت بزرگ و از گروه بزرگی از Indexer ها استفاده می‌شود.

دیتابیس اسپلانک

در اسپلانک لاگ ها پس از ایندکس شدن به صورت یک Bucket بر روی دیسک در فولدر دیتابیس اسپلانک ذخیره میشوند. این  Bucketها شامل فایل های TSIDX و Rawdata میباشند.

Raw Data:

Raw Data دیتا Event های خامی میباشد که در مرحله Input به دست آمده و به صورت فشرده ذخیره شده است. این فایل ها شامل اطلاعات sources, sourcetypes, hosts میباشد.

Index File یا TSIDX File:

این فایل شامل خلاصه ای از فایل های Raw Data به صورت فهرست بندی شده میباشد که اسپلانک از این فایل ها جهت جستجوی سریع استفاده میکند.

لایسنس های اسپلانک

در صورت خرید لایسنس، دیگر محدودیتی برای تعداد کاربران، جستجو ها، هشدار ها، گزارش ها، داشبورد ها و اشکال زدایی های خودکار نخواهید داشت.  هزینه ی لایسنس  بستگی به میزان داده هایی دارد که شما روزانه ایندکسینگ میکنید. به عبارت دیگر، مقدار داده های ثبتی که برای Splunk فرستاده میشود رابطه ی مستقیمی با هزینه ی لایسنس شما دارد.

لایسنس رایگان اسپلانک (Splunk Free License)

 این لایسنس به صورت رایگان در اختیار کاربران قرار می‌گیرد. لایسنس رایگان اسپلانک تا سقف 500MB در روز به کاربران، Indexing رایگان با دسترسی محدود به ویژگی‌های اسپلانک را می‌دهد.

لایسنس استاندارد (Standard Splunk Enterprise license)

 این لایسنس با توجه به روز های استفاده، پردازش های ایندکسینگ و فضای مورد نیاز تهیه میشود.

لایسنس Dev/Test اسپلانک (Splunk Dev/Test licenses)

 این لایسنس به مدت 6ماه اعتبار دارد و تا سقف 10Gb در روز به کاربران، Indexing رایگان با دسترسی کامل به تمامی ویژگی‌های اسپلانک را می‌دهد.

لایسنس Forwarder اسپلانک (Splunk Forwarder License)

 این لایسنس رایگان، مخصوص Heavy Forwarder Component بوده و داری مدت زمان نامحدود است. از این لایسنس نمی‌توان برای Indexing (ذخیره اطلاعات بر روی دیسک) استفاده کرد.

اشتراک لایسنس های حجمی توسط Master License

در اسپلانک این امکان وجود دارد که یک نود به عنوان Master License تعریف شود و لایسنس حجمی را برای بقیه نود ها مدیریت کند. در این سناریو میتوان یک لایسنس حجمی خریداری کرد و در سرور Master License لایسنس حجمی را بین چند نود تقسیم کرد.برای مدیریت حجم بین نود ها میتوان Pool تعریف کرد و در هر Pool محدودیت حجمی برای هر نود قرار داد.