Braineering постао једини VMware партнер са Management Automation компетенцијом!

После дуже паузе, стиже кратак блог пост. Braineering IT Solutions је постао једини VMware партнер у Србији који је успео да добије Management Automation компетенцију. Аутоматизација клауд ресурса преко мулти-вендор хибридних инфраструктура постаје потреба компанија које желе да задрже компететивну предност притом садржавајући ефикасност и одрживост пословања. VMware vRealize Automation скуп решења претвара ову потребу у реалност.

Идемо даље!

Braineering погледи: Инфраструктурни Cloud

Infrastructural Cloud

Један кратак осврт на тренутно стање инфраструктурног Cloud тренда из призме прошлогодишњег Braineering искуства које смо стекли кроз динамичне пројекте изведене на захтевним тржиштима источних привреда, а тако и из посета иностраних конференција и информација које смо чули из уста људи који управљају тржишним трендовима. Овај осврт посматраћемо из две перспективе. Прва перспектива би била однос могућности домаћих Cloud провајдера у односу на велике системе попут VMware vCloud AIR-а. Предности великих система у односу на домаће могли би се сублимирати у неколико тачака:

  1. Функционална предност – динамичан систем развоја Cloud технологија захтева честа прилагођавања инфраструктура у погледу хардвера, нових функционалности и помоћних алата (попут аутоматизације процеса). Домаћи провајдери не могу пратити овај темпо и налазе се технолошки далеко иза могућности великих система. Ово је последица одсуства систематског приступа на глобалним тржиштима домаћих Cloud провајдера. Сваки корисник који изабере домаћег провајдера ризикује да функције које се код великих система појављују готово истовремено са појавом технолошког решења на тржишту, са својим изабраним Cloud партнером не дочека никада.
  2. Економски приступ – транспарентност великих система у ценама и тачна предикција оперативних трошкова на вишегодишњем нивоу не постоји у ад хок ценовницима домаћих провајдера, где се цене дефинишу по разним нетранспарентним параметрима и критеријумима.
  3. Типизација услуга – глобални системи нуде тачно дефинисане приступе инфраструктурама у зависности од случаја које корисници захтевају. Тако постоје услуге по захтеву (on-demand), приватни облак (virtual private cloud), Опоравак од отказа, Бекап у облаку и сл. Иако се слични називи могу пронаћи и код домаћих провајдера, де факто реч је о идентичним услугама.

Оно што би се могло истаћи као предност домаћих система је:

  1. Локалитет податка – ово се највише тиче домаћих корисника који захтевају да подаци буду присутни у држави где је и предузеће. Коришћење глобалних провајдера захтева „прелаз“ податка преко границе земље, јер су најближи Cloud центри великих провајдера у ЕУ. Ово најчешће није проблем у корпорацијама из других држава.

Друга перспектива је питање о типу податка који може да буде у Cloud систему тј. питање слободе корисника у односу на провајдера. Ово питање је опште за све типове Cloud провајдера и можемо га назвати проблемом:

  1. Покретности податка (Data movement) – налазимо се у времену драматичног пораста количине података. Свака везаност корисника за једног провајдера представља изузетну грешку и није допустива. Раст брзине протока кроз глобалну мрежу није пропорцијалан расту количине података и овај проблем ће бити све доминантнији у годинама које долазе. Миграција велике количине података од једног Cloud провајдера у други или назад у приватни систем представља огромну препреку, те се на тај начин стварају Cloud силоси. Овај проблем нас враћа у деведесете године када смо имали сличне тешкоће у нашим приватним системима са миграцијом података између физичких кутија.

Као закључак ове друге перспективе можемо рећи да је хибридни приступ Cloud системима данас доминантан тренд, где би се „масивни“ системи држали on-premise, док би агилни, а уједно и комплексни системи били део Cloud решења (нрп. Системи вишефакторне аутентификације).

Из свега наведеног Braineering IT Solutions предлаже коришћење VMware vCloud AIR-а као Cloud решења које даје одговор на сва тренутна питања. Такође се истичемо као једини домаћи VMware партнер са Hybrid Cloud и Automation компетенцијом које заједно чине целину хибридног приступа Cloud решењу: видети овде.

Системи за централно архивирање података – архитектура система

У овом посту пишемо на следеће теме архивског система, а то су висока доступност система, бекап и тиринг архива као и о општој архитектура система. Битна својство архивског система који је неопходно адресирати и имплементирати у процесу реализације јесте систем високе доступности. Генерално узев, имамо два приступа које је могуће остварити у процесу имплементације архивског система и то су:

  1. Висока доступност која се ослања на архитектуру система за виртуализацију представља основну форму високе доступности система за архивирање и ослања се на VMWare платформу која ће се користити за имплементацију. Функционалност која нам је на располагању је HA / High Availability која систем чини отпорним на хардверске отказе и гарантује доступност од 99.9%.
  2. Друга опција је имплементација Veritas Server Cluster система који проширује основне функционалности отпорности на отказе и нуди виши ниво контроле система. Неке од функционалних побољшања су:
    1. Апликативни кластерски систем за Enterprise Vault и MS SQL базе омогућава бољу интеграцију са компонентама система и већи степен отпорности на отказе употребом бољих алгоритама детекције проблема на апликацији.
    2. Интеграција са VMWare инфраструктуром омогућава употребу свих напредних функционалности VMWare система на нодовима кластера – HA, DRS, vMotion за разлику од Microsoft Cluster система (vSphere 5.5). Постоји и тесна интеграција са VMWare Client системом и контроле свих кластерских активности и статуса из познате конзоле.
    3. Могућност планираних активности на ОС серверских машина – редовна примена patch процедура и реконфигурација без гашења система као целине је могућа уколико се имплементира ово решење

Бекап архивираних података представља један од кључних елемената архитектуре система ове намене. Неопходно је разумети да систем архивирања података не представља систем који замењује бекап података и као такав и он мора бити део постојећих бекап процедура. Другим речима, систем бекапа намењен је опоравку података у случају непредвиђених околности, док архива података представља механизам за флексибилно проналажење информација у предузећу. Најбоља опција бекап система која се препоручује је Veritas NetBackup систем који поседује максималну доступну апликативну подршку за бекап Enterprise Vault архивског система. Следе захтеви који систем бекапа мора задовољити у погледу бекап процедура у односу на систем архивирања:

  1. Бекап системских партиција и подешавања инфраструктурних сервера који ће бити део будуће Enterprise Vault системске архитектуре – како је систем NetBackup окружења изграђен у флексибилној multi-site топологији, са високом подршком за бекап виртуалног окружења, систем омогућава бекап системских партиција и конфигурација свих виртуалних машина које ће бити изграђене у архитектури система архиве.
  2. Бекап метаподатака Enterprise Vault окружења – систем архивирања поседује многе конфигурационе параметре који се складиште у SQL базама података, а које укључују сва подешавања система, полиса, директоријума, сајтова, индекса, партиција и др. Ове информације су кључне за функционисање система и њиховим губитком сви архивирани подаци и функција система били би угрожени. Зато је неопходно изградити флексибилне процедуре бекапа и рестора ових конфигурација применом SQL GRT, Accelerator и VMWare Single Pass бекап функционалности присутних у NetBackup окружењу.
  3. Бекап архивских партиција и индекса архива представља централни део бекап процедура. У партицијама и индексима налазе се сви подаци архивирани из апликативних система и бекап ових елемената система има кључни значај за функцију целокупног окружења. Треба напоменути да бекап процедуре имају и непосредан значај за ток процедура архивирања, јер се објекти који се архивирају не бришу из примарних апликација пре првог успешног бекапа архиве. NetBackup поседује посебне полисе намењене баш овим апликативним елементима које омогућују извршавање бекап процедура у сарадњи са Enterprise Vault апликацијом и конзистентно понашање апликације приликом рестор-а података. Тренутно не постоји подршка за грануларни опоравак елемената Enterprisa Vault архива попут мејлова, датотека и сл.

NetBackup има и додатну функционалност која се односи на tiering архивираних података која омогућава миграцију архива са секундарних медија за архивирање на терцијарне медије (попут трака или tier-2 диск система нижих категорија) чиме се одлаже брисање архива. Овај део архивског простора постаје пасиван и доступан је корисницима после restore процедура који Enterprise Vault систем захтева од NetBackup окружења. Имплементација ових процедура има смисла у каснијем животном циклусу архивираних података или код мање значајних PST датотека. Подаци у овом делу архивског система не подлежу свакодневним операцијама бекапа, статични су те не подлежу променама и тако не оптерећују дневно функционисање система у целини.

На следећем приказу представљен је логички приказ компоненти као и архитектура система за архивирање и њихова интеграција у целини:

Овим постом завршавамо тему Централног архивирања података предузећа. За сва додатна питања која се тичу система опоравка од катастрофа архивског система, система архиве Journalig-a електронске поште, SLA категоризације података, самог дизајна система који је прилагођен вашим апликацијама и потребама као и осталим детаљима која нису наведена у овим блог циклусу, можете нас контактирати директно те ћемо радо одговорити на све ваше захтеве. Braineering захваљује свима који су нас пратили у овој серији постова.

VMware NSX vs. Cisco ACI

Дефинитивно врућа тема!

Виртуелизација значи одвајање инфраструктурних сервиса од хардвера. У мрежном свету постоји више форми виртуелизације, па су и VLAN-ови једна од форми мрежне виртуелизације, где се, поврх постојеће физичке LAN мреже, имплементирају логичке LAN мреже којe нису везанe само за један switch. Да би се у потпуности реализовала идеја о агилном Data centar-у, VLAN-ови дефинитивно нису били довољни као форма мрежне виртуелизације. Пре свега, због ограниченe скалабилности, друго због потребе да се виртуелизују и други мрежни сервиси, а треће због немогућности централизованог управљања свим мрежним сервисима почевши од L2 packet forwarding-а. Основни мрежни сервис – прослеђивање пакета је врло једноставан и састоји се у томе да се долазни пакет, на основу forwarding табеле, са долазног порта проследи на одлазни порт. Ова функција се смешта на мрежном хардверу у посебне чипове тзв. АSIC-е како би се добило на перформансама. Прорачунавање forwarding табела се изводи на x86 CPU-овима, па можемо рећи да мрежни хардвер има главу и тело, односно говорећи језиком струке, control plane и data plane. Управо је одвајање control plane-а од хардвера концепт мрежне виртуелизације  који се налази у основи идеје о Software-defined Networking-у (SDN-у) где хардвер остаје само брза и пропусна магистрала, која на основу forwarding табеле прослеђује пакете, а прорачунавање forwarding табела је централизовано. Шта тиме добијамо? Са једне стране перформантан и јефтин мрежни хардвер, а са друге стране софтверску флексибилност, одакле проистиче преко потребна аутоматизација. Идеју о Software-defined Data Center-у нису сви прихватили са истим одушевљењем, па су се управо у вези са тим изродила два правца која су се међусобно конфротирала: VMware NSX и Cisco ACI.

Cisco, најомиљенији вендор мрежног хардвера, као озбиљног конкурента у свом core business-у добио је компанију која се искључиво бави софтвером, а то је VМware. VМwarе је дефинитивно познат као лидер на пољу серверске виртуелизације, а серверском виртуелизацијом  је омогућено пре свега ефикасније искоришћење, а затим и могућност аутоматског додељивања  и управљања серверским хардвером. Тренд контроле расположивих ресурса се није зауставио са серверском виртуелизацијом. Напротив, он се наставио, па и убрзао јер је коначна идеја да апликација не добија само процесорско време, меморију и дисковни простор на захтев, већ да буде мобилна што значи да са њом морају једноставно, односно аутоматски мигрирати њено мрежно и безбедносно окружење. Да би мрежно и безбедносно окружење лако пратило своју апликацију, дошло се до захтева за централизованим управљањем и аутоматизацијом у пољу мрежних и сигурносних  решења.

Основна разлика у VMware-овој и Cisco-овој интерпретацији Software-defined Networking-а је у томе што Cisco задржава традиционалан модел који дистрибуира контролу мрежног саобраћаја, а додаје аутоматизацију кроз централизовање управљања полисом, а VMware централизује и управљање полисом и контролу мрежног саобрaћаја. Cisco не жели да напусти свој business model  и понуди перформантан и јефтин мрежни хардвер, већ инсистира на идеји о мрежним appliance-има што је нешто много више од једноставног софтвера на перформантном мрежном хардверу. Appliance је скуп функција тзв. feature-a на специјализованом мрежном хардверу што све повећава цену. Без дилеме, Cisco је велики играч који прво угради сопствене протоколе у своја решења, а потом и сам изгура њихову стандардизацију. Дакле, често су feature-и  Cisco proprietary чиме се постиже цена која не може да се упореди са другим произвођачима и чиме се корисник дугорочно везује за vendor-a (vendor lock-in).  Cisco је, након објаве VMware NSX-а, понудио своју верзију Software-defined Networking-а (SDN-а) која се назива Application Centric Infrastructure (ACI). Application Centric Infrastructure (ACI) је и даље везана за хардвер и то је тренутно више концепт који иницијално захтева значајна улагања будући да је за реализацију Cisco ACI Fabric-е потребно, између осталог, купити Cisco Nexus 9000 серије свичева.

Са друге стране, VMware NSX омогућава да се физичка мрежа третира као pool транспортног капацитета где су мрежни и сигурносни сервиси придружени виртуелним машинама на нивоу виртуелних мрежних адаптера. У језгру овог решења је NSX controller и он репрезентује control plane који је физички одвојен од мрежне платформе којом управља. NSX controller прихвата API request-е од northbound менаџмент платформи као што су на пример vCloud, OpenStack или менаџмент апликација које корисника сам развија. NSX controller, на основу конфигурације, прорачунава мрежну топологију и програмира виртуелне свичеве на нивоу хипервизора користећи, између осталог OpenFlow протокол. vSwitch je виртуелни свич у ESXi кернелу и он представља data plane. И NSX controller и  vSwitch лако скалирају додавањем нових машина или нових хостова, респективно. Зато кажемо да су то scale-out решења јер се перфомансе повећавају додавањем нових, истих машина, а не повећањем капацитета једне машине.

Следећи блокови VMware NSX-а креирају окружење у ком је могуће изградити виртуелне Data center-е мрежне топологије по избору.

  • Скуп API интерфејса
  • NSX controller
  • in-ESXi-kernel vSwitch + add-on kernel modules for distributed routing, firewalling and VXLAN bridging
  • tunneling (STT, VXLAN)

VXLAN

Основни задатак приликом дизајна мреже је да она буде стабилна, скалабилна и перформантна. Стабилност и редудантност L2 сегмената мреже и даље се најчешће ослања на Spanning Tree протокол и његове деривате, али због превеликог времена конвергенције током ког мрежно окружење није стабилно, тражила су се друга решења. Прва решења су се односила на препоруке о смањивању L2 сегмената мреже и померању L3 границе ближе приступном слоју, као и на препоруке о стекованим свичевима у Core-у (Cisco 6500 VSS, Cisco Nexus 5000 vPC). Наредна решења су довела до TRILL протокола који обезбеђује редудантност L2 сегмената, а функционише по принципима протокола рутирања. У вези са TRILL протоколом су настала и proprietary решења за мрежни fabric, пре свега у Data center-у, која обезбеђују велике и стабилне L2 сегментe (Cisco Fabric Path, Brocade VCS, Juniper QFabric). Ова решења су свакако неопходна за изградњу стабилне L2 fabric-е у Data center-у, али она не могу да обезбеде ширење L2 сегменатa ван границe примарног Data center-а до на пример секундарног Data center-а или провајдера Cloud-а. Потребна је била екстензија L2 сегмената без нарушавања стабилности преко L3 границе и тако смо дошли до IETF стандарда „Virtual eXtensible Local Area Network“ односно VXLAN-а. VXLAN је важан елемент VMware NSX решења.


У оквиру виртуелног Data center-а могуће је имплементирати не само VMware NSX дистрибуирани firewall, већ и third-party мрежна безбедносна решења на нивоу виртуелног мрежног адаптера или испред виртуелног Data center-а, а која скалирају заједно са виртуелним Data center-ом. То је као да смо „велике“ security appliance-е које данас стоје на ивици Data center-а разбили на коцкице и гурнули ближе самим машинама. Али тако разбијен сервис много боље скалира и лакше се одржава. Иницијална улагања не значе куповину appliance-а грубо димензионисаних за раст у наредне три године, већ безбедносни сервис расте заједно са сервисом или Data center-ом који штити. Решење иде и корак даље јер је идеја да безбедносно окружење прати своју апликацију чак и у ситуацији, ако она мигрира у Cloud. У неким од првих докумената које је Cisco написао на тему дизајна multitenant Cloud-а препоручена је форма виртуелизације којом се  Cisco ASA  дели на security context-е, а Cisco рутер на VRF-ове (Virtual Routing and Forwarding) како би се на нивоу физичких мрежних уређаја обезбедила потпуна изолација корисника Cloud-а. VMware са NSX-ом нуди боље решење где се Cisco ASA security context-и и VRF-ови имплементирају у приступном слоју на генеричком x86 хардверу. У вези са овим се увек поставља питање перформанси. Перформансе су дистрибуиране, а сигурносни сервис има перформансе баш по мери јер свака машина може да добије свој део сигурносног сервиса у мери којој захтева.

Braineering тим сматра да презентоване технологије не представљају само нову парадигму када су у питању мрежни и сигурносни сервиси већ и будућност ових сервиса. VMware NSX и екосистем решења око VMware NSX-а не тичу се само Cloud провајдера, већ сваког Data center-а. Пратите наш blog. Разрада следи!

Системи за централно архивирање података – захтеви система за складиштење податка

Настављамо причу о хардверском делу система за архивирање како би систем у целини добио одговарајућу архитектуру и уштеде. Пре архивирања сви подаци релевантних система похрањени су на диск простору продукционих сториџ системима   (NetApp, EMC, HP, IBM и др). Како je цена примарног сториџ система (tier 1) по гигабајту висока, податке којима се ретко или уопште не приступа треба преместити на уређаје посебно дизајниране за складиштење пасивних“ података и на тај начин ослободити велике количине простора за продукционе сервисе. Осим смањења цена по гигабајту складишног простора, ови специфични tier 2 диск системи имају и функционалне предности у односу на продукциона окружења. Треба поменути неколико ових функционалности као и захтев који овај уређај мора да испуни:

А. дедупликација : уређаји који су посебно дизајнирани за ове сврхе поседују функционалност inline дедупликације података на нивоу блока променљиве величине чиме се драстично редукује количина података које архиве заузимају, што заједно са софтверским технологијама присутним у апликацији за архивирање (SI –Single Instancing на фајл нивоу, компресија и др) омогућавају уштеде од приближно 90 процената. Све вишеструке копије података заузимају само онолико простора на уређајима колико заузима компресован и дедуплициран садржај једне копије.
Б. репликација : уређаји поседују уграђене функционалности за репликацију података на друге удаљене системе, чиме се добија могућност аутоматске дислокације архиве на другу локацију, могућност disaster recovery-ја система за архивирање. Захтева се да процес репликације ради на нивоу дедуплицираних блокова чиме се умногоме смањује неопходна мрежна пропусност неопходна за пренос података до удаљених система. Такође се захтева да блокови који буду преношени до удаљених локација буду енкриптовани ради заштите од неовлашћеног коришћења.
В. интерфејси : неопходно је да физички уређај има одговарајући интерфејс којим комуницира са системом за архивирање као и са системом за бекап архиве и којем презентује све своје функционалности. Из система архивирања и бекапа се тако управља целим процесом (life cycles) од креирања архива, репликације на удаљене локације, бекапа архиве до брисања архива из система. На овај начин се администрација концентрише само на конкретан систем (архивски и бекап систем, а избегава се свакодневна администрација уређаја) чиме се значајно олакшава администрација целог система.
Г. Гартнер лидер : захтева се да систем буде наведен као лидер у Гартнеровој анализи уређаја у овој категорији у претходној календарској години

Хардверски системи за складиштење архивираних података на примарној и секундарној локацији који одговарају горе наведеним захтевима су EMC DataDomain фамилија производа доступна у разним категоријама у зависности од комплексности система за архивирање и количине садржаја намењеног архивирању у предузећу. Ови уређаји омогућавају лаку конфигурацију и употребу система и за потребе проширења постојећих бекап система у предузећу и за саме процедуре бекапа архива јер поседују неисцрпне функционалности прилагођене овим наменама.

Предложено решење представља платформу са највећим маркет уделом у свету. Своју популарност постигло је широком функционалном подршком, као и великом базом корисника.  Подршка за уређај присутна је у свим водећим бекап и архивским системима, што га чини идеалном опцијом за свако предузеће. Подршка на нашем тржишту и брза доступност резервних делова, за разлику од уређаја ван лидерског квадранта, чине предузећа који се определе за ову опцију потпуно сигурним у високу доступност и функционални континуитет система. За кориснике са имплементираним NetBackup опцијом, уређај пружа највећу могућу подршку за овај бекап софтвер, омогућава да и бекап систем буде проширен на ове уређаје и искоришћен као додатни простор за бекап процедуре. Подршка за OST протокол омогућава екстерну контролу напредних функционалности из постојећег NetBackup система, креирање Automatic Image Replication (AIR) мултидоменског окружења, VMWare и native accelerator опције, Granular Recovery (GRT) подршку и др. Детаљнија обрада бекапа самог Enterprise Vault архивског система биће доступна корисницима по захтеву. На следећој слици налази се Гартнеров магични квадрат за овај тип уређаја из 2014 године, где је и означена његова припадност лидер квадранту:

Гартнеров магични квадрат за Tier-2 диск системе за 2014. годину

У следећем посту бавићемо се целокупном архитектуром система за централно архивирање.

Системи за централно архивирање података – захтеви софтвера за архивирање

Одговарајући софтвер за архивирање мора бити способан да детектује апликативне информације којима се ређе приступа и да их аутоматски премести са примарног сториџ система на јефтиније tier 2 и tier 3 системе. Како се њима приступа ређе, то је могуће на њима применити различите механизме уштеде простора, попут дедупликације и компресије као и single instancing механизама. Ово је могуће применити на два нивоа, како софтверски кроз апликацију за архивирање, тако и на физичким уређајима за складиштење података. За прихватљиво решење може бити изабрана како једна тако и друга могућност као и њихова комбинација, тј. истовремена примена, када се добијају и најбољи резултати уштеде. Следећи принципи софтвера за архивирање морају бити део свеобухватног решења за архивирање:

  • Комплетна апликативна подршка – софтвер за архивирање мора омогућити архивирање свих неструктурираних апликативних садржаја у власништву предузећа који укључују Microsoft Exchange систем, File сервисе и SharePoint систем. Пожељно је да систем има подршку и за друге опције попут Office365, Domino систем као и могућност архивирања комуникација преко социјалних мрежа, уколико предузеће има у виду ову врсту пословања.
  • Предложено решење мора да буде лидер у Gartner-овој анализи – софтверско  решење за архивирања мора бити присутно и рангирано као лидер у Гартнеровој анализи решења за Enterprise Information Archiving платформу у претходној години.
  • Доступност архивираних податаказахтева се да сви архивирани садржаји буду активни (nearline) и доступни клијентима у сваком тренутку по захтеву. Другим речима, архивирани подаци не смеју пролазити кроз комплексне техничке или пословне процедуре које захтевају активности инжењера система да би се омогућила њихова доступност. Сви ови подаци морају бити доступни кроз познате корисничке алате, без посебне обуке намењене корисницима овог система. Овде се мисли на актуелни MS Outlook клијент електронске поште, затим Windows Explorer приступ фајловима на File серверима као и подржане browser апликације за приступ MS SharePoint сајтовима.
  • Offline приступ архиви – како је део података из система који су потребни корисницима премештен са примарних апликативних система, софтвер за архивирање мора омогућити кеширање архивског садржаја на локалне дискове мобилних рачунара како би били доступни и током рада ван предузећа.
  • Миграција локалних мејл архива у централизовани систем – део система одговоран за архивирање Exchange система мора бити способан за детекцију локалних PST датотека и њихову аутоматску или мануелну централизацију у систем за архивирање. На овај начин се додатно осигурава електронска пошта битна за пословање и смањује штета од отказа појединих корисничких система. Такође се на овај начин уводи и нови систем претраге и омогућава глобално управљање садржајем свих и-мејл порука (присутних на серверу и на клијентима).
  • Приступ архиви са мобилних уређаја – систем мора да омогући приступ архиви и претрази архива са мобилних уређаја како би предузеће било у могућности да испоштује евентуалне трендове попут Business mobility и BYOD.
  • Интеграција са e-discovery системом – софтвер за архивирање осим основне претраге која мора бити део система, треба да омогући и интеграцију са напредним системом за анализу архивираног садржаја.

Софтверско решење које задовољава горе наведене захтеве и које се предлаже нашим корисницима и менаџменту ИТ сектора као најбоља опција је Veritas Enterprise Vault. Предложено решење налази се као лидери у Гартнеровој анализи за 2014. годину. Veritas Enterprise Vault тренутно представља лидера у share market проценту у категорији Enterprise Information Archiving решења са преко 31.000 корисника овог софтвера у свету. Највећи корисник има имплементирано решење које архивира 350.000 поштанских сандучића (mailbox-ова), док највећи корисник са journal-only архивом има преко милион сандучића. Veritas је такође усмерен и на cloud архивирање што омогућава промену стратегије корисника у будућности и његову оријентацију ка cloud архивирању. Највећи cloud корисник тренутно архивира преко 130.000 поштанских сандучића. Enterprise Vault свој битан квалитет има и у чињеници да представља најскалабилнији систем у својој категорији, са највећим изграђеним партнерским – Symantec Technology Enabled Partners (STEP) – екосистемом у свету. Сви ови партнери развијају решења за специјализоване софтверске платформе што чине изабрани софтвер прилагодљивим у свим будућим захтевима предузећа.  Узимајући у обзир и остале квалитете које Veritas одвајају од конкуренције попут подршке, иновирања у технологијама и функционалностима, доступност техничке документације преко специјализованих сајтова за размену информација (SORT), чине ово решење идеалним за потребе свих модерних предузећа. На следећој слици налази се актуелни Гартнеров магични квадрат из 2014. године:

Гартнеров магични квадрат за Enterprise Information Archiving за 2014. годину

Системи архивирања свој пуни смисао добијају тек уз интеграцију са системима за напредну претрагу. Напредни систем претраге – е-discovery систем је систем претраге и аналитике вишег нивоа који омогућава предузећу, као правном лицу, увид у садржај који су генерисали сви запослени у свим пословним процесима. Овакав систем аналитике није увек у директној вези са системом архивирања, али сам систем архивирања олакшава имплементацију овог система из разлога већ поменуте униформности записа и лоцирања података у јединствени систем. Другим речима систем архивирања унапред прикупља садржаје за алгоритме система е-discovery процедура и представља први корак у e-discovery процесу (data collection process). Осим основне информативне доступности, ови системи имају битну правну веродостојност генерисаних извештаја која је и једна од основних функционалних елемената ових система и прихватљива је у правним процесима. Следи списак основних функционалности и захтева који предложен систем мора да задовољи:

А. Тражи се тесна интеграција са изабраним Enterprise Vault системом архивирања података.
Б.  Једноставан кориснички портал и интуитиван начин коришћења система.
В. Неки од функционалних захтева које систем мора да задовољи су: правне регулативе у извештајима, комплексне предефинисане полисе претраге са могућношћу њихове промене и снимања за будуће упите, статистика над архивираним подацима по разним параметрима (корисник, тип података, садржаји и др.), централизовани упитници за кориснике, акцелерација претраге над подацима у односу на основни систем претраге, систем оптичког препознавања података у сликама (OCR), подршка за вишејезичност, филтери, предикција и рано откривање правних прекршаја, класификација података и сл.
Г. Систем мора бити лидер у Гартнеровом магичном квадрату за системе електронске претраге.

Софтверско решење које задовољава горе наведене захтеве и које се предлаже нашим корисницима и менаџменту ИТ сектора као најбоља опција је Symantec eDiscovery. Предложена комбинација Enterprise Vault система за архивирање и система електронске претраге Symantec eDiscovery развијеног од стране Clearwell тима, представља једино интегрално решење овог типа развијено у свету до данас. Преко 16.000 компанија има имплементиран овако дизајниран систем, међу којима се налази и више од половине компанија из познате Fortune 100 групе. Годинама предложени систем електронске претраге налази своје место у лидерском квадранту Гартнерове анализе за овај тип софтвера. На следећој слици налази се Гартнеров магични квадрат за e-discovery софтверску категорију за 2014. годину:

Гартнеров магични квадрат за е-discovery софтвер за 2014. годину.

У следећем посту бавићемо се tier-2 сториџ системима за складиштење архивских података, у комбинацији са којима систем архивирања добија свој потпуни смисао, чиме се и заокружује тема о централном архивирању података предузећа.

Системи за централно архивирање података – општи захтеви

Када говоримо о архивирању података предузећа, имамо пре свега на уму податке који су део система чији је садржај неструктурираног типа. У ову категорију спадају системи који чине велики део података у предузећу и чија су контрола и животни циклуси првенствено остављени власницима самих података тј. корисницима. Свако предузеће располаже управо оваквим решењима који заузимају велики удео простора на примарном (tier-1) систему за складиштење података, а присутни су углавном у облику електронске поште у  Microsoft Exchange или Lotus Domino системима, затим у облику фајлова и докумената у Share Point и File Server инфраструктурама и то обично на неколико физичких локација које су интегрални део предузећа. Како се већини ових информација приступа веома ретко, пожељно је имати механизам који препознаје овај садржај и интелигентно га премешта у систем који је способан да га анализира, претражује и складишти на одговарајућим уређајима који су прилагођени овом садржају.

Други део садржаја, који такође чини значајан удео у заузећу простора, представљају подаци који имају структуру и део су система продукционих, развојних и тест окружења база података. Највећи део ових структурираних информација део су Microsoft SQL или Oracle система. Како је садржај самих база високо зависан од логике апликација које те податке генеришу и мењају, то не постоји аутоматски систем ван логике апликације који је способан да самостално контролише базе у целини или у њиховом делу без апликативне подршке. Зато се архивирање овог дела података реализује уз помоћ самог апликативног решења или апликативног тима, а процес не поседује априори аутоматизам присутан у подацима неструктурираног типа.

Трећи део садржаја налази се на корисничким системима и уређајима и такође су део неструктурираних података система електронске поште. Ови подаци представљају корисничке архиве чуване ван система за централно складиштење и веома су подложне губитку у случају квара корисничких машина. Целовит систем за архивирање укључује и процес дислокације ових корисничких мејл архива на централизовани систем и њихово укључивање у претрагу и анализу. Овај део архивирања не мора да укључује све кориснике, већ део корисника чије су локалне архиве по садржају значајне за пословање предузећа и чији би губитак имао негативне последице по исто.

Систем за целовито архивирање података предузећа на основу горе наведених општих принципа треба да укључује следећа начела архитектуре који морају бити испуњени. Овде наводимо само део листе начела, а целовити садржај доступан Вам је по захтеву:

  • Централизација система за архивирање – софтвер за архивирање мора омогућити архивирање свих неструктурираних апликативних садржаја у власништву предузећа у јединственој и централизованој конзоли, без коришћења вишеструких апликативних решења, вишеструког начина лиценцирања нити обуке запослених инжењера за различите платформе. На овај начин се постиже једноставно коришћење система, лакша имплементација и централизована подршка произвођача софтвера као и партнера у току животног циклуса система.
  • Коришћење одговарајућих уређаја за складиштење архивираних података – дестинација архивираног садржаја са tier 1 система за складиштење података мора бити премештена на специјализоване tier 2 диск системе чије су капиталне и операционе инвестиције значајно ниже, а са друге стране имају функције прилагођене овим наменама.
  • Подршка за multi-site топологијуСистем мора подржавати архивирање удаљених локација предузећа и ресурса који су тамо имплементирани. Овај захтев може бити остварен коришћењем централизоване имплементације, имплементацијом посебног проширења на удаљеним локацијама или њиховом комбинацијом. Такође пожељна је могућност да систем може архивирати садржаје различитих AD домена, уколико предузеће поседује комплексну организациону структуру.
  • Висока доступност система – како ће будући систем за архивирање садржати велики део пословно критичних информација захтева се његова висока доступност за кориснике. Такође се захтева могућност update-a компоненти и оперативних система компоненти током радног времена. Систем мора садржати редундантност по свим компонентама архитектуре (виртуалне машине, сервери, мреже, сториџ итд.)

Горе наведена начела и принципи представљају смернице за израду комплетног решења за архивирање. У наредним постовима укључићемо се у причу о конкретним производима који задовољавају горе изнете захтеве, те ћемо се детаљније укључити у анализу карактеристика предложених производа и услова који они морају додатно да испуне.

Системи за централно архивирање података – увод

Овај пост представља уводни текст који има за циљ да отвори тему којом ћемо се детаљније бавити у наредним постовима у погледу функционалности, карактеристика и архитектуре система за архивирање садржаја пословно критичних података предузећа са пословног и техничког погледа, а намењен је како људима који доносе стратешке одлуке и правце развоја информационих система предузећа тако и инжењерима и архитектама истог, а у смислу правилног и целовитог сагледавања предности постојања једног оваквог система са аспекта пословања, сигурности и доступности информација у власништву предузећа.
Системи за целовито архивирање података предузећа (Enterprise Information Archiving) омогућују ИТ управницима и корисницима информационих система предузећа чување и претрагу генерисаних садржаја у току животног циклуса посматраних апликација (е-пошта, фајлови, разговори, Share Point садржај и др.) као и њихову правилну локацију на одговарајуће системе за складиштење података или прилагођене cloud системе, чиме се остварују додатне уштеде у будућим инвестицијама и оперативним трошковима. Анализе показују да се око 90% података генерисаних у предузећу не искористи у првих 6 месеци од њиховог креирања. Такође великом уделу ових података корисници никада не приступе и при том руководство нема никакав увид у садржај и битност ових информација. Ово је последица одсуства система за централно претраживање генерисаних садржаја, јер се они налазе у хетерогеним апликативним системима који користе различите формате и форме похрањивања података и алгоритме претраге. Даље, сви ови подаци налазе се на примарним апликативним системима оптерећујући њихово функционисање, свакодневни одзив и непотребно заузимајући скуп примарни (tier-1) диск простор, чиме чине ове системе неоправдано скупим за имплементацију и одржавање. Све горе наведено представља класичан проблем мета знања (знања о знању) присутан у свим хетерогеним инфраструктурама и решењима које срећемо у данашњим ИТ технологијама.
Решавање овог проблема у последњим годинама поприма све већи значај, у средњим и великим пословним окружењима, како количина информација и њихов прираст постаје све већи, а њихова контрола и анализа све мање могућа. Такође постојање једног оваквог система и његова примена постаје све чешћи захтев ревизија ИТ инфраструктура и обавезан део постојећег електронског екосистема. Такође је битно да овакав систем буде дизајниран и имплементиран у оној форми која задовољава модерне техничке захтеве, једноставност коришћења, и не најмање битно, брзину доступности архивираног садржаја. По Гартнеровој анализи, до 2019. године 75% предузећа имаће имплементиран овакав систем у форми која је управо наведена, за разлику од тренутне вредности која чини једва 10% предузећа. Дакле налазимо се у правом тренутку да кренемо у правилну и суштинску анализу и решавање овог проблема са којим смо суочени у модерном пословању.
Сумарно речено, задатак нам је да уочимо и опишемо проблеме у архитектури тренутних апликативних решења присутних у предузећима, дефинишемо решења и захтеве које решења морају да поседују и да сумарно предложимо конкретан скуп технологија и целовиту архитектуру која те проблеме решава и захтеве испуњава у целини што ће бити урађено у следећим постовима на ову тему.

Архитектура сториџ система

Да ли архитектура сториџ система утиче на перформансе, скалабилност, или у крајњем случају на проблеме који су тренутно актуелни код корисника? Данашњи блог пост ће покушати да одговори на ова питања. Са реалним проблемима и примерима решења тих проблема, надамо се да ћете после овог текста приликом следеће евалуације сториџ решења уврстити и категорију архитектуре.

Проблем

Оно што је нас иницијално довело до разматрања архитектуре сториџ система јесте проблем који се све више јавља код корисника, а то је проблем “бучног комшије”. Овај проблем се јавља у ситуацијама када један сервис утиче на рад осталих сервиса. Ако код појединачног корисника постоји само један сервис који је заиста битан за пословање, и ако тај сервис утиче на рад осталих, то генерално није велики проблем зато што је сервис који је битан добио ресурсе који му требају. Али шта ако постоји више критичних сервиса за пословање (под критичним се овде мисли на перформансе тих сервиса), или код клауд провајдера (овде се мисли и на кориснике који су интерно одговорни за сервисе својих служби и њихов SLA), или шта ако постоји један сервис који функционално није толико битан (неки аналитички сервис који захтева доста ресурса) а утиче на рад сервиса који су битни. Како у свим овим ситуацијама да се обезбеди квалитет тих сервиса?

За ресурсе као што су процесор и меморија постоје механизми изолације и резервације, али код сториџ система који је код традиционалних архитектура централно место за све сервисе (што је и било логично са становишта интегритета података и манипулације над подацима) било је врло тешко изоловати и/или резервисати ресурсе зато што их је коначно много. Како решити овај проблем? Па на неколико начина, један најочигледнији је да се праве острва ресурса, где би критичан сервис имао свој сториџ систем који би се димензионисао за захтеве сервиса. Други начин може бити да се приликом иницијалне набавке, сториџ систем димензионише за ситуације збира перформанси свих захтеваних критичних сервиса. И први и други начин више једноставно нису прихватљиви због своје неекономичности и нефлексибилности. Када би само постојао неки механизам квалитета сервиса на самом сториџ систему који је довољно интелигентан да ради у синхронизацији са комплетном инфраструктуром, или када би нам архитектура сториџ система обезбедила да и логички и физички раздвојимо сервисе. Е па имамо среће, и једно и друго решење већ постоје! Ајде прво да видимо какви типови архитектуре сториџ система постоје. Нећемо говорити о типовима сториџ система (all-flash, hybrid), нити о интерконекцијама унутар сториџ система (10GB eth, IB), нити о конекцијама ка сервисима (FC, FCoE), већ искључиво о архитектури.

Типови архитектуре

На слици се могу видети четири типа сториџ архитектуре. Идемо редом.

1. Clustered архитектура

Подразумева неку врсту актив пасив архитектуре где у суштини податак опслужује један контролер, иако се до њега може доћи и преко другог али неоптимизованом путањом (кашњење је веће). Оптимизована путања је директна и са веома малим кашњењем, где једино кашњење које постоји долази из потребе што постоји нека врста високе расположивости (HA) између контролера и репликације кеш меморије због конзистентности података. Због једноставности ове архитектуре, лакше је убацити додатне сервисе над подацима на тој директној путањи податка (као што су дедупликација, компресија, снепшотови, репликација и остало). Ова врста архитектуре омогућава scale-up и scale-down, где се додавањем дискова могу повећати перформансе система али систем је и даље перформантан колико је перформантан један контролер. Варијација ове архитектуре је нека врста федерације, где се више парова овог типа архитектуре стави под један механизам управљања али на крају податак опслужује један мозак/контролер. Ова федерације не може да се назове scale-out системом зато што повећање перформанси система захтева додатно балансирање и тунирање ресурса и сервиса унутар федерације. Примери вендора и решења ове врсте архитектуре су NetApp FAS cDOT, EMC VNX, Pure Storage, Nimble,…

2. Scale-out tightly coupled архитектура

Ова врста архитектуре подразумева да се меморија дели између нодова (како кеш меморија тако и метадата) а сами подаци су дистрибуирани између одређног броја нодова. Идеја овог модела је била симетричност и једнака оптерећост свих нодова. И у случају отказа неког од нодова, оптерећење би опет било равномерно расподељено на преостале нодове. По дефиницији код ове врсте архитектуре постоји доста саобраћаја између самих нодова, па нека од решења користе јединствене интерконекције између нодова. Ова врста архитектуре је права scale-out архитектура зато што се перформансе система повећавају линеарно додавањем нових дискова и нодова. Али због комплексности је врло тешко додати нове сервисе манипулације над податком (дедуп, компресија и остали). Примери ове врсте архитектуре су EMC XtremIO, HP 3PAR, EMC VMAX, IBM DS.

3. Scale-out loosеly coupled архитектура

У овом случају меморија се не дели између нодова али су подаци на неки начин дистрибуирани између нодова и то на трансакционалан начин (постоји нека врста синхроне репликације података унутар нодова). Добра страна ове врсте архитектуре је скалабилност. Неки од примера ове врсте архитектуре су VMware VSAN, SolidFire, SimpliVity, Nutanix, EMC ScaleIO.

4. Дистрибуирана архитектура

Слично као код претходне ни овде нема дељења меморије између нодова и подаци су дистрибуирани али на некохерентан начин (постоји нека врста асинхроне репликације унутар нодова). Примери ове врсте архитектуре су AWS S3, EMC Atmos, Ceph.

Ок, шта је сада мало јасније после ове приче о архитектури. Па надамо се да је јасније да једино scale-out архитектура омогућава дистрибуцију оптерећења и балансирање ресурса где нисмо ограничени перформансама једног нода/контролера и да ако један сервис засити један контролер сви остали сервиси ће то приметити. Али и даље недостаје један део, а то је квалитет сервиса и интелигенција инфраструктуре као целине.

Квалитет сервиса

Када говоримо о квалитету сервиса већ постоје нека решења, нека више а нека мање употребљива, али добра ствар је да су сви препознали овај проблем и иду ка правом решењу. Ако имамо инфраструктуру која је комплетно виртуелизована, VMware већ неко време ради на решавању проблема бучног комшије и сада је Storage IO Control већ прилично робустан и стабилан механизам за додавања правичности између виртуелних машина али и даље недостаје квалитет сервиса зато што VMware не зна могућности сториџ система. Неки од сториџ вендора су обезбедили квалитет сервиса на нивоу LUN-a, где је могуће ограничити по throughput-у или броју IOPS-a одређени LUN, примери су NetApp cDOT (слика) и HP 3PAR.

Али од свих вендора најдаље је отишао SolidFire који је обезбедио квалитет сервиса у смислу обезбеђивања минимума за одређени сервис, тј. да у сваком тренутку тај минимум мора бити обезбеђен, и што је још компликованије овај минимум је могуће одредити за кашњење! као параметар квалитета сервиса. SolidFire је интегрисао овај QoS механизам са VMware SIOC чиме је обезбедио интелигенцију на нивоу самог хипервизора који има највише информација о самом сервису који опслужује.

vSphere 6.0 и функционалност VVOL где виртуелна машина постаје објекат на кога се примењују правила о квалитету сервиса још више поједностављује имплементацију, али још доста времена треба да прође док сториџ вендори не прихвате ову промену и пут ка софтверски дефинисаном дата центру.

За крај, архитектура је битна, као и посвећеност самих вендора у решавању актуелних проблема. Некима је олакшан посао одабиром архитектуре а неки вендори имају тежак задатак пред собом да испуне очекивања корисника и сервиса.

NetApp Virtual Storage Tier (FlashCache и FlashPool)

Netapp као лидер у сфери сториџ технологија, својим иновативним решењима је годинама гурао индустрију напред, како себе тако и своје конкуренте, покушавајућу да реши разнолике проблеме својих корисника. Једно од таквих решења је сигурно и Virtual Storage Tier (VST), хибридно сториџ решење, које у комбинацији са флеш технологијом решава проблем са перформансама код корисника са непредвидивим сториџ потребама (консолидација серверске инфраструктуре, базе података, file сервиси).

Мало о флеш технологији

Чврсти дискови (HDD) имају недостатак када је реч о опслуживању високо захтевних апликација а тај недостатак је број улаз/излаз операција у секунди (IOPS). Пошто имају перформансе до 300 насумичних операција читања у секунди, сториџ систему који је требао да опслужи апликације које захтевају више десетина хиљада ИОПС-а било је потребно више стотина дискова, иако капацитет који би се тако добио није био потребан. Овакав трошак у виду повећања броја дискова, простора у рековима, потрошње струје и потребе за хлађењем више није прихватљив код савремених компанија. Такође, време приступа подацима код HDD се мери у мили секундама док код SSD у микро секундама, тиме само HDD постају недовољни да опслуже апликације које су осетљиве на кашњење.

Због јасног добитка у перформансама заједно са мањом потрошњом струје, флеш SSD и остали флeш уређаји полако преузимају улогу HDD. Али пошто SSD коштају и до десет пута више од HDD по гигабајту простора, потребно је наћи праву стратегију примене SSD а да то буде економски оправдано. Постоји неколико опција како се може користити флeш технологија:

1. Хибридна сториџ решења – комбинују перформансе флеш уређаја са капацитетом HDD тако што податке који се активно користе или пребаце на флеш или користе флеш као механизам за кеширање таквих података

2. Сервер флеш решења – локални флеш уређаји у серверима се користе као сториџ простор или као простор за кеширање, тиме задовољавајући потребе за веома ниским кашњењем приступа подацима. PernixData је један од примера ове технологије о којој смо већ писали.

3. All Flash Array (AFA) – високе перформансе и висок степен поузданости за апликације критичне за пословање. Линк за мало више информација.

NetApp VST

VST је пример хибридног сториџ решења, које потпуно аутоматизовано у реалном времену користи флеш уређаје у комбинацији са SAS и/или SATA дисковима, интелигентно кешира блокове којима се често приступа. Две технологије чине VST. Прва је NetApp Flash Cache, PCI-e флеш модули за окружења са високим насумичним операцијама читања, где се кашњење смањује и преко 10 пута. Ова технологија представља кеширање на нивоу контролера сториџ система. Друга технологија у оквиру VST je NetApp Flash Pool, која користи SSD дискове у окружењима где је потребно интелигентно кеширање насумичних операција и читања и писања. Ова технологија је на нивоу физичког груписања дискова (агрегата).

Ок, сада ћете сигурно рећи, па сваки сториџ вендор има неко решење за аутоматизовани сториџ тиринг, и ефикасно коришћење флеш технологије у сврхе повећања перформанси система. Оно што NetApp VST издваја од осталих је што за разлику од осталих, ово решење је потпуно аутоматизовано и у реалном времену се активни подаци убрзавају, чиме су бенефити видљиви тренутно. Ово је посебно битно код окружења која се брзо мењају и где је workload непредвидив, као што су нпр. виртуелизована окружења са великим бројем разноликих сервиса. Оно што смо ми искуствено могли да видимо, окружења која су посебно добро користила ову технологију су такође и OLTP сервиси, где су потребни резултати у реалном времену.

Ако до сада није јасан тренд, како ИТ индустрије глобално, тако и наших постова, флеш технологија је ту да промени свет, и ми ћемо наставити да пишемо о разноликим применама флеш технологије у производима и решењима. И оно што је битно иако смо употребили реч тренд, не треба узети тренд  безрезервно и у некој лошој конотацији, циљ је свима исти, а то је решавање проблема код корисника на различите начине зато што су и окружења код корисника различита…