Jak to děláme u WatchGuardu

Zprávy z minulého týdne o globálním narušení IT způsobeném aktualizací bezpečnostního softwaru na ochranu koncových stanic podnítily důležité rozhovory o procesech zajišťování kvality pro koncové produkty a aktualizace obsahu. Ve společnosti WatchGuard, s více než 30 lety zkušeností v tomto odvětví, dobře víme, jak je proces aktualizace citlivý, a chtěli jsme využít této příležitosti k tomu, abychom zdůraznili procesy, které zavádíme, abychom vás, naši komunitu vážených partnerů a zákazníků chránili před dopady chybného zavádění aktualizací.

Produkty zabezpečení koncových bodů (endpoint security) jsou úzce propojeny s operačním systémem (OS), a proto vyžadují silnější procesy kvality. Jedinečnost těchto produktů a požadavky na privilegovaný přístup k OS činí proces vývoje a zajištění kvality (QA) těžší než jiné typy vývoje softwaru. Vzhledem k tomuto typu softwaru, který běží na deseti až stovkách milionů koncových bodů a v extrémně různorodých nastaveních, nemůžeme testovat úplně všechna unikátní prostředí, ve kterých produkt skončí. K vyřešení tohoto problému zavedly technické týmy společnosti WatchGuard proces, který při zachování rytmu vydávání omezuje možnost narušení normálního provozu.

Proces aktualizace koncového bodu produktu WatchGuard

Fáze 1 – Náhled přátel a rodiny:

Proces, který je vysvětlen v tomto technickém článku, začíná poté, co tým kvality dokončí všechny interní postupy alfa a beta testování nového vydání. Jakmile je software certifikován, začneme fází, kterou interně nazýváme testování přátel a rodiny; v podstatě, protože to začalo být přesně tak, přátelé a rodina testovali nové řešení ve výrobě.

Původně, téměř před 10 lety, jsme začali modernizací našich osobních systémů, a to jak firemních, tak osobních domácích zařízení. Naše interní systémy WatchGuard patří mezi první, které jsou zahrnuty do nasazení Friends & Family – nejen osobní počítače, ale i produkční servery.

Postupem času se toto prostředí stalo mnohem rozmanitějším, se stovkami účtů a tisícovkou koncových bodů. Někteří z našich nejstrategičtějších partnerů a někteří administrátoři zákazníků se chtěli připojit k brzkému přijetí našich nových verzí, což přidává tato zákaznická prostředí do našeho raného testování Přátel a rodiny.

Všechny systémy zahrnuté v této fázi jsou přísně monitorovány. Přidali jsme rozšířenou telemetrii, abychom ověřili, že se nová verze nechová jinak než ta, která je upgradována. Mezi rozšířenými daty nahráváme a sledujeme potenciální pády a chyby, ale také další údaje, jako je spotřeba paměti nebo průměrné využití procesoru.

V závislosti na změnách udržujeme tuto fázi po dostatečnou dobu, abychom ověřili, že počáteční nasazení bylo úspěšné a že také správně funguje po dostatečně dlouhou dobu.

Náš tým podpory je v této fázi také velmi aktivní, aby identifikoval případné nové problémy. Ve skutečnosti poskytují hlavní vstup pro rozhodnutí, zda můžeme přejít k dalšímu kroku procesu vydání upgradu. Když je náš tým podpory s verzí spokojen a všechny metriky jsou pod definovanými parametry, pokračujeme.

Fáze 2 – Kontrolovaný náhled:

Dalším krokem je upozornění na cloudové konzoli, že je k dispozici nová verze. Záměrem je poskytnout našim partnerům a zákazníkům informaci, že mohou začít nasazovat novou verzi. Je možné, jak je popsáno v tomto technickém článku, provádět upgrade vašich systémů kontrolovaným způsobem.

V této fázi zůstáváme několik týdnů a sledujeme počet nových upgradovaných zařízení. Stejně jako ve fázi Přátel a rodina jsou naše týmy podpory velmi aktivní při identifikaci anomálního chování, které by mohlo souviset s novou verzí.

Fáze 3 – Proces automatického upgradu:

Jakmile jsme s novou verzí spokojeni, zahájíme fáze automatického upgradu. Počet fází opět závisí na změnách, ale obvykle jsou rozděleny do tří až čtyř fází, během kterých začínáme upgradovat zákazníkům.

Proces aktualizace obsahu WatchGuard

Proces doručování aktualizací obsahu je podobný. V tomto případě máme pracovní prostředí podobné našim přátelům a rodině se stovkami účtů a tisíci zařízeními. Jakmile je obsah certifikován, nejprve publikujeme aktualizaci tohoto prostředí. Podobně jako ve fázi Přátelé a rodina je toto prostředí vysoce monitorováno z hlediska veškerých možných telemetrických údajů. Jakákoli odchylka od předchozí výkonnostní linie je v tomto prostředí vyhodnocena a znovu testována. Teprve po dokončení tohoto procesu – bez nahlášení jakýchkoli nových problémů – zašleme aktualizaci našim partnerům a zákazníkům.

Chci využít této příležitosti a ocenit úsilí a výslednou hodnotu práce, kterou naše interní týmy pro vývoj, zajištění kvality, DevOps a podporu denně odvádějí, abychom zajistili, že řešení bude aktuální proti novým hrozbám a zabráníme problémům našich partnerů a zákazníků. Chci také zopakovat trvalé odhodlání společnosti WatchGuard tyto procesy revidovat a vyvíjet podle potřeby, aby si i nadále WatchGuard získával vaši důvěru.

Konečně jsem v oboru více než dvacet pět let a znám bolest způsobenou neúspěšným zavedením a nerad vidím, jak se to děje jiným společnostem. Když k tomu dojde, je naším impulsem zdvojnásobit úsilí v ověřování, že naše partnery a zákazníky chráníme před skutečnými hrozbami a zůstat ostražití při neustálém přehodnocování našich interních procesů.

Guillermo Gomez Santamaria
VP, produkty a služby pro pokročilé koncové body
WatchGuard