Amikor minden működött… mégsem működött semmi

"Minden hiba hagy maga után nyomokat. A kérdés csak az, hogy felismerjük-e őket."

A biztonságtechnikában a legnehezebb hibák ritkán jelentkeznek látványosan. Sokkal gyakoribb, hogy apró jelekből kell összerakni a teljes képet. Egy újrainduló eszköz. Egy megmagyarázhatatlan hálózati jelenség. Egy rendszer, amely látszólag rendben működik, mégis időről időre kiszámíthatatlanul viselkedik.

Pontosan így kezdődött ez az eset is.

Egy egyszerű áramszünettel.

Ami elsőre hétköznapi eseménynek tűnt, végül egy olyan hibakereséssé vált, amelyben minden újabb nyom újabb kérdéseket vetett fel.

Az első nyomok

Miután visszatért az áram az irodánkban, sorra jelentkeztek a kisebb problémák.

Először egy Zyxel switch mondta fel a szolgálatot.

Ezután a sorompó működött bizonytalanul.

Majd a beléptetővezérlő akkumulátora is végleg feladta a szolgálatot.

Ezek önmagukban nem számítottak különlegesnek. Áramszünet után előfordulhatnak hasonló hibák, ezért a hibás eszközöket kicseréltük, a rendszereket ellenőriztük, és úgy tűnt, minden visszatért a megszokott kerékvágásba.

Legalábbis ezt gondoltuk.

Valami továbbra sem stimmelt

Az épület minden emeletén Hikvision beltéri kaputelefon működik, amelyek egy központi kültéri beléptető terminálhoz kapcsolódnak.

Nem sokkal később furcsa jelenséget tapasztaltunk.

Az egyik beltéri egység újraindult.

Aztán egy másik.

Majd még egy.

Nem egyszerre.

Nem szabályos időközönként.

Nem lehetett felismerni semmilyen mintázatot.

Mintha minden készülék a saját életét élte volna.

És ettől vált igazán érdekessé az ügy.

Első számú gyanúsított: a switch

Mivel a beltéri egységek PoE-n keresztül kapták a tápellátást, elsőként a Hikvision switch került a gyanúsítottak listájára.

Kicseréltük.

Vártunk.

Figyeltük a rendszert.

Semmi sem változott.

A beltéri egységek továbbra is újraindultak.

Első nyom: zsákutca.

Második számú gyanúsított: a HikCentral

Ha nem hardverhiba, akkor talán a szerver?

Felmerült, hogy a HikCentral valamilyen hibás parancsot küld a kaputelefonok felé.

Leállítottuk a szervert.

Vártunk.

Figyeltünk.

A beltéri egységek ugyanúgy újraindultak.

Második nyom: téves feltételezés.

A fordulópont

Ilyenkor jön el az a pillanat, amikor félre kell tenni a rutinmegoldásokat, és vissza kell térni az alapokhoz.

Leválasztottunk egyetlen beltéri egységet a hálózatról.

Kapott egy külön switchet.

Nem csatlakozott semmi máshoz.

És...

a hiba megszűnt.

Az a készülék, amely percekkel korábban folyamatosan újraindult, most teljesen stabilan működött.

Ez volt az első valódi nyom.

A probléma nem a beltéri egységben volt.

Valami a hálózatból érkezett.

A hálózat beszélni kezdett

Elsőként ellenőriztük az IP-címeket.

Nem volt ütközés.

Ezután megvizsgáltuk a switch hálózati forgalmát.

Ekkor vált feltűnővé valami.

A kültéri és a beltéri egységek között szokatlanul nagy mennyiségű adatforgalom zajlott.

Valamelyik eszköz folyamatosan kommunikált a hálózaton.

Sokkal intenzívebben, mint kellett volna.

Most már tudtuk, hogy jó nyomon járunk.

Lelepleztük a tettest

Elkezdtük egyesével leválasztani a hálózatra csatlakozó eszközöket.

A beltéri egységek maradtak.

A jelenség továbbra is fennállt.

Ezután lecsatlakoztattuk a kültéri beléptető terminált.

Abban a pillanatban minden beltéri egység stabilan működni kezdett.

Megvolt a hibaforrás.

Az áramszünet után a kültéri terminál egy hibás szoftveres állapotba került, és olyan mértékű hálózati forgalmat generált, amely a teljes beltéri rendszert folyamatos újraindulásra késztette.

Az ügy megoldása

A kültéri terminált gyári alaphelyzetbe állítottuk.

Újrakonfiguráltuk.

Visszacsatlakoztattuk a hálózatba.

A rendszer azóta is stabilan és hibamentesen működik.

Nem hardverhibáról volt szó.

Nem kellett új eszközöket vásárolni.

Egy áramszünet után kialakult hibás szoftveres állapot okozta az egész problémát.

Mit tanultunk az esetből?

Ez az eset ismét bebizonyította, hogy a leglátványosabb hibajelenség nem mindig mutat rá a valódi hibaforrásra.

Elsőre minden a switchre, majd a szerverre terelte a gyanút. A megoldást azonban végül nem egy újabb hardvercsere, hanem a módszeres hibakeresés hozta meg.

A hálózat szegmentálása, az eszközök egyenkénti kizárása és a hálózati forgalom elemzése végül elvezetett ahhoz az egyetlen készülékhez, amely az egész rendszer instabilitását okozta.

Egy áramszünet után kialakult hibás szoftveres állapot elegendő volt ahhoz, hogy egy teljes kaputelefon-rendszer működését megzavarja.

Mérnöki tipp

Ha áramszünetet követően látszólag véletlenszerű újraindulásokkal vagy instabil hálózati működéssel találkozol:

• ne cserélj azonnal hardvert,
• ellenőrizd a hálózati forgalmat,
• válaszd le az eszközöket egyenként,
• vizsgáld meg, hogy valamelyik berendezés nem került-e hibás szoftveres állapotba,
• szükség esetén végezz gyári visszaállítást, majd konfiguráld újra az érintett eszközt.

A módszeres hibakeresés sok esetben gyorsabban vezet eredményre, mint az alkatrészek cserélgetése.