Kompanja Microsoft objasnila je danas, da je do velikog globalnog prekida rada njegovih usluga, 12. novembra, došlo zbog kombinacije tri problema – softverske greške koja je nastala još u julu, naglog povećanja mrežnog opterećenja i smanjenog kapaciteta servera.
Kompanija je ovim objavila prve zvanične podatke o tome zašto su njihove usluge prestale da rade prošle sedmice.
Kako su naveli iz kompanije, ovi faktori izazvali su lančani pad sistema, zbog čega u jednom trenutku više od 80 odsto servera nije odgovaralo na zahtjeve korisnika.
Problem je pogodio brojne Microsoft 365 usluge, uključujući Exchange Online, dok su Teams, OneDrive, SharePoint i Office aplikacije ranije oporavljene. Iz Microsofta su se izvinili korisnicima zbog posljedica prekida rada i najavili detaljan izvještaj o incidentu.
Objavu na društvenoj mreži X podijelio je Čarls Lamana (Charles Lamanna), jedan od rukovodilaca Microsofta. On je prenio zvanično saopštenje kompanije o uzrocima globalnog prekida rada Microsoft 365 usluga.
Saopštenje koje je objavio prenosimo u cijelosti:
"Duboko se izvinjavamo zbog uticaja koji je ovaj incident imao na sve naše korisnike i svjesni smo posljedica koje je ostavio na njihovo uobičajeno poslovanje i rad.
Incident koji se dogodio u četvrtak, 12. novembra 2026. godine, izazvala su tri glavna faktora koja su zajedno dovela do globalnog prekida rada mrežnog prolaza koji opslužuje mnoge Microsoft 365 usluge.
Prvo, skrivena greška dovela je do toga da serveri postanu preopterećeni i prestanu da odgovaraju pod određenim uslovima opterećenja. Do toga je došlo zbog nadmetanja za zaključavanje unutar internog procesa, što je dovelo do toga da računar postane nedostupan. Ova greška bila je rezultat ispravke koja je pripremljena posebno za servere mrežnog prolaza Microsoft 365. Ni osnovna greška ni ispravka ne odnose se na šire instalacije Windowsa.
More details on the root cause can be found in the Microsoft 365 Admin center, and an abridged version can be found below. We are deeply sorry for the impact to all our customers and recognize the impact that this has on their normal business & operations. The incident on Thursday, November 12th, 2026, was caused by three main factors that together caused a global outage for the networking gateway that fronts many Microsoft 365 services. First, a latent defect caused servers to become overwhelmed and unresponsive under certain load conditions. This was due to lock contention inside an internal process which caused the machine to become unavailable. This defect was the result of a fix that was prepared specifically for Microsoft 365 networking gateway servers; neither the underlying defect nor the fix applies to broader Windows deployments. The initial change in behavior first started deployment in July of this year. The update went through safe deployment and saturated globally over several weeks, during which time no issues were observed. For more than three months, the change was deployed worldwide without impact. Our normal load testing did not detect the latent issue because the different traffic and SKU mix used in our test labs. The contention issue is worsened on machines with more cores and newer hardware; whereas our load testing tended to focus on our weaker hardware SKUs with fewer cores. Second, a surge in load increased the likelihood for the networking gateways to encounter the contention. Within Microsoft 365, we maintain two independent and heterogenous network gateway systems designed for isolation and high availability. This allows many Microsoft 365 services to fail to/from them during outages or disruptions. Approximately fifteen hours before the outage, Teams failed over from the alternative networking gateway to the ‘primary’ gateway that also supports Exchange Online. This increased the load on the networking gateway and changed its traffic patterns. This type of failover is part of normal operations and is integral to standard Microsoft resiliency efforts. Third, at the same time, nearly 14% of server capacity for the networking gateway was out of service due to an unrelated issue from the previous day. This server capacity was on track to be returned to active service through routine maintenance and health processes. The service had sufficient capacity headroom, so the reduction in server capacity had no impact on its own. Taken together, the increased load and the reduced server capacity, caused the network gateway to encounter the latent bug from July. This caused requests to build up until servers ultimately stopped responding. This occurred during the peak window of traffic in the United States. When servers lose connectivity, our traffic management systems automatically route users to other healthy endpoints. This happens often and is critical to avoiding any interruption due to hardware, software, or network defects and is normally what makes the service resilient. However, the redirected traffic increased the likelihood for the same problem to occur on the remaining endpoints. This caused a cascading failure from server to server as the same amount of load was spread across fewer servers. In less than two hours, the previously unknown defect was encountered across our fleet and rendered them unresponsive. At its lowest, more than 80% of servers were unresponsive. Normally, the network gateway is composed of thousands of ‘capacity units’ which represent shards of capacity, hardware, and networking infrastructure. These ‘capacity units’ are then organized into regions. In this case, due to a separate issue, the normal bulkheads between these different partitions did not stop the cascading failure. This is what allowed the impact to spread across our network gateway infrastructure globally. Several services like Teams, OneDrive, SharePoint, and Office apps failed out of the faulty network gateway infrastructure. That is why those services were restored earlier, with Teams chats and meetings functioning without issue for most of the outage. But not all services, like Exchange Online, can fail out of this network gateway. Recovery took longer than usual because as servers returned to service, they were immediately overwhelmed by waiting traffic and became unresponsive again. Our normally automated recovery processes were not designed to restore service from this broad unresponsive state. Additionally, since the main code defect was a latent bug from several months previous, our normal rollback, flighting, and feature flags were unable to quickly revert the change. After engineers confirmed the defect as the cause, we developed an update that returned the code path to the previously known good state. To effectively apply this fix, and to slowly bring the service online again, we took groups of servers out of service, applied the change, and restarted them before returning them to service. This process was carefully applied to large quantities of infrastructure at a time (e.g. 50%+ of a region). The final Post-Incident Review (PIR) will provide more details later this week.
— Charles Lamanna (@clamanna) November 16, 2026
Početna promjena u ponašanju sistema prvi put je počela da se uvodi u julu ove godine. Ažuriranje je prošlo kroz postupak bezbjednog uvođenja i tokom nekoliko sedmica bilo je u potpunosti uvedeno na globalnom nivou, pri čemu nisu primijećeni nikakvi problemi. Više od tri mjeseca promjena je bila primijenjena širom svijeta bez ikakvih posljedica.
Naša uobičajena testiranja opterećenja nisu otkrila skrivenu grešku zbog drugačije strukture saobraćaja i kombinacije SKU konfiguracija koje se koriste u našim testnim laboratorijama. Problem nadmetanja za zaključavanje pogoršava se na računarima sa više procesorskih jezgara i novijim hardverom, dok su naša testiranja opterećenja uglavnom bila usmjerena na naše slabije hardverske SKU konfiguracije sa manjim brojem jezgara.
Drugo, nagli porast opterećenja povećao je vjerovatnoću da će mrežni prolazi naići na problem nadmetanja za zaključavanje. U okviru Microsoft 365 održavamo dva nezavisna i heterogena sistema mrežnih prolaza, projektovana radi izolacije i visoke dostupnosti. To omogućava mnogim Microsoft 365 uslugama da se tokom prekida rada ili poremećaja prebacuju na te sisteme ili sa njih. Približno petnaest sati prije prekida rada, Teams je prebačen sa alternativnog mrežnog prolaza na „primarni“ prolaz koji takođe podržava Exchange Online. To je povećalo opterećenje mrežnog prolaza i promijenilo obrasce njegovog saobraćaja. Ova vrsta prebacivanja dio je uobičajenog rada i sastavni je dio Microsoftovih standardnih napora za obezbjeđivanje otpornosti sistema.
Možda vas zanima:
Majkrosoft: Usluge u potpunosti obnovljene nakon globalnog prekida rada
Microsoft se opet oglasio: Otkrio jesu li hakeri ili AI krivi za globalni prekid rada
Treće, u isto vrijeme gotovo 14 odsto serverskog kapaciteta mrežnog prolaza bilo je van funkcije zbog nepovezanog problema od prethodnog dana. Bilo je predviđeno da se ovaj serverski kapacitet vrati u aktivnu upotrebu kroz rutinsko održavanje i postupke provjere ispravnosti sistema. Usluga je imala dovoljno rezervnog kapaciteta, tako da samo smanjenje serverskog kapaciteta nije imalo nikakvog uticaja.
Posmatrani zajedno, povećano opterećenje i smanjeni serverski kapacitet doveli su do toga da mrežni prolaz naiđe na skrivenu grešku iz jula. To je izazvalo nagomilavanje zahtjeva sve dok serveri na kraju nisu prestali da odgovaraju. To se dogodilo tokom perioda najvećeg saobraćaja u Sjedinjenim Američkim Državama.
Kada serveri izgube vezu, naši sistemi za upravljanje saobraćajem automatski preusmjeravaju korisnike na druge ispravne krajnje tačke. To se često dešava i od ključnog je značaja za izbjegavanje bilo kakvog prekida rada zbog hardverskih, softverskih ili mrežnih grešaka i upravo je ono što u normalnim okolnostima čini uslugu otpornom. Međutim, preusmjereni saobraćaj povećao je vjerovatnoću da se isti problem pojavi na preostalim krajnjim tačkama. To je izazvalo lančani pad sa servera na server, jer se ista količina opterećenja raspoređivala na sve manji broj servera. Za manje od dva sata prethodno nepoznata greška pojavila se širom naše serverske infrastrukture i učinila servere nesposobnim da odgovaraju. U najkritičnijem trenutku više od 80 odsto servera nije odgovaralo.
U normalnim okolnostima mrežni prolaz sastoji se od hiljada „jedinica kapaciteta“, koje predstavljaju dijelove kapaciteta, hardvera i mrežne infrastrukture. Ove „jedinice kapaciteta“ zatim se organizuju u regione. U ovom slučaju, zbog zasebnog problema, uobičajene zaštitne barijere između ovih različitih dijelova nisu zaustavile lančani pad. Upravo je to omogućilo da se posljedice prošire na našu infrastrukturu mrežnih prolaza širom svijeta.
Povezana vijest:
Nekoliko usluga, kao što su Teams, OneDrive, SharePoint i Office aplikacije, prebačeno je sa neispravne infrastrukture mrežnog prolaza. Zbog toga su te usluge ranije obnovljene, pri čemu su Teams razgovori i sastanci funkcionisali bez problema tokom većeg dijela prekida rada. Međutim, ne mogu sve usluge, poput Exchange Online, da se prebace sa ovog mrežnog prolaza.
Oporavak je trajao duže nego obično jer su serveri, čim bi se vratili u funkciju, odmah bili preopterećeni saobraćajem koji je čekao obradu i ponovo prestajali da odgovaraju. Naši uobičajeni automatizovani postupci oporavka nisu bili projektovani za obnavljanje usluge iz ovako široko rasprostranjenog stanja u kojem serveri ne odgovaraju. Osim toga, pošto je glavna greška u kodu bila skrivena greška od prije nekoliko mjeseci, naši uobičajeni mehanizmi za vraćanje na prethodnu verziju, postepeno uvođenje promjena i funkcionalne zastavice nisu mogli brzo da ponište promjenu.
Nakon što su inženjeri potvrdili da je greška uzrok problema, razvili smo ažuriranje kojim je putanja izvršavanja koda vraćena u prethodno poznato ispravno stanje. Da bismo efikasno primijenili ovu ispravku i postepeno ponovo pokrenuli uslugu, isključivali smo grupe servera iz rada, primjenjivali izmjenu i ponovo ih pokretali prije nego što bismo ih vratili u funkciju. Ovaj postupak pažljivo je primjenjivan na velikim količinama infrastrukture istovremeno (na primjer, na više od 50 odsto jednog regiona).
Konačni izvještaj o incidentu (Post-Incident Review – PIR) pružiće više detalja kasnije ove sedmice."