Netwerkincident post-mortem: Validator sampling bug I. Samenvatting Op 26 juni 2025 om 2:40 AM UTC ondervond Flare Mainnet een korte onderbreking, wat leidde tot een tijdelijke stop in de blokproductie. Het probleem werd geïdentificeerd als een bekende en inmiddels verholpen bug in het validator sampling mechanisme, afkomstig van een upstream afhankelijkheid. Een vooraf geplande, geauditeerde netwerkupgrade met de oplossing werd eerder dan gepland uitgerold, waardoor de netwerkfunctionaliteit met succes werd hersteld om 11:15 AM UTC op 26 juni 2025. II. Oorzaak De onderbreking werd veroorzaakt door een bug in de go-flare v1.10 clientsoftware, afkomstig van een upstream Avalanche afhankelijkheid (avalanchego). De bug bevond zich in het validator sampling algoritme, dat cruciaal is voor blokproductie en peerselectie. Onder specifieke netwerkcondities overschreed het cumulatieve gewicht van alle validators de maximale waarde voor een 64-bits ondertekend geheel getal (MaxInt64). Dit resulteerde in een errOutOfRange fout, waardoor validator nodes werden afgesloten. Het verlies van deze validators verstoorde het vermogen van het netwerk om nieuwe blokken te produceren. III. Oplossing De onderliggende bug was al verholpen in avalanchego v1.11.0, dat de samplinglogica bijwerkte om het grotere uint64 gegevenstype te ondersteunen. Flare had proactief zijn bijbehorende v1.11 release voorbereid en geauditeerd vóór de oorspronkelijke planning. In reactie op het incident werd deze geplande upgrade uitgerold als een noodpatch. De nieuwe software werd met succes uitgerold, waardoor de fout werd opgelost en de netwerkstabiliteit en -operaties werden hersteld. IV. Volgende stappen De succesvolle uitrol van deze upgrade heeft de veerkracht en stabiliteit van het netwerk verbeterd, waardoor het in staat is om toekomstige groei aan te kunnen. We hebben ons incidentresponsproces herzien om een snelle uitrol van kritieke patches te waarborgen als zich soortgelijke situaties voordoen. We willen onze dank uitspreken aan onze infrastructuurproviders en de bredere gemeenschap voor hun snelle reactie en ondersteuning, die essentieel waren voor de snelle oplossing van dit incident.