Hoe AppSignal haar monitoring-product continuïteit vond

Over AppSignal

AppSignal is een uitgebreide monitoring-oplossing voor applicaties, met ondersteuning voor Ruby, Elixir, Node.js en JavaScript. Het biedt realtime monitoring van fouten, prestaties en de gezondheid van applicaties. AppSignal biedt een breed scala aan functionaliteiten, waaronder gezondheid-monitoring, gebruikerssessies, oproeptraces, DB-tracering, API-monitoring en integratie met andere developmenttools. De alles-in-een-monitoring oplossing is geschikt voor een brede groep ontwikkelaars die webapplicaties ontwikkelen en onderhouden.

Thijs Cadier, medeoprichter van AppSignal legt uit: “Dit is een monitoring-product voor alle middelgrote organisaties. Wij brengen een handvol best practices die enterprises (hopelijk ook) gebruiken. Al die functionaliteiten stoppen wij in een heel handig pakket waar je weinig in hoeft te stellen. Hiermee heb je zelfs als klein team toegang tot een 360 graden oplossing om je applicaties mee te monitoren.”

Van losse VPS-diensten naar consistente infrastructuur met dedicated servers

Voorheen was de IT-infrastructuur van AppSignal ondergebracht bij meerdere VPS-providers, waar de monitoringssoftware gehinderd werd door zogenaamde “noisy neighbours”. In een gedeelde cloudomgeving belast één gebruiker de bruikbare bronnen zodanig dat je daar last van ervaart. Denk aan bronnen als bandbreedte-, schijf- en processorverbruik.

“Wij zaten hiervoor op virtual private servers, daar moesten we vanaf, want dat bracht gewoon geen optimale prestaties. In de basis was het werkbaar, maar door de wisselende prestaties hadden we er continu werk aan”, aldus Thijs.

Door het type belasting van onze monitoring-software hebben we meer last van “noisy neighbours”, omdat wij weinig pieken willen ervaren. We hebben doorgaans een vrij gestroomlijnde serverbelasting. Het systeem is op een dusdanige manier gebouwd dat het extra gevoelig is voor afwijkingen. Met als gevolg dat het soms wel twee keer per week voorkwam dat het systeem inconsistent werd door die “noisy neighbours”.

Wat anderen op dezelfde server aan het doen zijn heeft impact op de performance bij die VPS. Dat komt vooral op het moment dat het niet uitkomt. “Het is vrijdagmiddag 4 uur en je denkt: het is wel mooi geweest en ineens zakte die performance van een van de acht diensten in. Dan moet je wel aan de slag, terwijl het eigenlijk niet uitkomt.”

Ondanks de herkenbare nadelen blijft Thijs realistisch over het oplossen ervan: `Je moet altijd verschillende soorten pijnen met elkaar ruilen. In dit geval is dat minder flexibiliteit in de capaciteitsplanning, want we moeten eerder van tevoren doorgeven als we willen opschalen.” Wanneer je kiest voor een IT-infrastructuur die enkel gebruikmaakt van dedicated servers geeft dat meer flexibiliteit en controle op applicatieniveau, terwijl dat bij een cloudinfrastructuur weer bij de mate van schaalbaarheid opgaat.

Er bleken meerdere oplossingen mogelijk, toch voelde dat als dweilen met de kraan open. “Je kan om deze ergernis heen werken, maar dan sta je voor de keuze: gaan we dan tijd en energie in de engineering stoppen?" Bijvoorbeeld door automatisch load te verplaatsen? Uiteindelijk weegt het niet op tegen de moeite die we erin stoppen om het beheersbaar te maken. Onder andere om die reden hebben we ervoor gekozen om van dit type infrastructuur af te stappen.”

Verder is het systeem van AppSignal niet berekend op VPS-machines met verschillen in de configuratie. Met de software Apache Kafka wordt alle load heel gelijkmatig over de gehele infrastructuur verspreid. In deze opstelling kwam het voor dat één van de machines 20% trager is dan de andere, waardoor er een soort wanverhouding ontstond. Om de balans te herstellen moesten we constant het verkeer tussen machines evenredig verdelen. Uiteindelijk komt het neer op de fysieke hardware, dat was de enige manier om zeker te weten dat alles consistent blijft. Dus, vier Dell-servers met exact dezelfde CPU en configuratie. “Dat simpele gegeven is hetgeen wat ons het meeste tijd bespaard heeft”, concludeert Thijs.

Wij hadden eigenlijk een beetje verkeerd ingeschat dat SSD’s wel prima waren voor onze infrastructuur. Uiteindelijk bleek dat we wel echt NVMe SSD’s nodig hadden, dus zijn we overgestapt op single disk NVMe SSD’s.

Na een periode van zoeken naar partijen die dedicated servers aanbieden, kwam het antwoord in de vorm van een bericht in een Slackgroep. Hier werd Worldstream genoemd, waarna het team op onderzoek uit ging. Vooral de belofte van support met 24/7/365 responstijden bleek een schot in de roos. “Bij andere partijen hebben ze weliswaar gedegen hardware en oplossingen, maar de technische support is dan niet iets waar je echt op kan vertrouwen. Vervolgens kwamen we erachter dat dit bij jullie uitstekend geregeld is, vooral het feit dat er ook 's nachts iemand aanwezig is. Dat was eigenlijk precies wat we nodig hadden.”

24/7/365 support: "belangrijk maar liever niet nodig"

Dat er dag en nacht ervaren engineers aanwezig zijn in het datacenter is een geruststellende gedachte, maar volgens AppSignal is het nog beter: “Nou, we hebben jullie support in de praktijk bijna nooit nodig, omdat jullie de basis heel goed op orde hebben. Wij vonden het heel belangrijk dat als er een keer iets is, wij op jullie kunnen rekenen.” Daarmee doelt Thijs op aspecten van de infrastructuur, zoals het netwerk en de hardware. “Doordat het netwerk solide en betrouwbaar is, hebben wij geen uitval ervaren in de goede 1,5 jaar dat we bij jullie zitten.”

Wanneer AppSignal support wel nodig had viel het volgende op: “Het fijn dat je met iemand aan het praten bent die jouw infra begrijpt. “Als wij wakker worden gebeld doordat ons eigen monitoringsysteem afgaat, dan weten we dat er iemand bij jullie zit die er iets van snapt. Wat je bij die grote hosting partijen ziet, is dat ze wel snel reageren, maar die hebben personeel dat nergens iets van begrijpt. Zo’n vraagstuk moet eerst geëscaleerd worden voordat er daadwerkelijk wat gebeurt. Voor je het weet zit je uren te wachten op wat duidelijkheid, om nog maar te spreken van de wachttijd voor een oplossing. Wat we goed vinden aan Worldstream is dat we bij jullie geen speciale SLA (service level agreement) nodig hebben, het is heel prettig om te weten dat je ongeacht de bedrijfsgrootte serieus genomen wordt.”

AppSignal gebruikt voor hun infrastructuur dedicated servers in Naaldwijk en Amsterdam, vanwege de hoge beschikbaarheid. Alle dataverwerking van de AppSignal-services vindt plaats in de datacenters van Worldstream. Alleen voor de DNS-servers maakt AppSignal gebruik van AWS. Dan ben je simpelweg niet afhankelijk van een glasvezelverbinding. Daarnaast speelde de fysieke veiligheid een rol. De ISO-certificeringen 27001, 9001 en 14001 en PCI-DSS garanderen de naleving van internationaal erkende beveiligingsnormen. Verder hanteert Worldstream strikte fysieke beveiligingsmaatregelen, waaronder biometrische toegangscontrole, elektrische omheiningen, videobewaking en beveiligingspersoneel ter plaatse, 24/7/365.

Het toekomstperspectief van AppSignal

Nu AppSignal minder tijd kwijt is aan de probleemoplossing van hun IT-infrastructuur kunnen ze zich focussen op de doorontwikkeling van hun oplossing. Uiteindelijk wil AppSignal ondersteuning bieden aan alle gangbare programmeertalen. Er komt bijvoorbeeld een Python integratie aan en onlangs is logging toegevoegd aan het product. “Wat we belangrijker vinden is om op allerlei grote en kleine manier het leven van klanten beter te maken. Onze monitoring-oplossing is nu redelijk compleet, waarvan logging het laatste puzzelstuk was. Binnen alle monitoring-categorieën zijn we nu op zoek om weer slimmere manieren te vinden om onze klanten te ontzorgen, door de software continu beter te maken.”

“Op het moment dat we overstapte naar Worldstream hadden we ongeveer dezelfde uitgaves als bij die VPS-provider,” vertelt Thijs. “Inmiddels zijn ze we 18 maanden verder en is het nog niet nodig geweest om significant bij te schalen. Terwijl we toentertijd al tegen maximale capaciteit van de VPS setup aanzaten. In de huidige opstelling zitten we slecht op 50% belasting. Bij de VPS-provider hadden we inmiddels veel meer uitgegeven.”

We zijn tevreden met Worldstream, omdat ze onze infrastructuur begrijpen en weten wie we zijn. Als wij jullie mailen dan weten aanwezige engineers gelijk wie we zijn. Uiteindelijk kies je toch voor een partij die op je lijkt. Wij merken dat onze klanten vrij vaak qua bedrijfscultuur en omvang toch een beetje op ons lijken.