Groeien met Bookmate, van start-up tot wereldwijde dienst

De CTO van Bookmate, Vasily Kolesnikov, legt uit: "Zo'n 2 miljoen boeken leven in het Bookmate ecosysteem, maar elk boek bestaat uit meerdere bestanden, omdat elk hoofdstuk feitelijk een klein gescheiden tekstbestand is. Dus als je miljoenen boeken hebt en je splitst die miljoenen boeken op in hoofdstukken, dan kun je vast een voorstelling maken van hoeveel bestanden we hebben."

Om je een idee te geven: je kunt je eigen ebooks onbeperkt uploaden naar Bookmate (EPUB of FB2), wat neerkomt op miljarden bestanden. "Alle ebooks die worden geüpload naar Bookmate worden opgeslagen op de servers van Worldstream." Het beheren van je infrastructuur is niet bepaald eenvoudig wanneer je miljarden kleine bestanden hebt, dus koos Bookmate voor een intern ontwikkelde software defined storage-oplossing. Om te slagen hadden ze bovendien zeer specifieke hardware nodig, waardoor Bookmate op zoek ging naar een competente leverancier.

Van start-up tot wereldwijde dienst

Bookmate deed in 2011 onderzoek naar verschillende hosters in Nederland en Duitsland. "Omdat de meerderheid van onze klanten zich in Europa bevindt, wilden we onze infrastructuur zo dicht mogelijk bij onze klantenbasis hebben. Onze back-end ontwikkelaars waren bezig met het bouwen van de hele infrastructuur." In principe vanaf nul, want ze hadden op dat moment slechts twee bare metal nodes, en Bookmate ging op zoek naar een oplossing met een betrouwbare hoster. "Met betrouwbaar bedoelen we een provider met snel reagerende technische ondersteuning en de mogelijkheid om aangepaste hardware te leveren omdat we zeer specifieke behoeften hadden."

Op dat moment was Bookmate nog een start-up en was de prijs belangrijk. Dus toen begon Bookmate op basis daarvan onderzoek te doen en het eerste idee was om onze serverbronnen bij de huidige provider te verhogen. "Maar we realiseerden ons vrij snel dat ze niet erg betrouwbaar waren. In 2011 waren er voortdurend hardwareproblemen en netwerkstoringen." Hierdoor vervolgde Bookmate zijn zoektocht naar een geschikte provider.

"We probeerden een andere provider, zij waren prima", beweert Vasily stellig. "Hun netwerkinfrastructuur was betrouwbaar en ze gebruikten merkservers zoals Dell en Hewlett-Packard. Maar het verkoopteam was traag en de servers waren prijzig. We konden hardware aanvragen via e-mail of via hun ticketsysteem en reageerden dan pas na een week, dus we waren gewoon een week kwijt aan wachten. Als je migreert van de ene hostingprovider naar de andere, dan verwacht je toch eigenlijk dat het verkoopteam snel aan de slag gaat?" Door deze ervaringen heroverwogen ze hun strategie en schreef Bookmate alle technische en servicevoorkeuren op.

Waarom kozen ze van alle beschikbare opties voor Worldstream?

"Nadat we verder zochten naar een provider, kwamen we bij Worldstream uit, en het belangrijkste was dat jullie meteen begonnen te reageren per e-mail, binnen enkele minuten. Bovendien stelde jullie salesmanager zelfs voor om over te stappen op videoconferencing.

We hadden zoiets van, wow, we hebben gewoon real-time interactie met deze serviceprovider. Maar nog belangrijker was dat Worldstream aangepaste hardwareconfiguraties aanbood, wat zeer ongebruikelijk was."

De belangrijkste reden waarom Bookmate Worldstream als provider koos, was dat ze hardware op maat konden leveren. "Niet elke hoster zou je voorzien van de hardware die je vraagt. Ze hebben meestal alleen vaste configuraties en dat is het dan. Worldstream zei gewoon 'wat je ook nodig hebt, wij kunnen het voor je doen'. En wij reageerden verrast: nou, dat is interessant."

Een andere grote reden voor Bookmate om over te stappen was de technische ondersteuning. "De ondersteuning van Worldstream is tot nu toe de snelste. Ik kan me in mijn hele carrière geen andere serviceprovider herinneren die betere ondersteuning bood dan Worldstream. Het maakt niet uit op welk moment van de dag het is. Als we bijvoorbeeld een kapotte hardwaredrive of geheugenbank hebben, zelfs als het middernacht is van zaterdag op zondag, reageren jullie binnen enkele minuten en vervangen de defecte bank of schijf. Maar wat nog belangrijker is, als we iets moeten upgraden, hebben we dat meestal binnen een paar minuten. Bij andere providers wachtten we twee dagen op antwoord en dan was het antwoord iets in de trant van: "Kun je iets verduidelijken?

Toen we van jullie eerste datacenter naar het tweede datacenter in Naaldwijk migreerden, stelde jullie salesteam ons binnen dezelfde deal een tijdelijke aangepaste configuratie voor, zodat we al onze diensten naadloos van het oude datacenter naar het nieuwe datacenter konden migreren.

Wat als Bookmate voor een alternatieve oplossing zou kiezen?

Binnen de Worldstream-infrastructuur maakt Bookmate gebruik van hun eigen software defined storage, en hier hebben ze hun eigen aangepaste cloudservice ontwikkeld. "We gebruiken GlusterFS en het werk voor ons vanaf het begin en nog steeds denk ik dat dit de enige oplossing is die miljarden kleine bestanden aankan. Dat zijn terabytes of zelfs petabytes aan kleine bestanden. Oorspronkelijk begonnen we te werken met bare metal nodes en onlangs hebben we onze eigen on-premises cloud gebouwd op basis van die nodes. Dit is ons eigen virtualisatieplatform en we denken niet dat we snel iets zullen veranderen. Het waren 10 jaar geleden gewoon monolithische applicaties die op bare metal nodes draaiden, maar nu leeft alles in containers."

De reden waarom Bookmate er niet aan denkt om snel iets te veranderen is "omdat we geprobeerd hebben de kosten te berekenen, en het blijkt dat als we onze infrastructuur migreren van Worldstream naar een publieke cloudprovider, het de maandelijkse betalingen ongeveer verzevenvoudigt." Als je letterlijk miljarden kleine bestanden hebt, worden die bestanden gefactureerd op basis van hun netwerk- en computergebruik.

Hoe Bookmate al vanaf het begin samenwerkte met Worldstream

De samenwerking tussen Bookmate en Worldstream bestaat al meer dan 10 jaar. Beide partijen hebben elkaar zakelijk zien groeien en hebben elkaar daarbij geholpen. Momenteel is de enige focus voor Bookmate om horizontaal te groeien in Europese en Latijns-Amerikaanse landen. Dit vertaalt zich in een behoefte aan meer gegevens, meer workloads en meer verkeer. Toen Worldstream een ander datacenter in Frankfurt introduceerde, besloot Bookmate om al hun systemen naar Worldstream datacenters te verhuizen.

"In 2012 werden al onze productiesystemen naar Worldstream gemigreerd en hielden we alleen een paar servers bij een andere hostingprovider aan voor back-ups, omdat we niet alles op één hoop wilden gooien. Nu, sinds de opening van jullie locatie in Frankfurt in 2021, staan zowel de productie- als de back-upsystemen bij Worldstream in verschillende datacenters. Zo veel vertrouwen hebben we in jullie."