administration

Programmer's Blog: vad som händer bakom kulisserna på gamer.ru

content auto translated from {from}

En liten historisk bakgrund

Webbplatsen gamer.ru har genomgått sin tredje (och möjligen till och med fjärde) fullständiga kodrevison. Projektet skrevs ursprungligen på Ruby-on-Rails redan under de avlägsna nolltalen. Arkitekturen var monolitisk, så varje användarförfrågan "drog med sig" en enorm mängd ytterligare förfrågningar till databasen och laddade alla möjliga bibliotek. För att säkerställa att resursen skulle fungera vid 100 000 besökare per dag var vi tvungna att använda hela fem kraftfulla servrar, använda memcached, Redis och replikera databaser över flera servrar. Detta gjorde att vi kunde hålla ut till 2018, då företaget började få ekonomiska problem och utvecklarteamet skingrades.

Runt 2020 tappade webbplatsen sin SSL-certifikat. Att uppdatera det visade sig vara omöjligt, eftersom den gamla versionen av Ruby-on-Rails var beroende av en gammal version av openssl, medan de nya certifikaten krävde en nyare version. Ingen bekymrade sig särskilt — webbplatsen fortsatte att fungera hyfsat. Under perioden 2015 till 2025 sjönk trafikmängden gradvis från 100 000 till 1 000 personer per dag. I dolda bloggar och kommentarer började det dyka upp en enorm mängd skräppost, inklusive inte helt anständigt innehåll. Yandex tappade helt intresset för oss, och i webbmastern fanns det enbart ett röd rullande landskap av kritiska fel.

Vad vi gjorde för att åtgärda allt

Webbplatsen behövde en allvarlig optimering, eftersom den gamla arkitekturen inte längre motsvarade verkligheten. Det hade samlats omkring 100 000 inlägg och 1,6 miljoner kommentarer i databasen som noggrant behövde överföras till den nya plattformen. Vi beslutade att gå över till en mikrotjänstarkitektur både på backend och frontend och inarbeta moderna teknologier, inklusive trendiga HTMLElement.

Projektet skrevs om helt från grunden på NodeJS utan att använda externa bibliotek, vilket garanterar oss en lugn tillvaro de kommande 10–20 åren. Nu behöver vi inte frukta att en uppdatering av något trendigt bibliotek som ExpressJS eller React kommer att bryta hela webbplatsen och kräva ytterligare omfattande refaktorisering. Till och med den visuella redaktören för inlägg var vi tvungna att skriva själva, eftersom vi inte kunde hitta något färdigt som motsvarade våra blygsamma krav. Nu renderar motorn HTML-sidor för gamla enheter och sökmotorer, och levererar innehåll till användare via AJAX.

Idag klarar webbplatsen framgångsrikt en genomsnittlig belastning på cirka 150 förfrågningar per sekund, där en stor del av trafiken utgörs av sökrobotar och andra crawlers. Särskilt aktiva är botarna semrush och openai, som beter sig som om de försöker ladda ner hela webbplatsen på en dag. Om Yandex indexerar oss långsamt, i en takt av 1-2 förfrågningar per sekund, kan dessa linser mycket väl begära 50.

Motorn har emellertid blivit så optimerad att denna hela botarmé lätt hanteras av en enda billig virtuell server som kostar cirka 500 rubel per månad.

Naturligtvis påminner webbplatsen oss periodiskt om sig själv med fel 502 och 504, som successivt identifieras och åtgärdas. Ibland visar det sig att någon glömde att lägga till ett index i databasen, ibland måste en för komplicerad förfrågan delas upp i flera enklare, och ibland tar helt enkelt utrymmet på servern slut. Men vi ger oss inte — arbetet fortsätter, och processen, som man säger, är "under kontroll".

post more button

1081

post actions

Kommentarer

Yeah, dynamic import is definitely a cool feature of JS.
I hadn't worked with such a stack before and I was used to a pretty strict separation between back-end and front-end, so a more flexible approach is not obvious to me.
I had encountered this more as a theoretical concept and had not seen such solutions in real projects. It was especially interesting to see this in action on a real website. Thank you!

Yes, something like that ) This approach also allows using modules with the same exports on both the front and back ends.

Like this:
let { session, ajax, addViewRoute } = typeof window !== 'undefined'
? await import("../../shared/frontend.js")
: await import("../../shared/backend-server.js")

This allows you to use the same code in both the browser and the server. It is especially useful for templates and defining public routes.

Cool! It somewhat reminds me of Dapr from .NET, a very interesting and elegant solution. Am I correct in understanding that the business logic does not know where the module is physically located, and the transport is chosen at the abstraction level? If so, it turns out a custom RPC abstraction has been implemented with switching between local calls and http?

a self-written gateway, made in such a way that microservices can either be part of a monolith or can be run as standalone microservices. That is, any API method can either remain within the monolith or be extracted separately with a couple of lines of code. This helps save memory (since it is limited, and one process requires about 200-500 MB of RAM), but at the same time, allows for distributing the load across additional servers. There is a universal function ajax(method, path,...), which calls functions from neighboring modules; if the neighboring module is in the same domain, the function is called directly, and if in another, it is done through a network request with the user's session identifier being passed through... Everything turned out very well, and, just to be safe, for now, everything is still hanging in the monolith.)

Thank you for the detailed analysis. It is especially valuable that not only the solutions are described, but also the real limitations that had to be faced. Such things usually remain behind the scenes.

I am curious, if it's not a secret, what are you currently using as an API Gateway? What has proven convenient for routing, auth, and rate-limit in a microservices architecture?

We simplified the mechanics a bit, and it was decided to update the engine as soon as possible, albeit with minimal functionality, since the old engine had a lot of bugs that got us banned from search engines, causing our traffic to drop to zero. The correspondence has been saved, the governance will appear a bit later, and we will further develop gamification elements. Energy and experience were transferred from the old database. We have not yet decided what to do with the medals and statuses, and we will try to implement the friends/subscriptions functionality in the near future.

The course towards the revival of Gamer, of course, cannot fail to please, but where, may I ask, have the remaining little bonuses from the old times gone: the VIP status that allowed editing posts without spending energy, the medals that brought such pleasant nostalgia, messaging with friends, and the overall friends list? Where is my stewardship on the blog "The Witcher 3: Wild Hunt"? And where is my personal Wiedzminka status, once earned by reaching level 60? Oh right, and where are the levels themselves? I am not asking for the light bulb back, but it is very disappointing to lose the elements of gamification that the old Gamer was famous for.

Thank you.