administration

Blog programátora: co se děje pod kapotou gamer.ru

content auto translated from {from}

Malá historická poznámka

Web gamer.ru prochází již třetí (možná dokonce čtvrtou) úplnou přepracováním kódu. Původně byl projekt napsán na Ruby-on-Rails ještě v dávných nulových letech. Architektura byla monolitní, a proto každý uživatelský dotaz "táhl" za sebou obrovské množství dalších dotazů na databázi a načítání všech možných knihoven. Aby se zajistil provoz zdroje při 100 tisíc návštěvníků denně, muselo být zapojeno celkem pět výkonných serverů, použít memcache, Redis a replikovat databáze na několika serverech. To nám umožnilo tak nějak přežít do roku 2018, kdy začaly ve firmě finanční problémy a tým vývojářů se rozprchnul.

Kolem roku 2020 web přišel o SSL certifikát. Aktualizace se ukázala jako nemožná, protože stará verze Ruby-on-Rails závisela na staré verzi openssl, zatímco nové certifikáty vyžadovaly novější verzi. Nikdo se o to příliš nestaral — web pokračoval v rozumném provozu. V období mezi lety 2015 a 2025 postupně klesla návštěvnost z 100 tisíc na 1 tisíc lidí denně. V skrytých blozích a komentářích se objevilo obrovské množství spamu, včetně ne zrovna slušného obsahu. Yandex úplně ztratil zájem a ve webmasteru bylo jen samé červené plátno kritických chyb.

Co jsme udělali pro nápravu

Web potřeboval vážnou optimalizaci, protože stará architektura už neodpovídala realitě. V databázi se nahromadilo asi 100 tisíc příspěvků a 1,6 milionu komentářů, které bylo třeba pečlivě přenést na nový motor. Rozhodli jsme se přejít na mikroservisní architekturu jak na backendu, tak na frontendu, přičemž jsme zapojili moderní technologie, včetně módních HTMLElementů.

Projekt byl kompletně přepsán od nuly na NodeJS bez využití externích knihoven, což nám zaručuje klidný život na příštích 10–20 let. Nyní se nemusíme bát, že aktualizace nějaké módní knihovny jako ExpressJS nebo React rozbije celý web a vyžádá si další rozsáhlou refaktorizaci. Dokonce bylo nutné napsat vizuální editor příspěvků vlastními silami, protože nic hotového, co by vyhovovalo našim skromným požadavkům, nebylo k nalezení. Nyní motor generuje HTML stránky pro staré zařízení a vyhledávače, zatímco uživatelům dodává obsah přes AJAX.

V současné době web úspěšně snáší průměrné zatížení přibližně 150 dotazů za sekundu, přičemž velkou část provozu tvoří vyhledávací roboti a další crawleri. Zejména se aktivně chovají roboti semrush a openai, kteří se tváří, jako by se snažili stáhnout celý web za den. Pokud nás Yandex indexuje pomalu, rychlostí 1-2 dotazy za sekundu, tiše tito pánové mohou vyžadovat i 50.

Nicméně motor byl natolik optimalizován, že celou tuto armádu botů snadno obsluhuje pouze jeden levný virtuální server za přibližně 500 rublů měsíčně.

Samozřejmě nám web občas připomíná svou přítomnost chybami 502 a 504, které se postupně identifikují a odstraňují. Někdy se zjistí, že někdo zapomněl přidat index do databáze, někdy je třeba příliš složitý dotaz rozdělit na několik jednodušších, a někdy prostě dojde místo na serveru. Ale nevzdáváme se — práce pokračuje a proces, jak se říká, "je pod kontrolou".

post more button

1081

post actions

Komentáře

Yeah, dynamic import is definitely a cool feature of JS.
I hadn't worked with such a stack before and I was used to a pretty strict separation between back-end and front-end, so a more flexible approach is not obvious to me.
I had encountered this more as a theoretical concept and had not seen such solutions in real projects. It was especially interesting to see this in action on a real website. Thank you!

Yes, something like that ) This approach also allows using modules with the same exports on both the front and back ends.

Like this:
let { session, ajax, addViewRoute } = typeof window !== 'undefined'
? await import("../../shared/frontend.js")
: await import("../../shared/backend-server.js")

This allows you to use the same code in both the browser and the server. It is especially useful for templates and defining public routes.

Cool! It somewhat reminds me of Dapr from .NET, a very interesting and elegant solution. Am I correct in understanding that the business logic does not know where the module is physically located, and the transport is chosen at the abstraction level? If so, it turns out a custom RPC abstraction has been implemented with switching between local calls and http?

a self-written gateway, made in such a way that microservices can either be part of a monolith or can be run as standalone microservices. That is, any API method can either remain within the monolith or be extracted separately with a couple of lines of code. This helps save memory (since it is limited, and one process requires about 200-500 MB of RAM), but at the same time, allows for distributing the load across additional servers. There is a universal function ajax(method, path,...), which calls functions from neighboring modules; if the neighboring module is in the same domain, the function is called directly, and if in another, it is done through a network request with the user's session identifier being passed through... Everything turned out very well, and, just to be safe, for now, everything is still hanging in the monolith.)

Thank you for the detailed analysis. It is especially valuable that not only the solutions are described, but also the real limitations that had to be faced. Such things usually remain behind the scenes.

I am curious, if it's not a secret, what are you currently using as an API Gateway? What has proven convenient for routing, auth, and rate-limit in a microservices architecture?

We simplified the mechanics a bit, and it was decided to update the engine as soon as possible, albeit with minimal functionality, since the old engine had a lot of bugs that got us banned from search engines, causing our traffic to drop to zero. The correspondence has been saved, the governance will appear a bit later, and we will further develop gamification elements. Energy and experience were transferred from the old database. We have not yet decided what to do with the medals and statuses, and we will try to implement the friends/subscriptions functionality in the near future.

The course towards the revival of Gamer, of course, cannot fail to please, but where, may I ask, have the remaining little bonuses from the old times gone: the VIP status that allowed editing posts without spending energy, the medals that brought such pleasant nostalgia, messaging with friends, and the overall friends list? Where is my stewardship on the blog "The Witcher 3: Wild Hunt"? And where is my personal Wiedzminka status, once earned by reaching level 60? Oh right, and where are the levels themselves? I am not asking for the light bulb back, but it is very disappointing to lose the elements of gamification that the old Gamer was famous for.

Thank you.