administration

Programcının Blogu: gamer.ru'nun altında neler olup bitiyor

content auto translated from {from}

Küçük Tarih Bilgisi

gamer.ru sitesi, artık üçüncü (belki de dördüncü) tam kod revizyonunu yaşıyor. Proje, uzak geçmişte Ruby-on-Rails ile yazılmıştı. Mimari monolitikti, bu nedenle her kullanıcı isteği, veritabanına ve tüm olası kütüphanelere bir dizi ek istek getiriyordu. Günde 100 bin ziyaretçi ile ortalama bir işleyiş sağlamak için tam beş güçlü sunucu kullanmak, memcached, Redis kullanmak ve veritabanlarını birkaç sunucuya çoğaltmak zorunda kaldık. Bu, 2018 yılına kadar zor da olsa dayanmamızı sağladı, ta ki şirket finansal sıkıntıya düşene kadar ve yazılım geliştiricilerin ekibi dağıldı.

2020 yılı civarında, sitenin SSL sertifikası devre dışı kaldı. Eski Ruby-on-Rails sürümü, eski openssl sürümüne bağımlı olduğundan, yenilemek imkânsız oldu; yeni sertifikalar daha güncel bir sürüm gerektiriyordu. Kimse pek endişelenmedi — site kötü bir durumda da olsa çalışmaya devam etti. 2015 ile 2025 yılları arasında ziyaretçi sayısı, günde 100 bin kişiden 1 bine yavaş yavaş düştü. Gizli bloglar ve yorumlar, içinde pek de hoş olmayan içerikler barındıran büyük miktarda spamla dolmaya başladı. Yandex tamamen ilgisini kaybetti ve webmaster hesabında kritik hatalarla dolu kırmızı bir tuval ortaya çıktı.

Sorunları Nasıl Çözdük

Site, ciddi bir optimizasyona ihtiyaç duyuyordu çünkü eski mimari artık gerçeklere uymuyordu. Veritabanında yaklaşık 100 bin gönderi ve 1,6 milyon yorum birikmişti; bunların yeni motor içine dikkatlice taşınması gerekiyordu. Hem arka uçta hem de ön uçta mikro hizmet mimarisine geçmeye karar verdik ve bu arada modern teknolojileri, modaya uygun HTMLElement'leri de kullandık.

Proje, üçüncü taraf kütüphaneler kullanmadan tamamen sıfırdan NodeJS ile yeniden yazıldı; bu da bize önümüzdeki 10-20 yıl boyunca rahat bir yaşam garantisi sağlıyor. Artık ExpressJS veya React gibi bir modanın kütüphanesinin güncellenmesinin tüm siteyi bozmasından ve büyük ölçekli yeniden yapılandırma gerektirmesinden korkmamıza gerek yok. Hatta, ihtiyaçlarımıza uygun hazır bir görsel gönderi editörü bulamadığımız için bunu kendimiz yazmak zorunda kaldık. Şimdi motor, eski cihazlar ve arama motorları için HTML sayfalarını oluşturuyor ve kullanıcılara içeriği AJAX üzerinden sunuyor.

Günümüzde site, saniyede ortalama 150 isteğe kadar başarılı bir şekilde dayanabiliyor; bunun büyük kısmı arama botları ve diğer tarayıcılardan oluşuyor. Özellikle semrush ve openai botları, sanki bir günde tüm siteyi indirmek istiyormuş gibi hareket ediyor. Eğer Yandex, bizi yavaşça, saniyede 1-2 istekle indeksliyorsa, bu arkadaşlar 50 isteğe kadar talepte bulunabiliyor.

Ancak motor o kadar optimize oldu ki, bu bot ordusunu kolayca karşılayabilen sadece 500 ruble civarı bir sanal sunucu yeterli oluyor.

Elbette, arada sırada sitenin bize 502 ve 504 hatalarıyla kendini hatırlattığı durumlar oluyor; bunlar yavaş yavaş tespit edilip düzeltiliyor. Bazen birinin veritabanına indeks eklemeyi unuttuğu, bazen çok karmaşık bir isteği birkaç basit isteğe bölmemiz gerektiği, bazen de sunucuda yer bittiği ortaya çıkıyor. Ama pes etmiyoruz — çalışma devam ediyor ve süreç, dediğimiz gibi, "kontrol altında".

post more button

1081

post actions

Yorumlar

Yeah, dynamic import is definitely a cool feature of JS.
I hadn't worked with such a stack before and I was used to a pretty strict separation between back-end and front-end, so a more flexible approach is not obvious to me.
I had encountered this more as a theoretical concept and had not seen such solutions in real projects. It was especially interesting to see this in action on a real website. Thank you!

Yes, something like that ) This approach also allows using modules with the same exports on both the front and back ends.

Like this:
let { session, ajax, addViewRoute } = typeof window !== 'undefined'
? await import("../../shared/frontend.js")
: await import("../../shared/backend-server.js")

This allows you to use the same code in both the browser and the server. It is especially useful for templates and defining public routes.

Cool! It somewhat reminds me of Dapr from .NET, a very interesting and elegant solution. Am I correct in understanding that the business logic does not know where the module is physically located, and the transport is chosen at the abstraction level? If so, it turns out a custom RPC abstraction has been implemented with switching between local calls and http?

a self-written gateway, made in such a way that microservices can either be part of a monolith or can be run as standalone microservices. That is, any API method can either remain within the monolith or be extracted separately with a couple of lines of code. This helps save memory (since it is limited, and one process requires about 200-500 MB of RAM), but at the same time, allows for distributing the load across additional servers. There is a universal function ajax(method, path,...), which calls functions from neighboring modules; if the neighboring module is in the same domain, the function is called directly, and if in another, it is done through a network request with the user's session identifier being passed through... Everything turned out very well, and, just to be safe, for now, everything is still hanging in the monolith.)

Thank you for the detailed analysis. It is especially valuable that not only the solutions are described, but also the real limitations that had to be faced. Such things usually remain behind the scenes.

I am curious, if it's not a secret, what are you currently using as an API Gateway? What has proven convenient for routing, auth, and rate-limit in a microservices architecture?

We simplified the mechanics a bit, and it was decided to update the engine as soon as possible, albeit with minimal functionality, since the old engine had a lot of bugs that got us banned from search engines, causing our traffic to drop to zero. The correspondence has been saved, the governance will appear a bit later, and we will further develop gamification elements. Energy and experience were transferred from the old database. We have not yet decided what to do with the medals and statuses, and we will try to implement the friends/subscriptions functionality in the near future.

The course towards the revival of Gamer, of course, cannot fail to please, but where, may I ask, have the remaining little bonuses from the old times gone: the VIP status that allowed editing posts without spending energy, the medals that brought such pleasant nostalgia, messaging with friends, and the overall friends list? Where is my stewardship on the blog "The Witcher 3: Wild Hunt"? And where is my personal Wiedzminka status, once earned by reaching level 60? Oh right, and where are the levels themselves? I am not asking for the light bulb back, but it is very disappointing to lose the elements of gamification that the old Gamer was famous for.

Thank you.