administration

Blog Programmer: Apa yang Terjadi di Balik Layar gamer.ru

content auto translated from {from}

Catatan Sejarah Singkat

Situs gamer.ru telah mengalami penulisan ulang kode yang ketiga (atau bahkan mungkin keempat). Proyek ini awalnya ditulis di Ruby-on-Rails pada tahun 2000-an yang lalu. Arsitekturnya bersifat monolitik, sehingga setiap permintaan pengguna 'menarik' sejumlah besar permintaan tambahan ke database dan memuat semua pustaka yang mungkin. Untuk memastikan situs tetap berjalan dengan 100 ribu pengunjung per hari, kami harus menggunakan lima server kuat, memanfaatkan memcached, Redis, dan mereplikasi database ke beberapa server. Ini memungkinkan kami untuk bertahan hingga tahun 2018, ketika masalah keuangan mulai muncul dan tim pengembang bubar.

Sekitar tahun 2020, situs kehilangan sertifikat SSL. Memperbaruinya tidak mungkin, karena versi lama Ruby-on-Rails tergantung pada versi openssl yang sudah ketinggalan zaman, sementara sertifikat baru memerlukan versi yang lebih baru. Tidak ada yang terlalu khawatir — situs terus beroperasi, meskipun dengan buruk. Dari tahun 2015 hingga 2025, jumlah pengunjung secara bertahap turun dari 100 ribu menjadi 1 ribu orang per hari. Di blog dan komentar tersembunyi, jumlah spam, termasuk konten yang tidak pantas, meningkat secara signifikan. Yandex sepenuhnya kehilangan minat pada kami, dan webmaster dipenuhi dengan sejumlah besar kesalahan kritis yang ditandai dengan warna merah.

Apa yang Kami Lakukan untuk Memperbaikinya

Situs ini membutuhkan optimasi serius, karena arsitektur lama tidak lagi memenuhi kenyataan. Di database terkumpul sekitar 100 ribu pos dan 1,6 juta komentar yang perlu dipindahkan dengan hati-hati ke mesin baru. Kami memutuskan untuk beralih ke arsitektur mikroservis di backend dan frontend, sambil menggunakan teknologi modern, termasuk HTMLElement yang sedang tren.

Proyek ini sepenuhnya ditulis ulang dari awal menggunakan NodeJS tanpa menggunakan pustaka pihak ketiga, yang menjamin kami hidup tenang selama 10-20 tahun ke depan. Sekarang kami tidak perlu khawatir bahwa pembaruan pustaka trendi seperti ExpressJS atau React bisa merusak seluruh situs dan membutuhkan refaktorisasi besar-besaran. Bahkan, editor visual untuk pos harus kami buat sendiri, karena tidak ada solusi yang ada yang memenuhi permintaan sederhana kami. Sekarang mesin merender halaman HTML untuk perangkat lama dan mesin pencari, sementara memberikan konten kepada pengguna melalui AJAX.

Saat ini, situs ini berhasil menangani beban rata-rata sekitar 150 permintaan per detik, di mana sebagian besar lalu lintas terdiri dari bot pencari dan crawler lainnya. Bot semrush dan openai berperilaku sangat aktif, seolah mencoba untuk mengunduh seluruh situs dalam sehari. Jika Yandex mengindeks kami perlahan, dengan kecepatan 1-2 permintaan per detik, maka teman-teman ini dapat mengajukan hingga 50 permintaan.

Namun, mesin ini dioptimalkan sedemikian rupa sehingga seluruh armada bot ini dapat dilayani hanya dengan satu virtual private server yang harganya sekitar 500 rubel per bulan.

Tentu saja, situs ini sesekali mengingatkan kami tentang dirinya dengan kesalahan 502 dan 504, yang secara bertahap diidentifikasi dan diperbaiki. Kadang-kadang ternyata ada orang yang lupa menambahkan indeks ke database, kadang permintaan yang terlalu kompleks harus dibagi menjadi beberapa permintaan yang lebih sederhana, dan terkadang ruang di server habis. Tapi kami tidak menyerah — bekerja terus berlanjut dan proses, seperti yang dikatakan, 'dalam kendali'.

post more button

1081

post actions

Komentar

Yeah, dynamic import is definitely a cool feature of JS.
I hadn't worked with such a stack before and I was used to a pretty strict separation between back-end and front-end, so a more flexible approach is not obvious to me.
I had encountered this more as a theoretical concept and had not seen such solutions in real projects. It was especially interesting to see this in action on a real website. Thank you!

Yes, something like that ) This approach also allows using modules with the same exports on both the front and back ends.

Like this:
let { session, ajax, addViewRoute } = typeof window !== 'undefined'
? await import("../../shared/frontend.js")
: await import("../../shared/backend-server.js")

This allows you to use the same code in both the browser and the server. It is especially useful for templates and defining public routes.

Cool! It somewhat reminds me of Dapr from .NET, a very interesting and elegant solution. Am I correct in understanding that the business logic does not know where the module is physically located, and the transport is chosen at the abstraction level? If so, it turns out a custom RPC abstraction has been implemented with switching between local calls and http?

a self-written gateway, made in such a way that microservices can either be part of a monolith or can be run as standalone microservices. That is, any API method can either remain within the monolith or be extracted separately with a couple of lines of code. This helps save memory (since it is limited, and one process requires about 200-500 MB of RAM), but at the same time, allows for distributing the load across additional servers. There is a universal function ajax(method, path,...), which calls functions from neighboring modules; if the neighboring module is in the same domain, the function is called directly, and if in another, it is done through a network request with the user's session identifier being passed through... Everything turned out very well, and, just to be safe, for now, everything is still hanging in the monolith.)

Thank you for the detailed analysis. It is especially valuable that not only the solutions are described, but also the real limitations that had to be faced. Such things usually remain behind the scenes.

I am curious, if it's not a secret, what are you currently using as an API Gateway? What has proven convenient for routing, auth, and rate-limit in a microservices architecture?

We simplified the mechanics a bit, and it was decided to update the engine as soon as possible, albeit with minimal functionality, since the old engine had a lot of bugs that got us banned from search engines, causing our traffic to drop to zero. The correspondence has been saved, the governance will appear a bit later, and we will further develop gamification elements. Energy and experience were transferred from the old database. We have not yet decided what to do with the medals and statuses, and we will try to implement the friends/subscriptions functionality in the near future.

The course towards the revival of Gamer, of course, cannot fail to please, but where, may I ask, have the remaining little bonuses from the old times gone: the VIP status that allowed editing posts without spending energy, the medals that brought such pleasant nostalgia, messaging with friends, and the overall friends list? Where is my stewardship on the blog "The Witcher 3: Wild Hunt"? And where is my personal Wiedzminka status, once earned by reaching level 60? Oh right, and where are the levels themselves? I am not asking for the light bulb back, but it is very disappointing to lose the elements of gamification that the old Gamer was famous for.

Thank you.