👩‍🏭 🚿 ⛎ Cloud Games: Stress Test 5 Layanan Cloud Game Dengan Internet Buruk 🚨 🧕🏿 🚠

Sekitar setahun yang lalu, saya menerbitkan artikel "Cloud Games: Penilaian Langsung atas Kemampuan Layanan untuk Bermain di PC yang Lemah" . Ini menganalisis pro dan kontra dari berbagai layanan untuk game cloud pada PC yang lemah. Selama pertandingan, saya menguji setiap layanan dan membagikan kesan keseluruhan saya sebagai hasilnya.

Dalam komentar mereka dan artikel serupa lainnya, pembaca sering berbagi kesan mereka tentang layanan game yang berbeda. Seringkali ada pendapat yang bertentangan tentang hal yang sama. Semuanya sempurna, tetapi seseorang tidak bisa bermain karena lag dan jalur. Kemudian saya memiliki ide untuk mengevaluasi kualitas kerja layanan ini dalam kondisi yang berbeda - dari ideal hingga mengerikan. Kita berbicara tentang kualitas jaringan, karena jauh dari biasanya pengguna dapat membanggakan saluran komunikasi yang cepat dan bebas repot, bukan? Secara umum, di bawah cut adalah evaluasi layanan dengan simulasi kinerja jaringan yang berbeda.

Apa masalahnya?

Seperti disebutkan di atas - sebagai koneksi. Atau lebih tepatnya - hilangnya paket selama pertandingan. Semakin tinggi kerugiannya, semakin banyak masalah yang dimiliki gamer, semakin tidak puas dengan permainannya. Namun jarang, siapa pun memiliki saluran komunikasi yang ideal, seperti serat optik ke perangkat, dan dengan berdedikasi, dan tidak mencari-cari seluruh penghuni gedung apartemen Internet.

Untuk referensi, pada kecepatan koneksi 25 Mbit / s, 40-50 paket data diperlukan untuk mentransfer 1 frame / bingkai. Semakin banyak paket yang hilang, semakin kurang kualitas gambarnya, dan semakin terlihat kelambatan dan jalur. Dalam kasus yang parah, menjadi tidak mungkin untuk dimainkan.

Secara alami, layanan cloud itu sendiri tidak dapat memengaruhi lebar dan stabilitas saluran pengguna (meskipun tentu saja akan sangat bagus). Tetapi kemudian Anda dapat memberikan berbagai cara untuk meratakan masalah komunikasi. Layanan apa yang paling sesuai dengan masalah - lihat di bawah.

Apa yang sebenarnya kita bandingkan?

PC Normal (Intel i3-8100, GTX 1060 6 GB, 8GB RAM), GeForce Now ( GFN versi Rusia dengan server di Moskow), Loudplay , Vortex , Playkey , Stadia . Di semua layanan kecuali Stadia, kami mempelajari kualitas permainan di The Witcher. Google Stadia tidak memiliki game ini pada saat penulisan, jadi saya harus menguji yang lain - Odyssey.

Bagaimana kondisi dan metode pengujian?

Pengujian dari Moskow. Penyedia - MGTS, tarif 500 Mbps, koneksi kabel, bukan WiFi. Kami mengambil pengaturan kualitas grafis default dalam layanan, resolusinya adalah FullHD.

Menggunakan program Clumsy , kami mensimulasikan masalah jaringan, yaitu, paket kehilangan berbagai jenis dan ukuran.

Kerugian tunggal yang seragam. Ini terjadi ketika hanya 1 paket yang hilang dan kerugian didistribusikan kurang lebih secara merata. Jadi, kehilangan seragam 10% berarti bahwa untuk setiap 100 paket setiap 10 hilang, tetapi selalu hanya 1 paket. Masalahnya biasanya memanifestasikan dirinya dengan distorsi (perisai) pada saluran dari klien ke server.

Kami menguji kerugian seragam sebesar 5%, 10%, 25%.

Kerugian Massal yang Tidak Merataketika pada satu titik 40-70 paket berturut-turut langsung hilang. Kerugian seperti itu paling sering terjadi karena masalah dengan peralatan jaringan (router, dll.) Pada pengguna atau pada penyedia. Dapat dikaitkan dengan buffer overflow dari peralatan jaringan pada jalur komunikasi pengguna-server. WiFi dengan dinding tebal juga bisa menyebabkan kerugian seperti itu. Kemacetan jaringan nirkabel karena kehadiran sejumlah besar perangkat adalah alasan lain yang sangat khas untuk gedung perkantoran dan apartemen.

Kami menguji kerugian tidak merata 0,01%, 0,1%, 0,5%.

Di bawah ini saya menganalisis semua kasus ini dan menerapkan perbandingan video untuk kejelasan. Dan di akhir artikel saya memberikan tautan ke gameplay video mentah dan tidak terpasang dari semua layanan dan kasing - di sana Anda dapat melihat artefak dan informasi teknis secara lebih terperinci (di semua layanan kecuali Stadia, data dari konsol teknis dicatat; Saya tidak menemukan ini dari Stadia).

Pergilah!

Di bawah ini adalah 7 skenario uji stres dan video yang ditandai waktu (videonya sama, untuk kenyamanan, penayangan dimulai pada saat yang tepat di setiap paragraf). Di akhir pos adalah sumber video untuk masing-masing layanan. Seorang teman yang baik membantu saya membuat video, terima kasih padanya untuk itu!

Skenario nomor 1. Kondisi ideal. Kehilangan jaringan nol

Semuanya, sebagaimana mestinya di dunia yang ideal. Tidak ada masalah komunikasi, tidak ada kesenjangan, tidak ada gangguan, jalur akses Anda adalah cahaya dari Internet. Dalam kondisi rumah kaca seperti itu, hampir semua peserta tes menunjukkan diri mereka layak.

PC

Dalam setiap skenario, kami mengambil frame dari game di PC sebagai referensi. Jelas bahwa kualitas jaringan tidak memengaruhi sama sekali, permainan berjalan di PC secara lokal. Kehadiran frame ini menjawab pertanyaan "apakah ada perbedaan saat bermain di cloud dibandingkan dengan bermain di PC Anda". Dalam kondisi ideal, dalam kasus kami, itu tidak terasa di sebagian besar layanan. Di bawah ini kami tidak akan menulis apa pun tentang PC, hanya ingat itu.

GeForce Now

Semuanya baik-baik saja, gambarnya jelas, prosesnya berjalan lancar, tanpa friezes.

Pusaran

Vortex merusak dunia ideal kita. Dia segera mulai mengalami masalah - gambarnya lebih buruk daripada orang lain, ditambah "rem" yang terlihat jelas. Masalah yang mungkin terjadi adalah server permainan terletak jauh dari Moskow, ditambah perangkat keras pada server permainan tampaknya lebih lemah dan FullHD tidak diekspor dengan baik. Dalam semua tes, Vortex berkinerja buruk. Jika seseorang memiliki pengalaman positif bermain dengan Vortex - tulis di komentar, bagikan dari mana Anda bermain dan seberapa baik semuanya berjalan.

Playkey

Semuanya baik-baik saja, sama seperti pada PC lokal. Masalah yang terlihat seperti jalur, kelambanan, dll. tidak. Layanan

Loudplay

menunjukkan gambar yang sangat baik, tidak ada masalah yang terlihat.

Stadia

Layanan game dari Google berfungsi dengan baik meskipun kenyataannya tidak memiliki server di Federasi Rusia, dan memang Stadia tidak secara resmi berfungsi di Rusia. Namun, semuanya baik-baik saja. Sangat disayangkan, tentu saja, bahwa Stadia tidak memiliki "Witcher" pada saat pertandingan, tetapi apa yang harus dilakukan, mereka mengambil Odyssey - juga menuntut, juga tentang seorang pria yang memotong orang dan hewan.

Skenario nomor 2. Kerugian seragam 5%

Dalam tes ini, dari 100 paket, kira-kira setiap 20 hilang. Biarkan saya mengingatkan Anda bahwa untuk merender satu frame Anda memerlukan 40-50 paket.

GeForce Now Layanan

Nvidia berjalan baik, tidak masalah. Gambarnya sedikit lebih kabur daripada Playkey, tetapi The Witcher masih dapat dimainkan.

Vortex Segalanya

menjadi lebih buruk di sini. Mengapa - itu tidak sepenuhnya tidak bisa dimengerti, kemungkinan besar, redundansi tidak disediakan atau minimal. Redundansi adalah pengkodean yang mengoreksi kesalahan data yang dikirimkan (FEC - Forward Error Correction). Teknologi ini memulihkan data dengan kehilangan sebagian karena masalah jaringan. Anda dapat mengimplementasikan dan mengkonfigurasinya dengan cara yang berbeda, dan menilai dari hasilnya, pembuat Vortex tidak berhasil dalam hal ini. Bahkan dengan kerugian seragam yang menyedihkan, itu tidak akan berhasil. Dalam tes berikutnya, Vortex hanya "mati."

Playkey

Semua baik-baik saja, tidak ada banyak perbedaan dengan kondisi ideal. Mungkin itu membantu bahwa server perusahaan berada termasuk di Moskow, dari tempat pengujian dilakukan. Nah, dan mungkin redundansi tersebut lebih baik disetel. Layanan

Loudplay

telah menjadi sangat tidak dapat diputar , meskipun paketnya relatif kecil. Apa yang salah? Saya akan berasumsi bahwa Loudplay berfungsi dengan protokol TCP. Dalam hal ini, sementara tidak ada konfirmasi penerimaan paket, paket lain tidak terkirim, sistem menunggu konfirmasi pengiriman. Dengan demikian, jika suatu paket hilang, tidak akan ada konfirmasi pengirimannya, paket-paket baru tidak akan dikirimkan, gambar akan berdiri, akhir cerita.

Tetapi jika Anda menggunakan UDP, maka Anda tidak perlu mengonfirmasi penerimaan paket. Sejauh yang Anda tahu, semua layanan lain kecuali Loudplay menggunakan protokol UDP. Jika ini bukan masalahnya, perbaiki saya di komentar.

Stadia

Semuanya bisa dimainkan. Terkadang gambar pixelated, ada penundaan respons minimal. Mungkin itu tidak sempurna bekerja pada kode koreksi kesalahan, maka artefak kecil saat dimainkan di seluruh aliran.

Skenario nomor 3. Kerugian seragam 10%

Kami kehilangan setiap paket 10 per seratus. Ini adalah tantangan untuk layanan. Untuk secara efektif menangani kerugian seperti itu, Anda perlu teknologi untuk memulihkan dan / atau mengirim ulang data yang hilang.

GeForce Now

Geforce memiliki kelemahan kecil sebagai aliran video. Sejauh yang bisa dinilai, GFN merespons masalah jaringan dengan mencoba menguranginya. Layanan ini mengurangi bitrate, yaitu jumlah bit untuk transfer data. Jadi dia berusaha mengurangi beban pada jaringan dengan kualitas yang tidak memadai, menurutnya, dan menjaga koneksi yang stabil. Dan benar-benar tidak ada pertanyaan tentang stabilitas, tetapi di sini kualitas videonya sangat menderita. Kami melihat pikselasi gambar yang signifikan. Nah, karena pemodelan mengasumsikan kehilangan konstan 10% dari paket, penurunan bitrate tidak benar-benar membantu, situasinya tidak kembali normal.

Dalam kehidupan nyata, gambar kemungkinan besar tidak akan buruk buruk, tetapi mengambang. Kerugian meningkat - gambar menjadi kabur; kerugian berkurang - gambar kembali normal dan sebagainya. Pengalaman bermain tidak baik, tentu saja.

Playkey

Tidak ada masalah khusus. Mungkin, algoritma mendeteksi masalah pada jaringan, menentukan tingkat kerugian dan lebih fokus pada redundansi, daripada mengurangi bitrate. Ternyata dengan kerugian seragam 10%, kualitas gambar tetap praktis tidak berubah, pengguna tidak mungkin melihat kerugian seperti itu.

Loudplay

Tidak beroperasi, itu hanya tidak dimulai. Dalam tes lanjutan, situasinya berulang. Sejauh yang bisa dinilai, layanan ini tidak beradaptasi dengan masalah jaringan. Mungkin protokol TCP yang harus disalahkan. Kerugian sedikit pun melumpuhkan layanan sepenuhnya. Tidak terlalu praktis untuk kehidupan nyata, tentu saja.

Vortex

juga merupakan masalah besar. Anda tidak dapat bermain dalam kondisi seperti itu, meskipun masih ada gambar dan karakter terus berjalan, bagaimanapun, dalam tersentak. Saya pikir ini semua tentang implementasi yang sama atau tidak ada redundansi yang sama. Paket sering hilang dan tidak dipulihkan dengan cara apa pun. Akibatnya, kualitas gambar menurun ke tingkat yang tidak dapat dimainkan.

Stadia

Sayangnya, semuanya buruk di sini. Ada jeda aliran, karena peristiwa di layar terjadi secara menyentak, sangat sulit untuk dimainkan. Dapat diasumsikan bahwa masalah muncul, seperti dalam kasus Vortex, karena redundansi minimal atau ketidakhadirannya. Saya berkonsultasi dengan beberapa kenalan yang "dalam subjek", mereka mengatakan bahwa Stadia, kemungkinan besar, sedang menunggu perakitan penuh frame. Tidak seperti GFN, GFN tidak mencoba menyelamatkan situasi dengan penurunan total bitrate. Akibatnya, tidak ada artefak, tetapi jalur dan kelambanan muncul (GFN, sebaliknya, memiliki lebih sedikit jalur / kelambatan, tetapi karena bitrate rendah gambarnya sama sekali tidak menarik).

Layanan lain, juga, tampaknya tidak menunggu perakitan lengkap bingkai, mengganti bagian yang hilang dengan fragmen dari bingkai lama. Ini adalah solusi yang baik, dalam kebanyakan kasus pengguna tidak akan melihat tangkapan (30+ frame diganti per detik), meskipun kadang-kadang artefak dapat terjadi.

Skenario nomor 4. Kerugian seragam 25%

Setiap paket keempat hilang. Semakin ~~buruk~~ dan ~~semakin buruk~~ . Secara umum, dengan koneksi "bocor" seperti itu, bermain normal di cloud hampir tidak mungkin. Meskipun beberapa peserta pembanding menghadapi, meskipun tidak sempurna.

GFN Masalahnya

sudah cukup terlihat. Gambar ini pixelated dan kabur. Anda masih bisa bermain, tetapi ini sama sekali tidak seperti yang ditawarkan GFN di awal. Dan pastinya bukan cara bermain game yang indah. Kecantikan tidak lagi dihargai. Gameplay

Playkey

berjalan dengan baik. Ada kehalusan, meskipun gambarnya sedikit menderita. Ngomong-ngomong, di kiri atas adalah jumlah berapa banyak paket yang hilang yang dipulihkan. Seperti yang Anda lihat, 96% paket dipulihkan.

Loudplay

tidak dimulai.

Vortex

Anda tidak dapat bermain bahkan dengan keinginan yang sangat kuat, jalur (menghentikan gambar, melanjutkan aliran video dari fragmen baru) bahkan lebih terlihat.

Stadia

Layanan ini hampir tidak dapat diputar. Alasannya telah disebutkan di atas. Menunggu perakitan frame, redundansi minimal, dengan kerugian seperti itu tidak cukup.

Skenario nomor 5. Kerugian tidak merata 0,01%.

Untuk 10.000 paket, 40-70 paket berturut-turut hilang satu kali. Artinya, kita kehilangan sekitar 1 dari 200 frame. Kebetulan buffer perangkat jaringan penuh dan semua paket baru dibuang (dijatuhkan) sampai buffer dibebaskan. Semua peserta dalam perbandingan, kecuali Loudplay, menghitung kerugian tersebut sampai taraf tertentu.

GFN

Gambar telah kehilangan sedikit kualitas, menjadi sedikit tidak jelas, tetapi semuanya cukup dapat dimainkan.

Playkey

Semuanya sangat baik. Gambarnya halus, gambarnya bagus. Anda bisa bermain tanpa masalah.

Loudplay

Beberapa detik pertama gambar itu, sang pahlawan bahkan berlari. Tetapi koneksi ke server hampir segera hilang. Oh, protokol TCP itu. Kerugian pertama mengurangi layanan.

Vortex

Masalah umum yang diamati. Friezes, lags dan itu saja. Akan sangat sulit untuk bermain dalam kondisi seperti itu.

Stadia

Playable. Drawdown kecil terlihat, gambar kadang-kadang pixelated.

Skenario nomor 6. Kerugian tidak merata 0,1%

Untuk 10.000 paket, 40-70 paket berturut-turut hilang 10 kali. Ternyata kami kehilangan 10 dari 200 frame.

Saya harus mengatakan segera bahwa masalah nyata muncul di sebagian besar layanan. Misalnya, gambar berkedut, jadi redundansi tidak membantu di sini. Artinya, ada efek positif dalam hal menggunakan teknologi redundansi, tetapi kecil.

Faktanya adalah bahwa waktu reaksi terhadap tindakan pengguna dan permainan itu sendiri terbatas, aliran video harus kontinu. Tidak mungkin untuk mengembalikan aliran ke kualitas yang dapat diterima terlepas dari segala upaya layanan.

Artefak muncul (upaya untuk mengkompensasi hilangnya paket, tidak ada cukup data) dan tersentak gambar.

GFN

Kualitas gambar turun secara nyata, bitrate berkurang jelas, dan sangat signifikan.

Playkey

berupaya lebih baik - mungkin karena redundansi disetel dengan baik, ditambah algoritma bitrate menganggap kerugiannya tidak terlalu tinggi dan tidak mengubah gambar menjadi berantakan piksel.

Loudplay

tidak dimulai.

Vortex

Diluncurkan, tetapi dengan kualitas gambar yang buruk. Tersentak dan drawdowns sangat terlihat. Sulit untuk bermain dalam kondisi seperti itu.

Stadia Jerks

terlihat jelas, ini adalah indikator yang jelas bahwa redundansi tidak cukup. Gambar membeku, lalu bingkai lainnya muncul, ada jeda dalam aliran video. Anda bisa bermain, pada prinsipnya, jika ada keinginan besar dan kecenderungan klinis untuk menyiksa diri.

Skenario nomor 7. Kehilangan 0,5% tidak merata

Untuk 10.000 paket, 40-70 paket berturut-turut hilang 50 kali. Kami kehilangan 50 frame dari 200.

Situasinya adalah kelas "seragam pi *** c". Router Anda memicu, penyedia mengalami kecelakaan, kabel digigit tikus, tetapi Anda masih ingin bermain di cloud. Layanan mana yang harus Anda pilih?

GFN

Ini sudah sangat sulit untuk dimainkan, jika memungkinkan - bitrate sangat rendah. Frame hilang, bukan gambar normal yang kita lihat "sabun". Frame tidak dipulihkan - tidak ada informasi yang cukup untuk dipulihkan. Jika GFN memiliki pemulihan sama sekali. Cara layanan secara agresif mencoba menyelamatkan situasi dengan bitrate menimbulkan keraguan tentang kesediaannya untuk bekerja dengan redundansi.

Playkey

Ada distorsi bingkai, gambar berkedut, yaitu elemen-elemen dari frame individu diulang. Terlihat bahwa sebagian besar bingkai "rusak" dipulihkan dari potongan-potongan yang sebelumnya. Artinya, di frame baru ada bagian dari frame lama. Tapi gambarnya kurang lebih jelas. Anda dapat mengendalikannya, tetapi dalam adegan yang dinamis, misalnya, dalam perkelahian, di mana Anda memerlukan reaksi yang baik - sulit.

Loudplay

Tidak mulai.

Vortex

dimulai, tetapi akan lebih baik untuk tidak memulai - Anda tidak bisa memainkannya. Layanan

Stadia

dalam kondisi seperti itu tidak dapat dimainkan. Alasannya adalah kebutuhan untuk menunggu perakitan frame dan redundansi yang buruk.

Siapa pemenangnya?

Peringkat itu tentu saja subjektif. Anda bisa berdebat dalam komentar. Yah, tempat pertama, tentu saja, untuk PC lokal. Karena kenyataan bahwa layanan cloud sangat peka terhadap kualitas jaringan, dan kualitasnya agak tidak stabil di dunia nyata, PC gim Anda sendiri tetap berada di luar persaingan. Tetapi jika karena alasan tertentu tidak ada di sana, maka lihat peringkatnya.

PC lokal. Diharapkan
Playkey
GeForce Sekarang
Stadion Google
Pusaran
Loudplay

Sebagai kesimpulan, izinkan saya mengingatkan Anda lagi bahwa ini memainkan peran utama dalam cloud gaming dalam hal resistensi terhadap masalah di jaringan:

. UDP. , Loudplay TCP, . .
(FEC — Forward Error Correction, ). . , .
. , . — .
Bagaimana post-processing dikonfigurasi. Jika masalah muncul, frame dapat direset, atau dikembalikan, atau dilengkapi dengan fragmen frame lama.
Kedekatan server dengan gamer dan kekuatan besi juga secara signifikan mempengaruhi kualitas permainan, tetapi ini juga berlaku untuk jaringan yang ideal. Jika ping ke server terlalu tinggi, bahkan pada jaringan yang ideal Anda tidak akan bermain dengan nyaman. Kami tidak bereksperimen dengan ping dalam penelitian ini.

Seperti yang dijanjikan, berikut adalah tautan ke video mentah dari berbagai layanan di semua kasus .

Cloud Games: Stress Test 5 Layanan Cloud Game Dengan Internet Buruk