Jogos na nuvem: Teste de estresse 5 serviços de jogos na nuvem com Internet ruim

imagem

Há cerca de um ano, publiquei o artigo "Jogos em nuvem: avaliação em primeira mão dos recursos de serviços para jogar em PCs fracos" . Ele analisou os prós e contras de diferentes serviços para jogos em nuvem em PCs fracos. Durante o jogo, testei cada serviço e compartilhei minha impressão geral como resultado.

Nos comentários a esses e outros artigos similares, os leitores geralmente compartilhavam suas impressões sobre diferentes serviços de jogos. Muitas vezes, havia opiniões opostas sobre a mesma coisa. Alguém está tudo perfeito, mas alguém não pode jogar por causa de atrasos e frisos. Então tive a ideia de avaliar a qualidade do trabalho desses serviços em diferentes condições - do ideal ao terrível. Estamos falando da qualidade das redes, porque longe de sempre o usuário pode ter um canal de comunicação rápido e sem complicações, certo? Em geral, sob o corte está a avaliação de serviços com uma simulação de diferentes desempenhos da rede.

Qual é o problema?


Como mencionado acima - como uma conexão. Ou melhor - na perda de pacotes durante o jogo. Quanto maior a perda, mais problemas um jogador tem, menos satisfeito ele fica com o jogo. Mas, raramente, alguém tem um canal de comunicação ideal, como fibra óptica para o dispositivo, e com dedicação, sem vasculhar todos os habitantes da Internet do prédio.

Para referência, a uma velocidade de conexão de 25 Mbit / s, são necessários 40-50 pacotes de dados para transferir 1 quadro / quadro. Quanto mais pacotes são perdidos, menor a qualidade da imagem e mais perceptíveis os atrasos e frisos. Em casos graves, torna-se simplesmente impossível jogar.

Naturalmente, o próprio serviço de nuvem não pode afetar a largura e a estabilidade do canal do usuário (embora seria ótimo, é claro). Mas você pode fornecer maneiras diferentes de nivelar problemas de comunicação. Quais serviços lidam melhor com o problema - veja abaixo.

O que exatamente estamos comparando?


PC normal (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (sua versão russa do GFN com servidores em Moscou), Loudplay , Vortex , Playkey , Stadia . Em todos os serviços, exceto no Stadia, estudamos a qualidade do jogo em The Witcher. O Google Stadia não tinha esse jogo no momento em que escrevi, então tive que testar outro - Odyssey.

Quais são as condições e métodos de teste?


Teste de Moscou. Fornecedor - MGTS, tarifa de 500 Mbps, conexão a cabo, não WiFi. Tomamos as configurações de qualidade gráfica padrão nos serviços, a resolução é FullHD.

Usando o programa Clumsy , simulamos problemas de rede, como perda de pacotes de vários tipos e tamanhos.

Perdas individuais uniformes. É quando apenas 1 pacote é perdido e as perdas são distribuídas de maneira mais ou menos uniforme. Portanto, uma perda uniforme de 10% significa que para cada 100 pacotes a cada 10 é perdido, mas sempre apenas 1 pacote. O problema geralmente se manifesta com distorções (blindagem) no canal do cliente para o servidor.

Testamos perdas uniformes de 5%, 10%, 25%.

Perdas de massa desiguaisquando em um ponto 40-70 pacotes em uma linha são perdidos imediatamente. Essas perdas geralmente ocorrem devido a problemas com o equipamento de rede (roteadores, etc.) no usuário ou no provedor. Pode estar associado a um estouro de buffer do equipamento de rede na linha de comunicação usuário-servidor. O WiFi com paredes espessas também pode causar essas perdas. O congestionamento da rede sem fio devido à presença de um grande número de dispositivos é outro motivo muito típico para escritórios e prédios de apartamentos.

Testamos perdas desiguais de 0,01%, 0,1%, 0,5%.

Abaixo, analiso todos esses casos e aplico a comparação de vídeos para maior clareza. E no final do artigo, forneço um link para jogos de vídeo não montados e brutos de todos os serviços e casos - lá você pode ver artefatos e informações técnicas com mais detalhes (em todos os serviços, exceto Stadia, os dados do console técnico são registrados; eu não os encontrei no Stadia).

Vai!


Abaixo estão 7 cenários de teste de estresse e vídeos com registro de data e hora (o vídeo é o mesmo, por conveniência, a visualização começa no momento certo em cada parágrafo). No final da postagem estão os vídeos de origem de cada um dos serviços. Um bom amigo me ajudou a fazer o vídeo, graças a ele por isso!

Cenário número 1. Condições ideais. Zero perda de rede


Tudo, como deveria estar em um mundo ideal. Não há problemas de comunicação, falhas, interferência, seu ponto de acesso é a luz da Internet. Em tais condições de estufa, quase todos os participantes do teste se mostram dignos.


PC

Em cada cenário, tomamos quadros de um jogo em um PC como referência. É claro que a qualidade da rede não afeta em nada, o jogo é executado no PC localmente. A presença desses quadros responde à pergunta "existe uma diferença ao jogar na nuvem em comparação com o jogo no seu PC". Em condições ideais, no nosso caso, isso não é sentido na maioria dos serviços. Abaixo, não escreveremos nada sobre PCs, lembre-se de que é.

GeForce Now

Tudo está bem, a imagem é clara, o processo está ocorrendo sem problemas, sem frisos.

Vórtice

O vórtice estraga o nosso mundo ideal. Ele imediatamente começou a ter problemas - a imagem é pior do que todos os outros, além dos "freios" serem claramente visíveis. Um possível problema é que os servidores de jogos estão localizados longe de Moscou, além do hardware nos servidores de jogos parecer mais fraco e o FullHD não exportar bem. Em todos os testes, o Vortex teve um desempenho ruim. Se alguém tiver uma experiência positiva tocando com o Vortex - escreva nos comentários, compartilhe de onde você tocou e quão bem tudo acabou.

Playkey Está

tudo bem, assim como no PC local. Problemas visíveis, como frisos, atrasos, etc. não.

O

serviço Loudplay mostra uma imagem excelente, não há problemas visíveis.

Stadia

O serviço de jogos do Google funciona bem, apesar de não possuir servidores na Federação Russa e, de fato, o Stadia não funciona oficialmente na Rússia. No entanto, está tudo bem. É uma pena, é claro, que a Stadia não tivesse um "Witcher" na época do jogo, mas o que fazer, eles pegaram a Odisséia - também exigente, também sobre um homem que corta pessoas e animais.

Cenário número 2. Perda uniforme 5%


Neste teste, de 100 pacotes, aproximadamente a cada 20 é perdido. Deixe-me lembrá-lo que, para renderizar um quadro, você precisa de 40 a 50 pacotes.




O serviço da GeForce Now Nvidia está indo bem, sem problemas. A imagem está um pouco mais desfocada que a da Playkey, mas The Witcher ainda pode ser reproduzido.

Vórtice As coisas

pioraram aqui. Por que - não é totalmente incompreensível, provavelmente a redundância não é fornecida ou é mínima. A redundância é a codificação de correção de erros dos dados transmitidos (FEC - Forward Error Correction). Essa tecnologia recupera dados com perda parcial devido a problemas de rede. Você pode implementá-lo e configurá-lo de diferentes maneiras e, a julgar pelos resultados, os criadores do Vortex não tiveram sucesso nisso. Mesmo com perdas uniformes miseráveis, não funcionará. Nos testes subsequentes, o Vortex simplesmente "morreu".

Playkey

Tudo está bem, não há muita diferença com as condições ideais. Talvez ajude a localização dos servidores da empresa, inclusive em Moscou, de onde os testes foram realizados. Bem, e talvez a redundância mencionada acima seja melhor ajustada.

O

serviço Loudplay tornou-se bastante impossível de jogar, apesar da perda de pacotes relativamente pequena. O que pode estar errado? Assumirei que o Loudplay funcione com o protocolo TCP. Nesse caso, embora não haja confirmação de recebimento do pacote, outros pacotes não são enviados, o sistema aguarda confirmação de entrega. Consequentemente, se um pacote for perdido, não haverá confirmação de sua entrega, novos pacotes não serão enviados, a imagem permanecerá no final da história.

Mas se você usa o UDP, não precisará confirmar o recebimento do pacote. Até onde você sabe, todos os outros serviços, exceto o Loudplay, usam o protocolo UDP. Se não for esse o caso, corrija-me nos comentários.

Stadia

Tudo é jogável. Às vezes, uma imagem é pixelizada, há atrasos mínimos de resposta. Talvez ele funcione imperfeitamente na codificação de correção de erros, portanto, artefatos menores quando reproduzíveis em todo o fluxo.

Cenário número 3. Perda uniforme 10%


Perdemos cada 10 pacotes por cem. Este é um desafio para os serviços. Para lidar efetivamente com essas perdas, você precisa de tecnólogos para recuperar e / ou reenviar os dados perdidos.


GeForce Now

Geforce tem pequenas desvantagens como um fluxo de vídeo. Tanto quanto se pode julgar, a GFN responde a problemas de rede tentando reduzi-los. O serviço reduz a taxa de bits, ou seja, o número de bits para transferência de dados. Portanto, ele está tentando reduzir a carga em uma rede de qualidade insuficiente, em sua opinião, e manter uma conexão estável. E realmente não há perguntas sobre estabilidade, mas aqui a qualidade do vídeo sofre significativamente. Vemos pixelização significativa da imagem. Bem, como a modelagem assume uma perda constante de 10% dos pacotes, uma diminuição na taxa de bits não ajuda realmente, a situação não volta ao normal.

Na vida real, a imagem provavelmente não será estavelmente ruim, mas flutuante. As perdas aumentaram - a imagem ficou embaçada; as perdas foram reduzidas - a imagem voltou ao normal e assim por diante. Experiência em jogos não é boa, é claro.

Playkey

Sem problemas especiais. Provavelmente, o algoritmo detecta problemas na rede, determina o nível de perdas e se concentra mais na redundância, em vez de reduzir a taxa de bits. Acontece que, com 10% de perdas uniformes, a qualidade da imagem permanece praticamente inalterada, é improvável que o usuário note essas perdas.

Loudplay

Inoperante, simplesmente não começou. No decorrer de mais testes, a situação se repetiu. Tanto quanto se pode julgar, este serviço não se adapta de forma alguma aos problemas da rede. Talvez o protocolo TCP seja o culpado. A menor perda paralisa completamente o serviço. Não é muito prático para a vida real, é claro.

O vórtice

também é um grande problema. Você não pode jogar em tais condições, embora ainda exista uma imagem e o personagem continue a rodar, no entanto, em empurrões. Eu acho que é tudo sobre a mesma redundância mal implementada ou ausente. Os pacotes geralmente são perdidos e não são restaurados de forma alguma. Como resultado, a qualidade da imagem diminui para um nível não reproduzível.

Stadia

Infelizmente, tudo está ruim aqui. Há uma quebra de fluxo, devido à ocorrência de eventos na tela, é extremamente difícil de executar. Pode-se supor que o problema apareceu, como no caso do Vortex, devido à redundância mínima ou à sua ausência. Eu consultei alguns conhecidos que estão “no assunto”, eles disseram que a Stadia, provavelmente, está aguardando a montagem completa do quadro. Ao contrário do GFN, ele não tenta salvar a situação com uma diminuição total na taxa de bits. Como resultado, não há artefatos, mas frisos e atrasos aparecem (a GFN, pelo contrário, tem menos frisos / atrasos, mas devido à baixa taxa de bits, a imagem é completamente pouco atraente).

Outros serviços também parecem não esperar a montagem completa da estrutura, substituindo a peça que faltava por um fragmento da estrutura antiga. Essa é uma boa solução, na maioria dos casos o usuário não notará uma captura (mais de 30 quadros são substituídos por segundo), embora os artefatos possam às vezes ocorrer.

Cenário número 4. Perda uniforme 25%


Cada quarto pacote é perdido. Está ficando cada vez pior . Em geral, com uma conexão "com vazamento", a reprodução normal na nuvem dificilmente é possível. Embora alguns participantes da comparação estejam lidando, ainda que não perfeitamente.


GFN Os

problemas já são bastante visíveis. A imagem está pixelizada e borrada. Você ainda pode jogar, mas isso não é o que a GFN ofereceu desde o início. E definitivamente não é como jogar jogos bonitos. A beleza não é mais apreciada.

Playkey A

jogabilidade está indo bem. Há suavidade, embora a imagem sofra um pouco. A propósito, no canto superior esquerdo estão os números de quantos pacotes perdidos estão sendo recuperados. Como você pode ver, 96% dos pacotes são restaurados.

O Loudplay

não foi iniciado.

Vórtice

Você não pode tocar mesmo com um desejo muito forte; os frisos (parar a imagem, retomar o fluxo de vídeo de um novo fragmento) são ainda mais visíveis.

Stadia

O serviço é quase impossível de jogar. Os motivos já foram mencionados acima. Esperando a montagem do quadro, a redundância é mínima, com essas perdas não é suficiente.

Cenário número 5. Perdas desiguais de 0,01%.


Para 10.000 pacotes, 40-70 pacotes seguidos são perdidos uma vez. Ou seja, perdemos cerca de 1 em 200 quadros. Acontece que o buffer de um dispositivo de rede está cheio e todos os novos pacotes são simplesmente descartados (descartados) até que o buffer seja liberado. Todos os participantes da comparação, exceto o Loudplay, calcularam essas perdas em um grau ou outro.


GFN A

imagem perdeu um pouco de qualidade, ficou um pouco obscura, mas tudo é bastante reproduzível.

Playkey

Tudo está muito bem. A imagem é suave, a imagem é boa. Você pode jogar sem problemas.

Alto-falante

Nos primeiros segundos em que a imagem foi, o herói correu. Mas a conexão com o servidor foi quase imediatamente perdida. Oh, esse protocolo TCP. A primeira perda reduziu o serviço.

Vórtice

Problemas comuns observados. Frisos, atrasos e isso é tudo. Seria muito difícil jogar sob tais condições.

Stadia

Playable. Pequenos rebaixamentos são perceptíveis, às vezes a imagem é pixelizada.

Cenário número 6. Perda desigual 0,1%


Para 10.000 pacotes, 40-70 pacotes seguidos são perdidos 10 vezes. Acontece que estamos perdendo 10 dos 200 quadros.

Devo dizer imediatamente que problemas visíveis apareceram na maioria dos serviços. Por exemplo, uma imagem se contrai, então a redundância não ajuda aqui. Ou seja, há um efeito positivo no uso de tecnologia de redundância, mas é pequeno.

O fato é que o tempo de reação às ações do usuário e do jogo em si é limitado, o fluxo de vídeo deve ser contínuo. É impossível restaurar o fluxo para uma qualidade aceitável, apesar de qualquer esforço dos serviços.

Aparecem artefatos (uma tentativa de compensar a perda de pacotes, não há dados suficientes) e empurrões da imagem.


GFN

A qualidade da imagem caiu notavelmente, a taxa de bits é claramente reduzida e muito significativamente.

A Playkey

lida melhor - provavelmente porque a redundância está bem ajustada, além do algoritmo de taxa de bits considerar as perdas não muito altas e não transformar a imagem em uma bagunça pixelizada.

O Loudplay

não foi iniciado. Lançado

Vortex

, mas com uma qualidade de imagem terrível. Empurrões e rebaixamentos são muito visíveis. Dificilmente é possível jogar nessas condições.

Os Stadia Jerks são

claramente visíveis, este é um indicador claro de que a redundância não é suficiente. A imagem congela e, em seguida, outros quadros aparecem. Há uma interrupção no fluxo de vídeo. Você pode jogar, em princípio, se houver um grande desejo e uma tendência clínica à auto-tortura.

Cenário número 7. Perda desigual de 0,5%


Para 10.000 pacotes, 40-70 pacotes seguidos são perdidos 50 vezes. Estamos perdendo 50 quadros em 200.

A situação é da classe "uniforme pi *** c". Seu roteador acende, o provedor sofre um acidente, os fios são mordidos por ratos, mas você ainda deseja jogar na nuvem. Qual serviço você deve escolher?


GFN

Já é muito difícil de jogar, se possível - a taxa de bits é muito baixa. Os quadros são perdidos, em vez de uma imagem normal, vemos "sabão". Os quadros não são restaurados - não há informações suficientes para recuperar. Se o GFN tiver uma recuperação. A maneira como o serviço tenta salvar a situação com taxa de bits de forma agressiva levanta dúvidas sobre sua vontade de trabalhar com redundância.

Playkey

Há uma distorção do quadro, a imagem se contrai, ou seja, os elementos dos quadros individuais são repetidos. Vê-se que a maior parte do quadro “quebrado” foi restaurado a partir de pedaços do quadro anterior. Ou seja, nos novos quadros há partes dos quadros antigos. Mas a imagem é mais ou menos clara. Você pode controlá-lo, mas em cenas dinâmicas, por exemplo, em uma luta, onde você precisa de uma boa reação - é difícil.

Loudplay

Não foi iniciado.

O vórtice

começou, mas seria melhor não começar - você não pode reproduzi-lo.

O

Serviço Stadia nessas condições não pode ser reproduzido. Os motivos são a necessidade de aguardar a montagem do quadro e baixa redundância.

Quem é o vencedor?


A classificação, é claro, é subjetiva. Você pode discutir nos comentários. Bem, o primeiro lugar, é claro, é para o PC local. Devido ao fato de os serviços em nuvem serem extremamente sensíveis à qualidade da rede e a qualidade ser bastante instável no mundo real, seu próprio PC para jogos permanece fora de competição. Mas se por algum motivo não estiver lá, consulte a classificação.

  1. PC local. Esperado.
  2. Playkey
  3. GeForce Now
  4. Google estádios
  5. Vórtice
  6. Loudplay

Como conclusão, gostaria de lembrá-lo novamente de que ele desempenha um papel importante nos jogos na nuvem em termos de resistência a problemas na rede:
  • . UDP. , Loudplay TCP, . .
  • (FEC — Forward Error Correction, ). . , .
  • . , . — .
  • Como o pós-processamento está configurado. Se surgirem problemas, os quadros serão redefinidos, restaurados ou concluídos com fragmentos de quadros antigos.
  • A proximidade dos servidores com um jogador e o poder do ferro também afetam significativamente a qualidade do jogo, mas isso também é verdade para uma rede ideal. Se o ping nos servidores for muito alto, mesmo em uma rede ideal, você não jogará confortavelmente. Não experimentamos ping neste estudo.

Como prometido, aqui está um link para vídeos não processados ​​de vários serviços em todos os casos .

All Articles