Gdy cyfrowe biura stają się codziennością, a autonomiczne pojazdy nie są już tylko fantazją, jakość połączenia internetowego staje się czynnikiem decydującym o standardzie życia. Witajcie w Warszawie – mieście, które poddaliśmy analizie pod kątem jakości i szybkości sieci mobilnej. 

Czy stolica jest na tyle „online”, jak tego oczekujemy? Czy 5G jest nadal tylko sloganem reklamowym, czy stało się powszechną usługą, która naprawdę zaspokaja nasze potrzeby? 

Dzięki naszemu badaniu metodą Drive Test poznacie fakty, która rzucą nowe światło na stan Internetu mobilnego w Warszawie.

Czym jest badanie Internetu mobilnego metodą Drive Test?

Sposób ten polega na zbieraniu danych w ruchu, poprzez umieszczenie urządzeń pomiarowych na pokładzie samochodu. Dzięki temu możliwe jest uzyskanie warunków bardzo zbliżonych do tych, których na co dzień doświadczają mieszkańcy danego miasta.

W tym przypadku, po raz pierwszy w historii pomiarów, zmierzyliśmy nowe typy usług, takie jak jakość usług głosowych w popularnych komunikatorach internetowych (WhatsApp i Microsoft Teams). W pomiarze uwzględniliśmy również test sprawdzający, jak w sieciach mobilnych operatorów działa przesyłanie treści wideo dla serwisu Netflix. Kolejną nowością było dodanie w scenariuszu pomiarowym doświadczeń e-gamerów.

Z jakich urządzeń korzystano podczas pomiarów Internetu mobilnego w Warszawie?

Do przeprowadzenia badań metodą Drive Test, wykorzystaliśmy 12 smartfonów i skaner PCTEL Gflex. Wśród smartfonów znalazło się 8 urządzeń Samsung Galaxy S21 Ultra. Urządzenia te funkcjonowały w technologii 5G i posłużyły do testowania rozmów głosowych z rozróżnieniem na standardowe połączenie głosowe – VoLTE, połączenia głosowe dla aplikacji generycznej OTT (gOTT) z profilem WhatsApp oraz połączenia głosowe za pomocą Microsoft Teams.

Dla połączeń VoLTE i połączeń za pomocą WhatsAppa, zmierzyliśmy jakość dźwięku przesyłanych próbek mowy. Próbki te były oceniane przy użyciu algorytmu szerokopasmowego POLQA w wersji 3.0, obsługującego głos HD. Aby odwzorować typowe scenariusze korzystania ze smartfonów, dla testów połączeń głosowych VoLTE w tle generowany był ruch pakietowy poprzez losowe w czasie pobieranie paczki danych o wielkości 100 KB (pobieranie HTTP).

Dodatkowo, użyliśmy 4 urządzenia Samsung S23+ z aktywnym 5G do pomiaru pakietu danych. W szczególności uwzględniono tu usługi takie jak:

• pomiar szybkości Internetu dla przesyłania plików – w celu przetestowania wydajności usługi danych, pliki o wielkości 10 MB i 5 MB do pobrania i wysłania są przesyłane z lub na serwer testowy znajdujący się w chmurze. Wykonaliśmy także test przesyłania danych z i do serwera, mierząc ilość danych przesyłanych w ciągu 10 sekund.
• szybkość wyświetlania popularnych stron www oraz statycznej strony testowej „Kepler”, określonej przez ETSI (Europejski Instytut Norm Telekomunikacyjnych).
• Ocena jakości odtwarzania transmisji z serwisów streamingowych, takich jak Youtube i Netflix. Przy okazji tej analizy uwzględniliśmy fakt, że serwisy streamingowe dynamicznie dostosowują rozdzielczość wideo do dostępnej przepustowości Internetu, obejmując zarówno typowe scenariusze odtwarzania filmów HD (1080p), jak i testując zdolność sieci do dostarczania treści 4K UHD. Zatem, oprócz wskaźników sukcesu i czasów rozpoczęcia odtwarzania obrazu video, pomiary obejmowały również średnią rozdzielczość wideo.
• Pomiary typu „e-gaming”, realizowanych za pomocą protokołu TWAMP.

Którzy operatorzy zostali objęci badaniem?

Badaniami objęliśmy wszystkich polskich operatorów komórkowych: Orange, T-Mobile, Plus i Play. Testy zostały przeprowadzane w tzw. trybie FreeMode, w którym urządzenie pomiarowe korzystało z najnowszej dostępnej technologii, którą oferowała sieć w danym miejscu. Gdy 5G nie było dostępne, telefon korzystał z technologii LTE. Zebrane w ten sposób dane pozwalają na ocenę stabilności sieci nowej generacji w badanych lokalizacjach.

Jak wyglądała trasa przejazdu podczas badania Drive Test?

Trasa przejazdu obejmowała najważniejsze arterie i szlaki komunikacyjne stolicy Polski, znajdujące się po obu brzegach Wisły.

Pomiar szybkości Internetu mobilnego w Warszawie

Wyniki testów pobierania i wysyłania

Testy pobierania i wysyłania były przeprowadzane na terminalach pomiarowych Samsung S23. Wśród tych, które były używane do pomiarów pakietowych, najwyższy procentowy udział w technologii 5G zanotował Plus z wynikiem 98%. Kolejne miejsca zajęły Orange (85%), T-Mobile (83%) i Play (72%).

Podczas pomiarów danych, najwyższą średnią prędkość pobierania plików HTTP w ciągu 10 sekund w technologii 5G (NSA) osiągnął Plus, z wynikiem 129.4 Mb/s. Operator ten zdecydowanie wyprzedził kolejnych operatorów. Na drugim miejscu uplasował się T-Mobile (76.1 Mb/s), który okazał się nieznacznie lepszy od Play (61,3 Mb/s). Najniższy wynik zanotowało Orange (54,9 Mb/s).

W przypadku najwyższej średniej prędkości wysyłania plików HTTP 5G NSA w ciągu 10 sekund, najlepiej wypadł T-Mobile z wynikiem 51.80 Mb/s. Na drugim miejscu uplasowało się Play (51,07 Mb/s), a na trzecim Orange z wynikiem 44.05 Mb/s. Ostatnie miejsce zajął Plus z wynikiem 33.92 Mb/s.

Przy pobieraniu i wysyłaniu stałych plików o rozmiarach 10 MB i 5 MB, prędkości były znacznie niższe niż w teście, gdzie pobieramy i wysyłamy dane przez stały czas 10 sekund. Mimo tych różnic, także w tym specyficznym teście, operator Plus zajął pierwsze miejsce w pobieraniu pliku z wynikiem 50 Mb/s. W przypadku wysyłania pliku o rozmiarze 5 MB, pierwsze miejsce, podobnie jak w przypadku wysyłania danych w ciągu 10 sekund, zajął operator T-Mobile z wynikiem 42 Mb/s.

Rozmiar pliku	Orange	Play	Plus	T-Mobile
HTTP DL 10 MB	35.5	37.9	50.5	33.5
HTTP UL 10 MB	35.1	37.5	30.3	42.1

Testy opóźnienia

W kategorii najniższej średniej wartości ping, z uwzględnieniem pomiaru 5G (NSA), najlepiej wypadł Plus, z wynikiem 36 ms. Operator ten minimalnie wyprzedził Play, który osiągnął wynik 38 ms. T-Mobile zajął trzecie miejsce z wynikiem 55 ms, natomiast Orange zanotował najgorszy wynik – 65 ms.

Połączenia głosowe – VoLTE kontra gOTT (profil: WhatsApp)

Podczas przeprowadzonych pomiarów testowaliśmy połączenia głosowe realizowane standardowo przez operatorów (VoLTE) w celu porównania ich z coraz bardziej popularnymi połączeniami głosowymi realizowanymi za pomocą komunikatorów OTT, takich jak WhatsApp, Telegram, Viber. W naszym przypadku użyliśmy generycznego klienta OTT (generic OTT) z profilem audio odpowiadającym aplikacji WhatsApp. Przeprowadziliśmy ponad 400 połączeń VoLTE i gOTT dla każdego z operatorów.

Porównując liczbę problemów podczas zestawiania połączenia (call setup failures) oraz ilość zerwanych połączeń w trakcie rozmowy (call dropped calls), tradycyjne połączenia VoLTE oferowane przez operatorów okazały się bardziej niezawodne w porównaniu do gOTT. Chociaż w przypadku Play, oba typy połączeń nie zanotowały żadnego problemu z zestawianiem czy przerwaniem rozmowy. W przypadku sieci T-Mobile zaobserwowaliśmy większą liczbę problemów z zestawianiem połączenia VoLTE czy gOTT w porównaniu do pozostałych operatorów.

Dla połączeń VoLTE i gOTT – WhatsApp, mierzyliśmy jakość dźwięku przesyłanych próbek mowy, które były oceniane przy użyciu algorytmu POLQA w wersji 3.0 obsługującego głos HD i dedykowanego do pomiarów jakości głosu w połączeniach OTT. 

Z poniższego wykresu wynika, że połączenia głosowe realizowane za pomocą aplikacji gOTT z profilem WhatsApp oferują jakość głosu porównywalną do tradycyjnych połączeń oferowanych przez operatorów – VoLTE.

Wszyscy operatorzy zanotowali bardzo dobre wyniki jakości głosu, dotyczy to również operatora Plus, który od niedawna jako ostatni wprowadził w swojej sieci nowy kodek – EVS. Wpływa on znacząco na jakość oferowanych połączeń głosowych VoLTE. Pamiętaj, że użycie tego kodeka w sieci Plus może wymagać aktualizacji firmware telefonu do najnowszej wersji. Tym samym, obecnie wszyscy operatorzy w Polsce zapewniają swoim klientom rozmowy z wykorzystaniem kodeka EVS, który znacząco poprawia jakość rozmowy.

Jakość głosu oceniana była według 5-stopniowej skali MOS, gdzie MOS (ang. Mean Opinion Score) to subiektywna ocena jakości mowy, dokonywana po stronie odbiorczej, po przejściu sygnału mowy przez kanał transmisyjny. Do oceny jakości stosowana jest 5-stopniowa skala:

• 5 – znakomita jakość (możliwość odprężenia, rozmowa nie wymaga wysiłku, aby zrozumieć co mówi nadawca), 
• 4 – dobra jakość (rozmowa wymaga skupienia, nie wymaga jednak znacznego wysiłku, aby zrozumieć co mówi nadawca), 
• 3 – dopuszczalna jakość (rozmowa wymaga średniego wysiłku, aby zrozumieć co mówi nadawca), 
• 2 – słaba jakość (rozmowa wymaga znacznego skupienia i wysiłku, aby zrozumieć co mówi nadawca), 
• 1 – niedopuszczalna jakość (pomimo skupienia i znacznego wysiłku, nie ma możliwości zrozumienia co mówi nadawca podczas rozmowy).

Jakość połączeń głosowych dla wideokonferencji (Microsoft Teams)

Drive Test obejmował również wykonanie połączeń głosowych pomiędzy terminalami z użyciem popularnej platformy do wideokonferencji. Test wykonaliśmy dla każdego z operatorów.

Nasz zespół inżynierów w nowatorski sposób stworzył narzędzie pomiarowe, które przeprowadziło niestandardowy test przy użyciu natywnej aplikacji Microsoft Teams do zestawienia połączeń głosowych i pomiaru ich jakości.

Najwyższą jakością połączeń mogły się pochwalić firmy Play i Plus – wyróżniła je najmniejsza utrata pakietów (Play: 0,14%, Plus: 0,46%) i najmniejszy jitter (9ms dla obu operatorów).

Jitter (rejestrowany w milisekundach, ms) ilustruje dynamikę zmian parametru PING, co jest wskaźnikiem anomalii w procesie transmisji danych. Nieregularne opóźnienia mogą stanowić wyzwanie dla aplikacji wymagających ciągłości transmisji, jak gry czy transmisje online, co podkreśla znaczenie utrzymania wartości jitter na minimalnym poziomie.

Przeanalizowaliśmy również wskaźnik Concealed Sample Rate przedstawiający odsetek próbek dźwięku, które zostały ukryte podczas transmisji lub odbioru, dostarczając informacji o jakości audio. Wyraża on stosunek liczby ramek audio, które zawierają próbki generowane przez mechanizm ukrywania utraty pakietów, do ogólnej liczby ramek audio. Na jego podstawie można wnioskować, że Plus i Play wyróżniały się najwyższą jakością dźwięku, przyjmując wartości dla tego parametru na poziomie 1% dla obu operatorów. Tymczasem dla Orange ukryte próbki znalazły się w 3,1% ramek audio, a dla T-Mobile – w 5,1%.

Połączenia dla Plus, Play i T-Mobile charakteryzował również najkrótszy Round Trip Time (wynoszący 105ms dla Plus i kolejno 115ms i 116ms dla T-Mobile i Play).

Round Trip Time to czas, jaki mija od momentu, gdy nasza przeglądarka internetowa wyśle zapytanie do serwera (na przykład, gdy chcemy otworzyć stronę internetową), do momentu, gdy serwer odpowie i nasza przeglądarka dostanie tę odpowiedź. Ten wskaźnik mierzony jest w milisekundach.

Dla strony odbierającej połączenie MS Teams charakterystyczna była mniejsza utrata pakietów u operatorów Orange, Play i Plus, a większa dla T-Mobile. Średnio mniejszy jitter u wszystkich operatorów występował po stronie odbierającej.

Serwisy streamingowe – YouTube i Netflix

Kolejnym etapem warszawskiego Drive Testu było porównanie średniej rozdzielczości obrazu transmitowanego z serwisów YouTube i Netflix. Dla streamingu z Netflix najwyższą średnią rozdzielczość osiągnęli operatorzy Play (589p) i Plus (586p), następnie T-Mobile (579p), wyprzedzając Orange (526p). Dla serwisu YouTube najwyższą rozdzielczością streamowanego wideo pochwalić się mógł Plus (948p), wyprzedzając istotnie pozostałych operatorów.

Średnia przepustowość końcowa dla streamingu z serwisu YouTube. Najwyższy wynik odnotował streaming z sieci Plus (6,78 Mbps), u pozostałych operatorów wartości były bardziej zbliżone (Orange: 4,21 Mpb, T-Mobile: 4,26, Play: 4,33).

Średnia przepustowość końcowa pozwala na pomiar ilości danych, które mogą być przesłane od punktu początkowego do punktu końcowego w określonym czasie. Można go używać do diagnozowania problemów z połączeniem internetowym, na przykład do sprawdzenia, czy prędkość transmisji danych jest wystarczająca do obsługi wymagających aplikacji, takich jak strumieniowanie wideo czy gry online.

W kontekście jakości streamingu przeanalizowaliśmy także wskaźnik Success Rate. Wskaźnik skuteczności (Success Rate) przy pomiarach usług streamingowych odnosi się do częstości, z jaką próby streamingu zakończą się sukcesem. Definiuje się go jako stosunek liczby udanych transmisji strumieniowych do liczby wszystkich prób transmisji.  

Niezależnie od testowanej aplikacji wszyscy operatorzy osiągnęli wynik powyżej 92% udanych streamów. Dla serwisu Netflix najwyższy wskaźnik sukcesu odnotowano w Orange i T-Mobile (odpowiednio 99% i 97%), natomiast dla serwisu YouTube wyższe wyniki osiągnęli pozostali dwaj operatorzy, Plus i Play (kolejno 98% i 97%).

Czas otwarcia strony

Pomiarom poddana została również usługa otwierania stron internetowych. Dla statycznej strony referencyjnej Kepler (definicja ETSI) najlepiej z tym zadaniem poradził sobie Plus, któremu zajęło to średnio mniej niż sekundę (dokładnie 0,9 s). Pozostali operatorzy przekroczyli tę barierę i zanotowali kolejno wyniki: Play i T-Mobile (1,1 s), Orange (1,5 s).

Test TWAMP – e-gaming

W trakcie Test Drive’u nie mogło zabraknąć pomiarów dotyczących niezwykle popularnych aktywności związanych z e-gamingiem. Dzięki nim zyskujemy szerszy pogląd na to w której sieci możliwe jest swobodne granie w gry, które korzystają z internetu do synchronizacji z innymi graczami.

Efektywność sieci oceniono parametrem Interactivity Score, uwzględniającym dwukierunkową metodę pomiaru opóźnienia dla każdego wysyłanego i odbieranego pakietu UDP. Dzięki temu wskaźnik dostarcza informacji o tym, czy i jak szybko użytkownik otrzymuje odpowiedź na swoje działania. Pomiarowi przypisuje się wynik w skali od 0 do 100.

Najlepszymi wynikami w teście interaktywności wyróżniły się sieci Orange i Plus, uzyskując średni wynik Interactivity Score na poziomie odpowiednio 82 i 76 punktów. Najgorszy wynik interaktywności odnotowano w sieci T-Mobile, gdzie wyniósł on 39 punktów.

Sprawdziliśmy także Round Trip Time i utratę pakietów. Najniższe wartości obu parametrów zaobserwowaliśmy w sieci Orange (28ms RTT, 1,9% Packet Loss), a najwyższe w sieci T-Mobile (64ms RTT i 5,3% Packet Loss).

Utrata pakietów następuje, gdy informacje przesyłane między twoim komputerem a serwerem (np. gry) gdzieś giną po drodze. Tak jak duże wartości ping, utrata pakietów może powodować nagłe spowolnienia i problemy w grze.

Zasięg technologii 5G dla pomiaru skanerem PCTEL Gflex

Podczas Drive Testu  wykorzystaliśmy skaner PCTEL Gflex do dokładnego pomiaru zasięgu dla poszczególnych operatorów. Skaner ustawiono w trybie automatycznej detekcji dostępnych technologii i częstotliwości. Oto mapy pokryciowe dla technologii 5G:

W danych zebranych za pomocą skanera pomiarowego możemy zauważyć, że najwięcej stacji bazowych 5G w obszarze objętym pomiarem posiada operator Plus (522 unikalnych komórek), następnie z identyczną liczbą unikalnych komórek 5G zmierzonych przez skaner są T-Mobile i Orange (415), którzy współdzielą te same fizyczne lokalizacje stacji bazowych. Najmniejszą liczbę unikalnych komórek zanotował Play (364).

Operator	NRARFCN	Band	Frequency (MHz)	Cell Identities (Unique)	Sync Beams (Unique)	PSS RP (dBm) (Avg)	PSS RQ (dB) (Avg)	PSS SINR (dB) (Avg)
Plus	518910	41	2594.55	522	522	-88.5	-13.4	5.0
Orange	423410	1	2117.05	415	418	-78.2	-12.9	6.4
T-Mobile	426050	1	2130.25	415	418	-78.5	-12.7	6.9
Play	432356	1	2161.78	364	372	-80.4	-14.1	2.3

Różnice w ilości posiadanych stacji bazowych można również zauważyć w przedstawionym wcześniej zestawieniu wykorzystania technologii 5G w trakcie pomiaru. Plus miał 98% użycia technologii 5G, Orange – 85%, T-Mobile – 83%, a Play z wynikiem 72%.

Z powyższych wykresów wynika, że Plus ma słabszą siłę sygnału 5G (średnia dla PSS RP = -88 dBm), podczas gdy T-Mobile i Orange mają średnią PSS RP = -78 dBm, a Play ma średnią PSS RP = -80 dBm. Może to wynikać z różnicy częstotliwości, na której działa Plus (pasmo 41 – 2500MHz) w porównaniu do pozostałych operatorów (pasmo 1 – 2100MHz). Dodatkowy wpływ na siłę sygnału może mieć parametryzacja sieci.

Najważniejsze wniosku dotyczące Drive Test w Warszawie (2023)

W czerwcu 2023 roku w Warszawie zauważalny jest rozwój infrastruktury operatorów komórkowych, co przejawia się zarówno niemal całkowitą dostępnością usług 5G na terenie miasta, jak i lepszymi wynikami osiągniętymi w porównaniu z badaniami przeprowadzonymi pod koniec 2022 roku. 

Podobnie jak wcześniej, w najnowszych analizach najlepsze wskaźniki dla możliwej prędkości pobierania danych z internetu osiąga sieć Plus. W przypadku wysyłania danych, najlepsze wyniki prezentuje sieć T-Mobile.

Warto zaznaczyć, że w obecnym pomiarze porównano jakość usług głosowych tradycyjnych (VoLTE) oraz realizowanych za pomocą popularnych aplikacji OTT, takich jak WhatsApp czy Microsoft Teams. Infrastruktura wszystkich operatorów umożliwia realizowanie połączeń głosowych na bardzo dobrym poziomie dla aplikacji OTT na terenie Warszawy. W głównej mierze jest to możliwe dzięki zasięgowi 5G, który jest dostępny w znacznej części miasta.

Nowością jest również badanie jakości sieci pod kątem dostarczania usługi dostępu dla graczy gier internetowych, dla których wpływ na jakość mają opóźnienia i straty pakietów. Z pomocą przychodzi tu pomiar Internetu za pomocą testu TWAMP – Interactivity Score.

Jest to istotne, ponieważ rosnąca popularność e-sportu i gier online wymaga od operatorów zapewnienia wysokiej jakości połączeń, minimalizujących opóźnienia i straty pakietów. W tym kontekście, wyniki testu TWAMP są kluczowe dla oceny jakości usług świadczonych przez poszczególnych operatorów.