Metodologia – RFBENCHMARK

Drive Test

Drive Test jest jedną z metod pomiaru jakości usług (QoS) w sieciach mobilnych, obok pomiarów stacjonarnych oraz zbierania statystyk przez operatora. W przeciwieństwie do pozostałych metod, DT jest pomiarem odbywającym się w ruchu. Celem Drive Testu jest jak najwierniejsze odwzorowanie warunków w jakich użytkownik korzysta z sieci mobilnej (przemieszczanie się ze stałą i zmienną prędkością, zmiana warunków radiowych) oraz zachowania samego użytkownika (wysokość ustawienia anten pomiarowych, zestawianie połączeń telefonicznych oraz korzystania z usług internetowych według scenariusza opartego o obserwacje działań użytkowników). Dzięki temu pomiary są zbliżone do rzeczywistych doświadczeń użytkownika, który korzysta z sieci komórkowej.

Pomiary najczęściej obejmują obszary tzw. „klastrów”. Na każdy klaster przygotowywana jest osobna trasa pomiarowa (ang. drive route). Podczas planowania route’y brane są pod uwagę m.in.: obszar pomiaru (urban, rural… itp.), badane usługi, główny ruch abonentów, dostępna ilość godzin pomiarowych i wiele innych czynników, które należy uwzględnić.

QoS (ang. Quality of Service) określa gwarantowany poziom jakości usług zamówionych i otrzymywanych przez użytkownika sieci mobilnej przez cały okres trwania umowy u danego operatora sieci komórkowej. Dla usług telekomunikacyjnych QoS określają trzy funkcje: dostęp, przesyłanie informacji i rozłączenie, oraz trzy kryteria: szybkość, dokładność i niezawodność. Operator ma obowiązek dostarczania usług o określonej, gwarantowanej jakości.

Drive Test

Po wytyczonej drive route’cie porusza się samochód pomiarowy. Jest to samochód przygotowany specjalnie do pomiarów sieci mobilnych, wyposażony w urządzenia pomiarowe, pozwalające na pomiar wszystkich parametrów sieci niezbędnych do oceny jakości usług. Aktualna pozycja samochodu pomiarowego uzyskiwana jest dzięki odbiornikowi GPS wbudowanemu w urządzenie. Samochód nie może poruszać się szybciej niż założenia przyjęte podczas planowania drive route’y. Efekty możecie oglądać na stronie głównej RFBenchmark po wybraniu ikony zamieszczonej w nagłówku.

Do Drive Test’ów wykorzystuje się tylko narzędzia pomiarowe zgodne ze standardem ETSI. Dodatkowo każdy samochód testowy posiada na swoim wyposażeniu skaner radiowy, pozwalający na niezależny pomiar poziomu sygnału w trzech dostępnych technologiach jednocześnie: 2G, 3G oraz LTE.

Dzięki takim pomiarom oraz ich późniejszej analizie w postaci raportu, operator sieci mobilnej posiada informacje pozwalające na optymalizację sieci, czyli wprowadzenie zmian mających na celu zwiększenie pokrycia radiowego, poprawę jakości lub wprowadzenie nowych usług dla swoich klientów.

Klaster (ang. Cluster) w telekomunikacji jest to grupa komórek obsługiwanych przez dostępne dla danego operatora pasmo częstotliwości. Komórka jest mniejszym obszarem całego systemu. Obszar komórki jest uzależniony od warunków geograficznych oraz ilości abonentów (mikrokomórki w mieście, makrokomórki na terenach wiejskich). Ilość komórek w klastrze może przyjmować ściśle określone wartości liczone według wzoru, np. 1, 3, 4, 7, 9, 12, 13, 16… itd. O ilości komórek w klastrze decydują warunki panujące na danym obszarze.

Pomiar jakości usług głosowych

W trakcie pomiarów Drive Test wykonywane są połączenia głosowe pomiędzy terminalem ruchomym (testowym), a urządzeniem odbiorczym (np. ISDN, inny terminal ruchomy). Testowe połączenia pomiarowe mogą odbywać się z i do terminala pomiarowego, w zależności od ustawionej sekwencji pomiarowej. Podczas pomiaru jakość głosu jest oceniana według 5-cio stopniowej skali MOS.

MOS (ang. Mean Opinion Score) jest to subiektywna ocena jakości mowy, dokonywana po stronie odbiorczej, po przejściu sygnału mowy przez kanał transmisyjny. Do oceny jakości stosowana jest 5-cio stopniowa skala:
5 – znakomita jakość (możliwe odprężenie, rozmowa nie wymaga wysiłku, aby zrozumieć co mówi nadawca),
4 – dobra jakość (rozmowa wymaga skupienia, nie wymaga znaczącego wysiłku, aby zrozumieć co mówi nadawca),
3 – dopuszczalna jakość (rozmowa wymaga średniego wysiłku, aby zrozumieć co mówi nadawca),
2 – słaba jakość (rozmowa wymaga znacznego skupienia i wysiłku, aby zrozumieć co mówi nadawca),
1 – niedopuszczalna jakość (pomimo skupienia i znaczącego wysiłku, nie ma możliwości, aby zrozumieć co mówi nadawca podczas rozmowy).

Pomiar jakości usług głosowych

Aby zapewnić obiektywne oraz powtarzalne wyniki pomiarów wykorzystuje się jedną z dwóch metod estymacji subiektywnej oceny mowy (MOS): PESQ lub POLQA. Ponadto zbierane są między innymi informacje takie jak: ilość udanych i nieudanych połączeń, ilość zerwanych połączeń, czas zestawienia połączenia, rodzaj wykorzystywanego kodowania mowy oraz wiele innych. Na stronie głównej RFBenchmark pomiar jakości głosu dostępny jest po wybraniu ikony zamieszczonej w nagłówku.

POLQA (ang. Perceptual Objective Listening Quality Assessment) jest to obiektywna metoda estymacji subiektywnej oceny jakości mowy. Najczęściej przewidywana jest ocena jakości mowy MOS z zastosowaniem 5-cio stopniowej skali. POLQA jest następcą PESQ (ang. Perceptual Evaluation of Speech Quality.

Pomiar jakości usług głosowych

Jednocześnie z pomiarami jakości usług głosowych odbywają się pomiary usług internetowych. Przykładowa sekwencja pomiarowa została przedstawiona poniżej.

Pomiar	Opis
FTP DL (5x 5MB)	Pobieranie pliku o wielkości 5MB w pięciu równoległych sesjach z serwera testowego
FTP UL (5x 5MB)	Wysyłanie pliku o wielkości 5MB w pięciu równoległych sesjach do serwera testowego
HTTP Browsing: Kepler	Pobieranie zawartości testowej strony WWW
HTTP Get (10x 5MB)	Pobieranie pliku o wielkości 5MB w 10 równoległych sesjach z testowej strony WWW
Ping (10x 32B)	Dziesięć sesji PING, gdzie wielkośc pakietu to 32B
Video: YouTube 30sec	Pobieranie strumienia video z serwisu YouTube przez 30s

Pomiar jakości usług głosowych

Jednymi z ważniejszych mierzonych parametrów z punktu widzenia użytkownika są parametry: Throughput oraz RTT. Na podstawie analizy tych dwóch parametrów otrzymujemy informację o szybkości internetu jaką oferuje dany operator oraz o tym do czego możemy wykorzystać takie połączenie sieciowe. Zbierane są też dane między innymi o: ilości udanych i nieudanych sesji FTP, HTTP, Ping, z jakiego powodu sesja nie powiodła się, w jakiej technologi pracował terminal oraz wiele innych. Szybkość internetu możecie sprawdzić na stronie głównej RFBenchmark wybierając ikony przedstawione w nagłówku.

Throughput w telekomunikacji określa ilość prawidłowo przesłanych danych w określonym czasie i podawany jest najcześciej w megabitach na sekunkę (Mbps).

RTT (ang. Round Trip Delay Time) informuje o tym, ile czasu mija od wysłania wiadomości z naszego komputera do jej odebrania przez komputer w sieci, plus czas po jakim przychodzi potwierdzenie odebrania wiadomości. Im mniejsza wartość RTT tym lepiej. Podobnym parametrem jest opóźnienie (ang. latency), informujące o tym ile czasu mija od wysłania wiadomości z naszego komputera do jej odebrania przez komputer w sieci.

Aplikacja mobilna

Dzięki aplikacji mobilnej można wykonać pomiary podstawowych parametrów sieci komórkowej. Aplikacja dostarcza informacji między innymi o parametrach takich jak poziom i jakość sygnału w zależności od technologii w jakiej pracuje terminal ruchomy (telefon komórkowy), ID komórki do której przypisany jest aktualnie telefon, operatorze sieci komórkowej, państwie w którym znajduje się terminal oraz dokładnej lokalizacji na mapie dzięki wbudowanemu odbiornikowi GPS w telefonie. Dodatkowo na żądanie można wykonywać pomiary szybkości internetu podczas pobierania i wysyłania danych, a także test opóźnienia. Wszystkie pomiary po kliknięciu „Submit” są wysyłane na nasz serwer i zostają automatycznie wyświetlone na mapie RFBenchmark. W chwili zaobserwowania niskiej jakości połączenia głosowego, braku usługi internetu mobilnego lub innej usługi, która powinna działać, aplikacja posiada możliwość wysłania raportu z aktualną pozycją, gdzie wystąpił brak wybranej usługi.

Aplikacja działa na całym świecie, a rezultaty można oglądać na stronie głównej RFBenchmark po wybraniu ikony przedstawionej w nagłówku.

Sekwencja pomiarowa aplikacji

Pomiar usług pakietowych w aplikacji mobilnej dla połączenia transmisji danych odbywa się według sekwencji pomiarowej przedstawionej poniżej:

1. Wybór serwera – na podstawie położenia, adresu IP, danych sieci komórkowej, typowanych jest kilka serwerów testowych w najmniejszej odległości od terminala ruchomego, serwery są wstępnie testowane pod względem czasu dostępu, aby wybrać najlepszy do dalszej części pomiarów parametrów łącza internetowego,

2. Ping – czas odpowiedzi serwera testowego na wysłane zapytanie, początkowo wysyłane jest zapytanie treningowe, następnie czas odpowiedzi jest sprawdzany serią 20-stu połączeń ping o wielkości 32B, odstęp czasowy pomiędzy kolejnymi wywołaniami wynosi 100ms, maksymalny czas odpowiedzi to 3s, a maksymalny czas testu to 10s, próbki o zbyt długim czasie odpowiedzi są odrzucane,

3. Download – pobieranie danych z serwera testowego, pobierane odbywa się maksymalnie w czterech równoległych sesjach, każda sesja rozpoczyna się plikiem treningowym 100KB przez 1s, następnie pobierany jest właściwy plik o rozmiarze 10MB przez maksymalnie 10s,

Sekwencja pomiarowa aplikacji

4. Upload – wysyłanie danych na serwer testowy, wysyłanie odbywa się maksymalnie w czterech równoległych sesjach, każda sesja rozpoczyna się plikiem treningowym 100KB przez 1s, następnie wysyłany jest właściwy plik o rozmiarze 5MB przez maksymalnie 10s,

Dla trybu WiFi zwiększony zostanie rozmiar plików wykorzystywanych po pomiaru prędkości pobierania i wysyłania. Wynika to z dużych przepustowości jakie oferują przewodowe łącza internetowe w porównaniu do internetu mobilnego. Większy plik umożliwia rozpędzenie się szybkiego połączenia przewodowego do maksymalnej prędkości.

Średnie zużycie danych przypadające na pojedynczy pomiar prędkości to 20 MB przy transmisji danych. Dla połączenia WiFi zużycie danych będzie znane po implementacji zmian.

Raporty Użytkownika

Dane zbierane są przez użytkowników aplikacji mobilnej RFBenchmark przy użyciu „Testu jakości usług”. Po automatycznym wysłaniu danych pomiarowych z aplikacji na serwer pomiary zostają wyświetlone na mapie po wybraniu źródła danych: Raporty Użytkownika.

Test jakości usług w aplikacji mobilnej polega na pomiarze trzech parametrów: Ping, szybkości wysyłania i pobierania danych. Informacje te, zebrane razem, można wykorzystać do określenia przydatności łącza do realizacji poszczególnych usług Internetowych. Między innymi korzystania ze stron WWW, połączeń VoIP czy oglądania video HD.

Ping jest funkcją pozwalającą na pomiar opóźnienia transmisji pakietów, czyli paczek z danymi w sieci. Test polega na badaniu połączenia między telefonem a serwerem testowym. Zbyt duża wartość Ping może uniemożliwiać działanie usług takich jak gry czasu rzeczywistego, rozmowy VoIP i inne. Wartość podawana jest w milisekundach (ms)

Raporty Użytkownika

Ranking operatorów odnosi się do całego obszaru aktualnie wyświetlanego na mapie. Można również porównać wyniki dla konkretnego miejsca. Wystarczy wybrać kolorowy kwadrat, dzięki czemu pojawi się dymek informujący o wszystkich pomiarach wykonanych dla różnych operatorów w danym punkcie. W nawiasach znajdują się informacje o ilości pomiarów wykonanych dla danego operatora w wybranym obszarze.

Opis skali szybkości wysyłania, pobierania FTP oraz Ping można znaleźć rozwijając zakładkę „Objaśnienia skali jakości usług na mapie interaktywnej”.

Objaśnienia skali jakości usług na
mapie interaktywnej

Na interaktywnej mapie RFBenchmark umieszczona jest skala opisująca jakość wybranej usługi. Skala opisuje jakość zarówno kolorem jak i przedziałem liczbowym. Na mapie umieszczone są punkty pomiarowe, których kolor odpowiada odpowiedniemu wynikowi według skali jakości usług.

Jakość sygnału

1 – bardzo słaby zasięg / bardzo niska jakość sygnału uniemożliwiająca normalne świadczenie usługi
2 – zły zasięg / niska jakość sygnału powodująca problemy z dostępem do usług głosowych i Internetu
3 – średnia jakość pokrycia / przeciętna jakość sygnału mogąca powodować częste zrywanie połączeń głosowych oraz niskie prędkości dostępu do internetu
4 – dobra jakość pokrycia / dobra jakość sygnału i brak problemów z dostępem do usług, dobra jakość połączeń głosowych i satysfakcjonujące prędkości dostępu do Internetu
5 – wzorcowa jakość pokrycia, połączenia głosowe z bardzo dobrą jakością, możliwość uzyskania maksymalnych prędkości dostępu do Internetu zależnie od technologii: 2G/3G/4G(LTE)

Jakość połączenia głosowego

1 – niedopuszczalna jakość (pomimo skupienia i znaczącego wysiłku, nie ma możliwości, aby zrozumieć co mówi nadawca podczas rozmowy)
2 – słaba jakość (rozmowa wymaga znacznego skupienia i wysiłku, aby zrozumieć co mówi nadawca)
3 – dopuszczalna jakość (rozmowa wymaga średniego wysiłku, aby zrozumieć co mówi nadawca)
4 – dobra jakość (rozmowa wymaga skupienia, nie wymaga znaczącego wysiłku, aby zrozumieć co mówi nadawca)
5 – znakomita jakość (możliwe odprężenie, rozmowa nie wymaga wysiłku, aby zrozumieć co mówi nadawca).

Wysyłanie FTP (Mbps)

do 1Mbps – bardzo wolno, działają podstawowe usługi jak: przeglądanie WWW, E-mail
od 1 do 3Mbps – wolno, działają dodatkowe usługi jak: wysyłanie małych plików, strumieniowanie audio
od 3 do 8Mbps – w normie, działają dodatkowe usługi jak: gry sieciowe czasu rzeczywistego, wysyłanie średnich plików
od 8 do 14Mbps – szybko, działają dodatkowe usługi jak: strumieniowanie video SD, rozmowy video SD
od 14 do 100Mbps – bardzo szybko, działają dodatkowe usługi jak: strumieniowanie FHD, rozmowy FHD, wysyłanie dużych plików, możliwe uruchomienie serwera

Pobieranie FTP (Mbps)

do 1Mbps – bardzo wolno, działają podstawowe usługi jak: przeglądanie WWW, E-mail, odtwarzanie strumienia audio, oglądanie video do 480p
od 1 do 5Mbps – wolno, działają dodatkowe usługi jak: odbieranie małych plików, odtwarzanie strumienia video SD
od 5 do 8Mbps – w normie, działają dodatkowe usługi jak: gry sieciowe czasu rzeczywistego, VOD, oglądanie video do 720p
od 8 do 15Mbps – szybko, działają dodatkowe usługi jak: oglądanie video powyżej 720p, odbieranie średnich plików, rozmowy video SD
od 15 do 100Mbps – bardzo szybko, działają dodatkowe usługi jak: odbieranie bardzo dużych plików, ogładanie video 1080p i więcej, odtwarzanie strumienia video FHD, rozmowy video FHD, możliwe uruchomienie serwera
od 100 do 300Mbps – super szybko, działają wszystkie aktualnie dostępne przez Internet usługi, możliwe uruchomienie mini serwerowni oraz chmury

Ping (ms)

do 30ms – bardzo krótki, nie powoduje żadnych problemów w realizacji usług Internetowych
od 30 do 50ms – krótki, mogą wystąpić drobne problemy w realizacji usługi gier sieciowych czasu rzeczywistego
od 50 do 70ms – przeciętny, mogą wystąpić znaczące problemy w realizacją usługi gier czasu rzeczywistego
od 70 do 120ms – długi, uniemożliwia korzystanie z usługi gier czasu rzeczywistego
od 120 do 9999ms – bardzo długi, powyżej 150ms mogą wystąpić problemy z realizacją rozmów HD, usług telefonicznych VoIP. Powyżej 200ms występują także problemy z przeglądaniem stron WWW, oglądaniem wideo w jakości SD, oglądaniem wideo w jakości HD, realizacją usługi multiroom (3x wideo HD) oraz pozostałymi grami sieciowymi

<img src="/wp-content/uploads/2019/05/rfbenchmark-logo.png" alt="logo" />

Niezależne pomiary jakości sieci operatorów