Badania potwierdzające rzetelność i trafność Testu Belbina

Czasami jesteśmy pytani o to, jak wyniki Testu Belbin mogą się różnić w zależności od kraju. W 2013 roku Belbin zlecił badanie statystyczne w celu przeanalizowania danych z 21 krajów. W ramach badania wielkości efektów były mierzone średnimi wynikami dla każdej Roli Zespołowej w każdym kraju, w porównaniu ze średnią dla tej Roli Zespołowej w największej (Wielka Brytania) bazie danych. Badanie wykazało tylko 2 umiarkowane różnice na 210 obliczeń (mniej niż 1%).

Tam, gdzie w przeszłości zidentyfikowano różnice, prawdopodobnie wynikają one z wykorzystania zbiorów danych, które są za małe, a nie z powodu różnic kulturowych.

Dodatkowo wariancja wewnątrz kraju dla każdej Roli Zespołowej jest wysoka. Innymi słowy, istnieje duże zróżnicowanie wyników dla każdej roli zespołowej w każdym kraju. Statystyk podsumował to następująco:

Norma dla najnowszej wersji Interplace (uruchomionej w marcu 2012) korzysta z danych z około 9 500 wyników samooceny i ponad 14 000 wyników ocen obserwatorów. Stworzenie międzynarodowej normy jest obecnie bardzo pożądane, ze względu na międzynarodowy charakter zatrudniania ludzi oraz pracę w zespołach wirtualnych, działających również międzynarodowo. W tym kierunku będziemy kontynuować badania w najbliższych latach.

W testach psychometrycznych wiarygodny test to taki, który da spójne wyniki u tej samej osoby testowanej przy różnych okazjach (nazywane niezawodnością „ponownego testu”). Często psychologowie i statystycy analizują wewnętrzną spójność testu, aby sprawdzić, czy wszystkie części testu są mierzone z taką sama jakością (w tym przypadku mierzą „wewnętrzną spójność”). Oceniając test, wiarygodność jest zwykle mierzona przed ważnością (trafnością), ponieważ wiarygodność testu nakłada górną granicę na trafność – innymi słowy, test nie może zmierzyć tego, co ma mierzyć, dopóki nie jest stabilny i spójny w pomiarze.

Belbin nie jest testem psychometrycznym, ponieważ mierzy raczej zachowanie niż osobowość. Podczas gdy osobowość może pozostać dość spójna, możemy spodziewać się, że zachowanie będzie się zmieniać, na przykład wraz ze zmianą roli zawodowej. W istocie, pożądane jest nawet, aby osoba dostosowywała się do wymagań pracy lub nowego stanowiska. Chociaż jest to niezwykłe, aby kolejność ról zespołowych została całkowicie odwrócona, jest wysoce prawdopodobne, że preferowane i możliwe do zarządzania role mogą się zmieniać na przestrzeni całej kariery zawodowej.

Spójność wewnętrzna jest również znana jako homogeniczność skali, innymi słowy, zdolność do mierzenia tego samego konstruktu lub cechy. Belbin mierzy dziewięć Ról Zespołowych, które są raczej skupiskami lub konstelacjami cech behawioralnych, a nie cech indywidualnych. W rezultacie, Belbin nie powtarza pozycji, ale raczej stara się zidentyfikować warstwy różnych zachowań ról zespołowych przejawianych przez daną osobę. Ponieważ Belbin różni się od testów psychometrycznych zarówno pod względem teorii, jak i formatu oraz mechanizmu punktacji, pomiar jego rzetelności przez lata stanowił wyzwanie dla badaczy. Najbardziej popularną miarą spójności wewnętrznej jest Alfa Cronbacha (α), która, zastosowana do BTRSPI podczas wczesnych badań, przyniosła bardzo zróżnicowane wyniki. W swojej pracy badawczej „Rzetelność kwestionariusza (Belbin) Inwentarz Samopostrzegania Roli Zespołowej: Cronbach’s alpha and ipsative scales ” oraz ” “Uses and Abuses of Reliability Estimates: The Case of the Belbin TRSPI” Stephen Swailes i Tim McIntyre-Bhatty zbadali ograniczenia alfa Cronbacha i wyjaśnili, dlaczego istniejące miary rzetelności nie były odpowiednie do oceny Testu Belbina.

Po pierwsze, naukowcy zwracają uwagę na ogólne ograniczenie alfa Cronbacha (to po prostu zwiększenie długości inwentarza (tj. liczba pozycji) może wzrosnąć α.) Również korelacje między przedmiotowe (związek między pozycjami) mogą pozostać niskie, ale mogą osiągnąć wysoką wartość α, o ile są stale niskie. Jeśli chodzi o Test Ról Zespołowych nie jest on ani w pełni ipsatywny, ani nie-ipsatywny, więc chociaż całkowity uzyskany wynik jest zawsze taki sam, wynik dla każdej Roli Zespołowej może się różnić. Po drugie, respondenci nie przypisują wartości każdej pozycji w inwentarzu. W przeszłości badacze przypisywali zero wszystkim pozycjom bez odpowiedzi, zmieniając w ten sposób wyniki. Naukowcy wykorzystali również przestarzałą wersję inwentarza do samodzielnego oceniania (8 rolową zamiast 9) i dodatkowo używali małych lub nieodpowiednich wielkości prób, co zafałszowało analizę danych i wyciąganie wniosków.

Uznawszy te ograniczenia alfy Cronbacha i jej zastosowania do BTRSPI, Swailes i in. sformułowali i zaproponowali nową miarę rzetelności, IRα, która definiuje średnią ważoną średnich wyników korelacji między pozycjami inwentarza. Używając dużego zbioru danych respondentów, obliczono α poprzez zanieczyszczenie zerami odpowiedzi pustych, tak jak robili to wcześniejsi badacze, dla celów porównawczych. Następnie, wybrali tylko te odpowiedzi, dla których każda Rola Zespołowa otrzymała ocenę we wszystkich 7 sekcjach inwentarza, aby uniknąć problemu wpływu wartości zerowych. Obliczono ponownie α, bez bez kontaminacji odpowiedziami zerowymi i przy użyciu ważonej korelacji między pozycjami. W czerwcu 2012 r. testy te zostały powtórzone dla nowej, ośmiosekcyjnej wersji inwentarza. Wyniki przedstawiono w tabeli 1 poniżej:

Wynik 0,6 lub wyższy jest uważany za dobry lub akceptowalny. Badanie to pomaga wyjaśnić, dlaczego wcześniejsze badania przyniosły niedokładne wyniki dotyczące niezawodności Tesu Belbina. Podsumowując, we wcześniejszych badaniach błędnie stosowano współczynnik α w stosunku do Testu Belbina, stosowano znacznie mniejsze i nieodpowiednie próbki oraz zanieczyszczono dane, przypisując pustym polom w odpowiedziach zerowe wartości.

Mówi się, że test jest ważny, jeśli mierzy to, co twierdzi, że mierzy. Istnieją różne rodzaje trafności: trafność fasadowa, trafność konstrukcji i trafność kryterium. Są one omówione poniżej w odniesieniu do Testu Belbina.

Dotyczy wyglądu testu. Jeśli testu wydaje się mierzyć odpowiednio i prawidłowo, respondenci są bardziej skłonni do poświęcenia testowi pełnej uwagi i uczciwej, otwartej odpowiedzi. W swoim badaniu z 1996 r. Balderson i Broderick stwierdzili, że Test Belbina ma „bardzo wysoką trafność fasadową” i pozytywnie oceniają „akceptowalność mierników” oraz to, że Role zespołowe, „korzystają z systemu Interplace i raportów eksperckich”.

Trafność konstrukcji ocenia, czy cecha, którą test faktycznie mierzy, jest znacząca i spójna z tym, co test ma ogólnie mierzyć. Trafność zbieżna dotyczy tego, czy test jest podobny do tych, do których teoretycznie powinien być podobny. Trafność dyskryminacyjna to stopień, w jakim daną skalę można odróżnić od innych skal, które mierzą różne pojęcia lub cechy. Zgodność ważności ma związek z poziomem zgodności (lub zgodności) między jednym testem a drugim, w tym przypadku Samooceną i oceną obserwatorów (OA).

Przeprowadzono wiele badań nad poprawnością konstrukcji Testu Belbina. Obszerny przegląd tych badań znajduje się w artykule Aritzeta, Swailes & McIntyre-Bhatty: Further Evidence on the Validity of the Belbin Team Role Self Perception Inventory and the Observer’s Assessment Sheet (Aritzeta, Swailes & McIntyre‐Bhatty, 2004), pp.3‐6.

W artykule z 2007 roku Aritzeta i wsp. skomentowali, że model roli zespołowej ma akceptowalną zbieżną ważność. Wyjaśniają, że wcześniejsze badania empiryczne, które przyniosły mniej korzystne wyniki, padły ofiarą skutków spowodowanych przez małe lub nieodpowiednie rozmiary próbek. Piszą:

Artykuł Fisher, Hunter & Macrosson z 2001 r. Zapewnił ogólne wsparcie dla trafności dyskryminacyjnej Testu Belbina. Badacze odnieśli duży sukces w przewidywaniu częstotliwości występowania różnych Ról Zespołowych wyłącznie na podstawie konstruktów Belbina i stwierdzili, że dodało to wagi do twierdzeń o słuszności konstruktu dla Testu.

W artykule z 2004 roku Aritzeta, Swailes i McIntyre-Bhatty stwierdzili, że ocena obserwatorów (OA) wykazała dużą trafność, ponieważ z 3351 obserwacji 66,4% wykazało znaczącą „zgodność Roli Zespołowej” między obserwatorami. Analizując Test Belbina wraz z Ocenami Obserwatorów, 75% korelacji można uznać za od umiarkowanych do silnych.

Chociaż odkrycia te są użyteczne i pozytywne, ważne jest, aby zdać sobie sprawę, że ze względu na naturę Teorii Ról Zespołowych Belbina obserwatorzy mogą zidentyfikować bardzo różne zachowania u tej samej osoby. Wzorce Ról Zespołowych w raportach można uznać za spójne, kompatybilne, niezgodne lub zagmatwane, w zależności od poziomu i rodzaju zgodności między samooceną a ocenami obserwatorów. W przypadkach, w których samoocena znacznie różni się od wkładu obserwatora, za taki wynik może odpowiadać szereg czynników:

Jest bardzo prawdopodobne, że każdy zbiór danych będzie zawierał mieszankę tych różnych rodzajów wzorców. W przypadku stwierdzenia znaczącej zgodności między postrzeganiem siebie a ocenami obserwatorów, jest to traktowane jako mocny wskaźnik wraz z innymi czynnikami statystycznymi w celu finalnego ustalenia, czy daną osobę można uznać za mocny przykład określonego typu Roli zespołowej.

Test został przeanalizowany wraz z innymi testami, takimi jak 16PF i OPQ. W badaniu z 2007 roku, Aritzeta, Swailes & Senior stwierdził, że:

Trafność kryterium dotyczy stosowalności testu – udowadnia się to poprzez wykazanie, że wyniki danego testu odnoszą się w znaczący sposób do kryterium zewnętrznego – np. wykonania pracy. Często jest to łatwiejsze do oceny, gdy ma się do czynienia z testami umiejętności, niemniej jednak wiele organizacji na całym świecie może potwierdzić, że Teoria Belbina pomogła odnieść sukces zespołom.

W 1995 roku Dulewicz badał związek między rolą zespołową a odpowiedzialnością lub statusem. W tym celu dokonał pomiaru pensji, całkowitego wynagrodzenia oraz całkowitej liczby pracowników i całkowitych budżetów wydatków, za które dana osoba była odpowiedzialna. Odkrył, że role zespołowe wydają się być niezależne od miar wynagrodzenia i obowiązków zawodowych.

Teoria Ról Zespołowych Belbina nie precyzuje, czy któraś rola zespołowa jest wymagana do pełnienia funkcji kierowniczej, ani też roli, która pociąga za sobą wyższe wynagrodzenie. Badanie Shi & Tang, opublikowane w 1997 roku, zawiera użyteczny komentarz, że dane środowisko może sprzyjać rozwojowi określonych Ról Zespołowych. Na przykład klimat zagrożenia lub wewnętrznych rozgrywek politycznych może promować pragmatyczną i wnikliwą osobę na stanowisko kierownicze, osobę która jest sprytna w ewaluacji swojego otoczenia i innych wokół siebie – innymi słowy, efektywnego Ewaluatora. W organizacji, która utknęła w rutynie i której brakuje pomysłów i zasobów, prawdopodobnie wyróżni się Kreator lub Poszukiwacz Źródeł; w stabilnym i pracowitym środowisku cechy Implementera lub Perfekcjonisty mogą być bardziej docenione.

Poniższe badania przeprowadzono z wykorzystaniem danych z Interplace. Autorzy poprosili Belbin Associates o dostęp do tych danych, które są w pełni znormalizowane i obejmują ponad 5000 rekordów.

Stephen Swailes i in. są niezależnymi badaczami z Uniwersytetu w Hull. Jego badania pokazują, że Test Belbina ma dobrą niezawodność i trafność oraz uwzględnia unikalne ipsatywne i nie-ipsatywne cechy naszego Testu. W szczególności zalecane są następujące artykuły (uszeregowane według dat):

Dzięki testowi Belbina poznasz swoje mocne strony i akceptowalne słabości oraz dowiesz się w jakich rolach odnajdziesz się najlepiej. Zaufaj wiedzy budowanej od ponad 30 lat i świadomie pokieruj swoją karierą!