Belbin to narzędzie o potwierdzonej rzetelności i trafności

Test i Raporty Belbina mają podstawy naukowe. Wybierz narzędzie o udowodnionym działaniu.

Badania potwierdzające rzetelność i trafność Testu Belbina

Normowanie

Czasami jesteśmy pytani o to, jak wyniki Testu Belbin mogą się różnić w zależności od kraju. W 2013 roku Belbin zlecił badanie statystyczne w celu przeanalizowania danych z 21 krajów. W ramach badania wielkości efektów były mierzone średnimi wynikami dla każdej Roli Zespołowej w każdym kraju, w porównaniu ze średnią dla tej Roli Zespołowej w największej (Wielka Brytania) bazie danych. Badanie wykazało tylko 2 umiarkowane różnice na 210 obliczeń (mniej niż 1%).

Tam, gdzie w przeszłości zidentyfikowano różnice, prawdopodobnie wynikają one z wykorzystania zbiorów danych, które są za małe, a nie z powodu różnic kulturowych.

Dodatkowo wariancja wewnątrz kraju dla każdej Roli Zespołowej jest wysoka. Innymi słowy, istnieje duże zróżnicowanie wyników dla każdej roli zespołowej w każdym kraju. Statystyk podsumował to następująco:

„Jeśli wariancja wewnątrzkrajowa jest wysoka, uważamy, że równoważy to (lub przynajmniej zmniejsza) potrzebę stosowania różnych norm krajowych, ponieważ wariancje wewnątrz kraju wydają się dużo większe niż wariancje między krajami.”

Stephen Swailes, 2013

Norma dla najnowszej wersji Interplace (uruchomionej w marcu 2012) korzysta z danych z około 9 500 wyników samooceny i ponad 14 000 wyników ocen obserwatorów. Stworzenie międzynarodowej normy jest obecnie bardzo pożądane, ze względu na międzynarodowy charakter zatrudniania ludzi oraz pracę w zespołach wirtualnych, działających również międzynarodowo. W tym kierunku będziemy kontynuować badania w najbliższych latach.

Rzetelność

W testach psychometrycznych wiarygodny test to taki, który da spójne wyniki u tej samej osoby testowanej przy różnych okazjach (nazywane niezawodnością „ponownego testu”). Często psychologowie i statystycy analizują wewnętrzną spójność testu, aby sprawdzić, czy wszystkie części testu są mierzone z taką sama jakością (w tym przypadku mierzą „wewnętrzną spójność”). Oceniając test, wiarygodność jest zwykle mierzona przed ważnością (trafnością), ponieważ wiarygodność testu nakłada górną granicę na trafność – innymi słowy, test nie może zmierzyć tego, co ma mierzyć, dopóki nie jest stabilny i spójny w pomiarze.

Belbin nie jest testem psychometrycznym, ponieważ mierzy raczej zachowanie niż osobowość. Podczas gdy osobowość może pozostać dość spójna, możemy spodziewać się, że zachowanie będzie się zmieniać, na przykład wraz ze zmianą roli zawodowej. W istocie, pożądane jest nawet, aby osoba dostosowywała się do wymagań pracy lub nowego stanowiska. Chociaż jest to niezwykłe, aby kolejność ról zespołowych została całkowicie odwrócona, jest wysoce prawdopodobne, że preferowane i możliwe do zarządzania role mogą się zmieniać na przestrzeni całej kariery zawodowej.

Spójność

Spójność wewnętrzna jest również znana jako homogeniczność skali, innymi słowy, zdolność do mierzenia tego samego konstruktu lub cechy. Belbin mierzy dziewięć Ról Zespołowych, które są raczej skupiskami lub konstelacjami cech behawioralnych, a nie cech indywidualnych. W rezultacie, Belbin nie powtarza pozycji, ale raczej stara się zidentyfikować warstwy różnych zachowań ról zespołowych przejawianych przez daną osobę. Ponieważ Belbin różni się od testów psychometrycznych zarówno pod względem teorii, jak i formatu oraz mechanizmu punktacji, pomiar jego rzetelności przez lata stanowił wyzwanie dla badaczy. Najbardziej popularną miarą spójności wewnętrznej jest Alfa Cronbacha (α), która, zastosowana do BTRSPI podczas wczesnych badań, przyniosła bardzo zróżnicowane wyniki. W swojej pracy badawczej „Rzetelność kwestionariusza (Belbin) Inwentarz Samopostrzegania Roli Zespołowej: Cronbach’s alpha and ipsative scales ” oraz ” “Uses and Abuses of Reliability Estimates: The Case of the Belbin TRSPI” Stephen Swailes i Tim McIntyre-Bhatty zbadali ograniczenia alfa Cronbacha i wyjaśnili, dlaczego istniejące miary rzetelności nie były odpowiednie do oceny Testu Belbina.

Po pierwsze, naukowcy zwracają uwagę na ogólne ograniczenie alfa Cronbacha (to po prostu zwiększenie długości inwentarza (tj. liczba pozycji) może wzrosnąć α.) Również korelacje między przedmiotowe (związek między pozycjami) mogą pozostać niskie, ale mogą osiągnąć wysoką wartość α, o ile są stale niskie. Jeśli chodzi o Test Ról Zespołowych nie jest on ani w pełni ipsatywny, ani nie-ipsatywny, więc chociaż całkowity uzyskany wynik jest zawsze taki sam, wynik dla każdej Roli Zespołowej może się różnić. Po drugie, respondenci nie przypisują wartości każdej pozycji w inwentarzu. W przeszłości badacze przypisywali zero wszystkim pozycjom bez odpowiedzi, zmieniając w ten sposób wyniki. Naukowcy wykorzystali również przestarzałą wersję inwentarza do samodzielnego oceniania (8 rolową zamiast 9) i dodatkowo używali małych lub nieodpowiednich wielkości prób, co zafałszowało analizę danych i wyciąganie wniosków.

Uznawszy te ograniczenia alfy Cronbacha i jej zastosowania do BTRSPI, Swailes i in. sformułowali i zaproponowali nową miarę rzetelności, IRα, która definiuje średnią ważoną średnich wyników korelacji między pozycjami inwentarza. Używając dużego zbioru danych respondentów, obliczono α poprzez zanieczyszczenie zerami odpowiedzi pustych, tak jak robili to wcześniejsi badacze, dla celów porównawczych. Następnie, wybrali tylko te odpowiedzi, dla których każda Rola Zespołowa otrzymała ocenę we wszystkich 7 sekcjach inwentarza, aby uniknąć problemu wpływu wartości zerowych. Obliczono ponownie α, bez bez kontaminacji odpowiedziami zerowymi i przy użyciu ważonej korelacji między pozycjami. W czerwcu 2012 r. testy te zostały powtórzone dla nowej, ośmiosekcyjnej wersji inwentarza. Wyniki przedstawiono w tabeli 1 poniżej:

Wyniki badań nad rzetelnością i trafnością Testu Belbina

Wynik 0,6 lub wyższy jest uważany za dobry lub akceptowalny. Badanie to pomaga wyjaśnić, dlaczego wcześniejsze badania przyniosły niedokładne wyniki dotyczące niezawodności Tesu Belbina. Podsumowując, we wcześniejszych badaniach błędnie stosowano współczynnik α w stosunku do Testu Belbina, stosowano znacznie mniejsze i nieodpowiednie próbki oraz zanieczyszczono dane, przypisując pustym polom w odpowiedziach zerowe wartości.

Trafność

Mówi się, że test jest ważny, jeśli mierzy to, co twierdzi, że mierzy. Istnieją różne rodzaje trafności: trafność fasadowa, trafność konstrukcji i trafność kryterium. Są one omówione poniżej w odniesieniu do Testu Belbina.

Trafność fasadowa

Dotyczy wyglądu testu. Jeśli testu wydaje się mierzyć odpowiednio i prawidłowo, respondenci są bardziej skłonni do poświęcenia testowi pełnej uwagi i uczciwej, otwartej odpowiedzi. W swoim badaniu z 1996 r. Balderson i Broderick stwierdzili, że Test Belbina ma „bardzo wysoką trafność fasadową” i pozytywnie oceniają „akceptowalność mierników” oraz to, że Role zespołowe, „korzystają z systemu Interplace i raportów eksperckich”.

Trafność konstrukcji

Trafność konstrukcji ocenia, czy cecha, którą test faktycznie mierzy, jest znacząca i spójna z tym, co test ma ogólnie mierzyć. Trafność zbieżna dotyczy tego, czy test jest podobny do tych, do których teoretycznie powinien być podobny. Trafność dyskryminacyjna to stopień, w jakim daną skalę można odróżnić od innych skal, które mierzą różne pojęcia lub cechy. Zgodność ważności ma związek z poziomem zgodności (lub zgodności) między jednym testem a drugim, w tym przypadku Samooceną i oceną obserwatorów (OA).

Przeprowadzono wiele badań nad poprawnością konstrukcji Testu Belbina. Obszerny przegląd tych badań znajduje się w artykule Aritzeta, Swailes & McIntyre-Bhatty: Further Evidence on the Validity of the Belbin Team Role Self Perception Inventory and the Observer’s Assessment Sheet (Aritzeta, Swailes & McIntyre‐Bhatty, 2004), pp.3‐6.

Trafność zbieżna

W artykule z 2007 roku Aritzeta i wsp. skomentowali, że model roli zespołowej ma akceptowalną zbieżną ważność. Wyjaśniają, że wcześniejsze badania empiryczne, które przyniosły mniej korzystne wyniki, padły ofiarą skutków spowodowanych przez małe lub nieodpowiednie rozmiary próbek. Piszą:

„[To] prowadzi nas do wniosku, że Koncepcja Ról Zespołowych ma akceptowalną trafność zbieżną. Struktury czynnikowe dla Testu Belbina są spójne pod względem formy ipsatywnej i normatywnej, a także miar osobowości”

Aritzeta, Swailes & McIntyre-Bhatty, 2004 11
Trafność różnicowa (dyskryminacyjna)

Artykuł Fisher, Hunter & Macrosson z 2001 r. Zapewnił ogólne wsparcie dla trafności dyskryminacyjnej Testu Belbina. Badacze odnieśli duży sukces w przewidywaniu częstotliwości występowania różnych Ról Zespołowych wyłącznie na podstawie konstruktów Belbina i stwierdzili, że dodało to wagi do twierdzeń o słuszności konstruktu dla Testu.

Trafność treściowa

W artykule z 2004 roku Aritzeta, Swailes i McIntyre-Bhatty stwierdzili, że ocena obserwatorów (OA) wykazała dużą trafność, ponieważ z 3351 obserwacji 66,4% wykazało znaczącą „zgodność Roli Zespołowej” między obserwatorami. Analizując Test Belbina wraz z Ocenami Obserwatorów, 75% korelacji można uznać za od umiarkowanych do silnych.

Chociaż odkrycia te są użyteczne i pozytywne, ważne jest, aby zdać sobie sprawę, że ze względu na naturę Teorii Ról Zespołowych Belbina obserwatorzy mogą zidentyfikować bardzo różne zachowania u tej samej osoby. Wzorce Ról Zespołowych w raportach można uznać za spójne, kompatybilne, niezgodne lub zagmatwane, w zależności od poziomu i rodzaju zgodności między samooceną a ocenami obserwatorów. W przypadkach, w których samoocena znacznie różni się od wkładu obserwatora, za taki wynik może odpowiadać szereg czynników:

  • Ograniczona samoświadomość – jest bardzo prawdopodobne, że jeśli ktoś jest nowy w określonej roli zawodowej lub ogólnie nowy w zespole spowoduje to nieporozumienie w ocenach między daną osobą a obserwatorami lub pomiędzy poszczególnymi obserwatorami, Osoba, o której mowa, może odgrywać inną rolę, niż pragnie lub, w której byłaby najlepsza. Podczas gdy oceny obserwatorów mogą odzwierciedlać obecny wkład Roli Zespołowej, samoocena może ujawnić aspiracje do odgrywania innej roli.

  • Osoba może zmienić swoje poglądy lub wartości, co może nie być od razu oczywiste dla współpracowników, ale może wpłynąć na podejście i zachowanie jednostki.

  • Rola obserwatorów – ważne jest ustalenie dokładnych relacji zawodowych między daną osobą a obserwującymi ja ludźmi. Obserwator może nie znać osoby na tyle dobrze, aby skomentować jej styl pracy, zwłaszcza jeśli nie pracowali razem przez dłuższy czas. Dodatkowo, podczas wypełniania testu osobiste Role Zespołowe obserwatora mogą wpłynąć na oceny.

Jest bardzo prawdopodobne, że każdy zbiór danych będzie zawierał mieszankę tych różnych rodzajów wzorców. W przypadku stwierdzenia znaczącej zgodności między postrzeganiem siebie a ocenami obserwatorów, jest to traktowane jako mocny wskaźnik wraz z innymi czynnikami statystycznymi w celu finalnego ustalenia, czy daną osobę można uznać za mocny przykład określonego typu Roli zespołowej.

Test Belbina i inne testy

Test został przeanalizowany wraz z innymi testami, takimi jak 16PF i OPQ. W badaniu z 2007 roku, Aritzeta, Swailes & Senior stwierdził, że:

„Sumując badania empiryczne, istnieje wystarczający dowód na to, że definicje ról zespołowych są prawidłowe i że niezależnie od narzędzia stosowanego do pomiaru ról zespołowych, wyniki są zgodne z innymi modelami teoretycznymi. Model do ról zespołowych pokazuje dowody na trafność oceny, których nie można lekceważyć […]. Znajomość rodzaju skojarzeń, jakie wykazuje rola zespołowa z indywidualnymi stylami poznawczymi, zachowaniami związanymi z rozwiązywaniem konfliktów i innymi badanymi obszarami, pomoże lepiej zrozumieć dynamikę zespołu i ułatwi działania związane z budowaniem zespołu”

Aritzeta, Swailes & Senior, 2007 14
Trafność kryterialna

Trafność kryterium dotyczy stosowalności testu – udowadnia się to poprzez wykazanie, że wyniki danego testu odnoszą się w znaczący sposób do kryterium zewnętrznego – np. wykonania pracy. Często jest to łatwiejsze do oceny, gdy ma się do czynienia z testami umiejętności, niemniej jednak wiele organizacji na całym świecie może potwierdzić, że Teoria Belbina pomogła odnieść sukces zespołom.

W 1995 roku Dulewicz badał związek między rolą zespołową a odpowiedzialnością lub statusem. W tym celu dokonał pomiaru pensji, całkowitego wynagrodzenia oraz całkowitej liczby pracowników i całkowitych budżetów wydatków, za które dana osoba była odpowiedzialna. Odkrył, że role zespołowe wydają się być niezależne od miar wynagrodzenia i obowiązków zawodowych.

Teoria Ról Zespołowych Belbina nie precyzuje, czy któraś rola zespołowa jest wymagana do pełnienia funkcji kierowniczej, ani też roli, która pociąga za sobą wyższe wynagrodzenie. Badanie Shi & Tang, opublikowane w 1997 roku, zawiera użyteczny komentarz, że dane środowisko może sprzyjać rozwojowi określonych Ról Zespołowych. Na przykład klimat zagrożenia lub wewnętrznych rozgrywek politycznych może promować pragmatyczną i wnikliwą osobę na stanowisko kierownicze, osobę która jest sprytna w ewaluacji swojego otoczenia i innych wokół siebie – innymi słowy, efektywnego Ewaluatora. W organizacji, która utknęła w rutynie i której brakuje pomysłów i zasobów, prawdopodobnie wyróżni się Kreator lub Poszukiwacz Źródeł; w stabilnym i pracowitym środowisku cechy Implementera lub Perfekcjonisty mogą być bardziej docenione.

Artykuły badawcze

Poniższe badania przeprowadzono z wykorzystaniem danych z Interplace. Autorzy poprosili Belbin Associates o dostęp do tych danych, które są w pełni znormalizowane i obejmują ponad 5000 rekordów.

Stephen Swailes i in. są niezależnymi badaczami z Uniwersytetu w Hull. Jego badania pokazują, że Test Belbina ma dobrą niezawodność i trafność oraz uwzględnia unikalne ipsatywne i nie-ipsatywne cechy naszego Testu. W szczególności zalecane są następujące artykuły (uszeregowane według dat):

Aritzeta, Ayestaran & Swailes, Team Role Preference and Conflict Management Styles (2005)
Aritzeta, Senior & Swailes, Belbin Team Role Preference and Cognitive Styles: A Convergent Validity Study (2004)
Aritzeta, Senior & Swailes, Belbin’s Team Role Model: Development, Validity and Applications for Team Building (2007)
Aritzeta, Swailes & McIntyre‐Bhatty, Further Evidence on the Validity of the Belbin Team Role Self Perception Inventory and the Observer’s Assessment Sheet (2004)
Aritzeta, Swailes & Senior, Team Roles: Psychometric Evidence, Construct Validity and Team Building (2005)
Beck, Fisch & Bergander, Functional Roles in Work Groups – An Empirical Approach to the Study of Group Role Diversity (1999)
McIntyre‐Bhatty & Swailes, The Reliability of the (Belbin) Team Role Self‐Perception Inventory: Cronbach’s alpha and ipsative scales (2000)
Morison, Chris, An Investigation of Belbin Team Roles as a Measure of Business Culture (2008)
Swailes & Aritzeta, Scale Properties of the Team Role Self‐Perception Inventory (2006)
Swailes & McIntyre‐Bhatty, Uses and Abuses of Reliability Estimates: The Case of the Belbin TRSPI (2001)
van Dierendonck & Groen, Belbin Revisited: The Construct Validity of the Interplace II Team Role Instrument (2008)

Poznaj test Belbina

Dzięki testowi Belbina poznasz swoje mocne strony i akceptowalne słabości oraz dowiesz się w jakich rolach odnajdziesz się najlepiej. Zaufaj wiedzy budowanej od ponad 30 lat i świadomie pokieruj swoją karierą!

Poznaj test

Chcesz dowiedzieć się więcej?

6 Raportów Belbin®
Poznaj Raporty Belbina

Sprawdź jak wyglądają przykładowe raporty Belbina.

Role Zespołowe Belbina
Poznaj Role Zespołowe

Poznaj Role Zespołowe i ich cechy.

Belbin Role Icons