Mer lönsam med bättre feedback och relationer?
I många verksamheter upplevs ett motsatsförhållande mellan lönsamhetsfokus och mer relations- och kulturbyggandebyggande aktiviteter. Ofta uttrycks dessa båda som ”hårda” och ”mjuka” värden i organisationer. En ständig utmaning för HR-personal och organisationskonsulter består i att via arbete med mjuka värden påverka hårda siffror.
IT-företaget Pulsen är ett av Sveriges äldsta IT-konsultbolag och etablerades redan 1964. På Pulsen Integration, ett affärsområde inom Pulsen med 150 anställda, diskuterades frågan om ett motsatsförhållande verkligen fanns mellan lönsamhet och en feedbackkultur. Borde inte en mer feedbackorienterad organisation med bättre relationer mellan medarbetare och chefer skapa ökad lönsamhet?
Pulsen Integration bjöd in Psykologifabrikens konsulter att med hjälp av ”organizational behavior management” eller OBM – Helt enkelt inlärningspsykologi i organisationer – och vårt digitala verktyg Viary utmana föreställningen om hur ”hårda” värden kan påverkas med ”mjuka” strategier – Och hur sambandet verkligen kan säkerställas!
Genom att identifiera de beteenden som antogs påverka resultatet byggdes insatsen kring att med olika strategier öka frekvensen av dessa. Då insatsen berörde både konsultchefer, projektledare och konsulter formulerades olika beteenden för de olika kategorierna. En konsultchef fokuserade på beteenden som att återkoppla positiv feedback till en konsult, en projektledare utförde beteenden som att stämma av en ekonomisk kalkyl och en konsult kunde exempelvis lyfta fram ett identifierat behov ute hos kunden.
En röd tråd bland de beteenden som arbetades med var olika former av feedback. Allt ifrån att uppmärksamma en kollegas prestation till att fira en framgång tillsammans.
Med workshops, digitala verktyg, coaching och utbildning arbetade psykologifabrikens konsulter med utmaningen under 6 veckor. För att säkerställa att resultatet verkligen påverkades av insatsen kontrollerades de ca 60 medarbetarna som berördes av insatsens beläggningsgrad mot hela affärsområdets medarbetare. Ökningen visade sig vara hela 9 procentenheter för OBM/Viary-gruppen och totalt 2,5 procentenheter för hela affärsområdet (inom vilken Viary-gruppen ingick). Således en ökning om minst 6,5 procentenheter i beläggningsgrad och sannolikt mer.

För att vara riktigt säkra på att resultatet uppnåtts på grund av insatsen stämdes varje individuell medarbetares ökning i beläggningsgrad av mot mängden registrerade beteenden i Viary — Fanns det ett samband mellan handlingar och lönsamhet? Mycket riktigt kunde ett statistiskt samband säkerställas.
Och hur gick det med relationerna? Faktum var att på frågan ”Jag tycker att insatsen och Viary förbättrat kontakten med min chef” svarade 55% att det stämde precis, 36% att det stämde ganska bra och 9% att de var osäkra.
”Jag tycker att arbetet med insatsen och Viary förbättrat kontakten med min chef”
Summering i tre punkter:
Arbete med konkreta beteenden påverkade på ett mätbart vis Pulsen Integrations resultat.
Lönsamheten ökade samtidigt som upplevelsen av relationen mellan chef och medarbetar förbättrades.
Resultaten kunde säkerställas statistiskt och kontrolleras för flertalet felkällor
Nyfiken på detaljer? Läs hela rapporten här
Psykologifabriken
Lyckligare organisationer ger oss lyckligare människor. Att möta förändringar, lösa komplexa problem, bli en attraktiv arbetsgivare - det funkar inte med olyckliga medarbetare. Psykologifabriken är psykologer som vill att alla ska bli lyckliga, därför hjälper vi gärna er organisation. Samt skriver här och i vårt psykologiska gym så att vem som helst kan jobba på sitt välmående. 
Follow
Efter att ha läst blogginlägget och rapporten lite noggrannare uppstår
ytterligare ett par frågetecken. Rapporten tycks förmedla budskapet att
Viary-användning leder till ökad produktivitet och bättre relationer på
arbetsplatsen. Det är ju ett önskvärt budskap, speciellt för
Psykologifabriken som tar 14.500 för en kurs. Då vill man ju gärna att
interventionen är effektiv, men efter att ha läst rapporten är jag
tveksam. Förvisso en pilotstudie, men eftersom den mycket väl kan
användas som säljargument för er produkt bör den likväl granskas.
I tur och ordning:
“Varje konsult i Viarygruppen ökade i snitt sin beläggningsgrad med 9 procentenheter.”
Vad
betyder det här? Att varje konsult ökade sin beläggning med 9%, eller
att gruppen ökade sin beläggning med i snitt 9%? “Varje konsult” antyder
att resultaten gäller varje enskild konsult, medan “i snitt” antyder
att resultaten är ett genomsnitt för gruppen som helhet. Att beräkna
genomsnitt för varje enskild konsult är lite underligt.
“Jämförelsegruppen, d v s hela avdelningen (Viarygruppen inkluderad i
denna ökning), ökade sin beläggningsgrad med 2,5 procentenheter under
samma tid.”
Varför inkluderar ni Viary-gruppen i jämförelsegruppen?
Det är ju ganska okonventionellt. Hur mycket ökade gruppen utan Viary
sin beläggning under samma period? Förmodligen mindre än 2.5%, men hur
mycket mindre?
“Detta visar att effekten av Viary som minst var en ökning av 6,5 procentenheter i beläggningsgrad per deltagare.”
Nej,
ni vet inte varför Viary-gruppen ökade sin beläggning, alltså om
skillnaden på 6,5% är en effekt av Viary-användning eller något annat.
För att få reda på detta måste ni (mycket riktigt) kontrollera för
felkällor.
“Det är lätt att föreställa sig att andra variabler; konjunktur,
nya uppdrag eller liknande kan spela in för resultatet – Hur kan vi veta
att det verkligen var de förändrade beteendena som ledde till det
positiva resultatet? Genom att statistiskt beräkna sambandet mellan
individuell förändring i beläggningsgrad och mängden utförda beteenden
kan detta undersökas.”
“Detta” här avser, vad jag förstår, just kontroll av felkällorna –
om ökningen i beläggning kan tillskrivas Viary-användning istället för
någon av de andra variablerna (konjunktur, etc). Detta har ni undersökt
genom att statistiskt beräkna sambandet mellan Viary-användning och
beläggningsgrad. Jag antar att ni gjort det genom att korrelera dessa
två variabler (eftersom det är vad Bild 4 visar).
Men att signifikanstesta korrelationer har ingenting att göra med att
kontrollera för felkällor. Vad man beräknar med ett signifikanstest är
sannolikheten att få det uppmätta resultatet, givet att effekten (läs:
korrelationen) i populationen är 0. Till exempel: om det de facto inte
finns något samband mellan Viary-användning och beläggningsgrad, så är
sannolikheten att få de resultat ni fått mindre än 5% (eller vilket
tröskelvärde ni nu använt). Huruvida detta samband medieras av en annan
faktor (alltså om det finns felkällor) är inget man får svar av med ett
signifikanstest.
Ett sätt att kontrollera för felkällor är att ta med dessa felkällor
i beräkningen och se om resultaten står sig även då, t ex genom att ta
med variablerna (“konjunktur”, “antalet nya uppdrag”, etc) i en multipel
regression och sedan beräkna Viary-användningens unika effekt på
beläggning, kontrollerat för de andra variablerna. Men eftersom ni inte
tagit med övriga variabler i er beräkning, kan ni inte kontrollera för
dessa felkällor – och definitivt inte genom att bara signifikanstesta en
korrelation.
Vidare anger ni ingenstans vilken signifikansnivå ni använt er av,
eller hur stark korrelationen är. Allt som står är att sambandet är
“statistiskt säkerställt”, men varken p-värden eller effektmått
redovisas. Jag räknar 14 punkter i grafen, och med 14 datapunkter måste
väl korrelationen vara ungefär r = .53 för att den skall vara
statistiskt signifikant på .05-nivån (two-tailed).
“Detta innebär att ju fler beteenden en Viaryanvändare utförde desto mer ökade också personens beläggningsgrad.”
Nja,
tveksamt. För en tredjedel av deltagarna minskade ju beläggningsgraden
trots att de utförde Viary-beteenden i lika hög utsträckning som de vars
beläggning ökade.
En annan rimlig tolkning är ju förresten att konsulterna gjorde fler
Viary-användningar som en effekt av högre beläggning – eller nått tredje
alternativ. Vad som är orsak till vad är ju oklart. Hawthorne-effekten
har ju som bekant en avsevärd påverkan på resultatet i dessa typer av
studier.
Vidare; vad representerar dessa 14 datapunkter? Är de enskilda
konsulter? Projektledare? Chefer? Spelare på en fotbollsplan? Och vad är
det för brun låda mitt på fotbollsplanen? Den tycks bara vara där för
att förstärka intrycket av ett statistiskt samband, trots att (som vi
ska se) det är tveksamt om något samband ö.h.t. existerar.
Eftersom ni inte redovisar någon statistik så gjorde jag själv lite beräkningar, utifrån vad jag kunde utläsa från grafen.
Med alla datapunkter inkluderade (N=14) får jag r = .45, p = .10, alltså icke-signifikant.
Med de datapunkter ni inkluderar (Viary > 10; N=9) får jag r = .50, p = .17, också det icke-signifikant.
Två
personer fick markant ökad beläggning under december månad och de
använde också Viary markant mycket mer än de flesta andra, så man undrar
ju då hur mycket de driver resultaten. Exkluderar man dessa (N=12) får
jag r = -.13, p = .68 (ett svagt negativt samband; också det
icke-signifikant), vilket innebär att dessa två extrempunkter påverkar
resultaten ganska mycket. Man skulle kunna säga att de driver hela
(icke-signifikanta) korrelationen. Med blotta ögat ser man ju att om man
bortser från de tre datapunkter
som gör väldigt många Viary-beteenden (40, 33 och 46 stycken) så tycks
det inte finnas något samband alls mellan Viary-användning och
beläggningsgrad.
Eftersom jag inte lyckas replikera era signifikanta resultat blir man ju
än mer intresserad av att få ta del av de statistiska beräkningarna
(gärna rådata också). Det är möjligt att ni gjort andra beräkningar än
de jag gjort här, men oavsett vilket vore det önskvärt att få dessa
redovisade.
Enligt era statistiska inklusionskriterier (mer än 10 Viary-beteenden)
så skulle ju en tredjedel av alla deltagare exkluderas ur analysen.
Givet att Viary-användning påverkar beläggningsgrad – vilket inte på
något sätt framgår hittills – så vill man ju också veta: hur kommer det
sig att så många deltagare gjorde så få Viary-beteenden? Och hur kan man
i så fall öka deras Viary-användning?
Jag vet inte vilken mottagare rapporten är avsedd för, men det är inte
orimligt att anta att dessa är avsevärt mycket sämre tränade i att tolka
statistiska resultat än den genomsnittlige psykologen (likväl är det
orimligt att anta att de alls skulle vara kompetenta att kritiskt
granska den rapport de får i sin hand – man utgår ju från att det som
står i rapporten stämmer). Därför är det oroväckande att se en rad tve-
och otydligheter i texten, missuppfattningar gällande statistiska
beräkningar och statistisk metod, frånvaro av statistiska resultat samt
missvisande figurer som ger sken av samband som inte finns. Visst; det
är en pilotstudie och det är ingen vetenskaplig artikel. Budskapet de
vill förmedla i rapporten är dock tydligt – Viary hjälper ditt företag
öka produktiviteten och förbättrar kommunikationen på arbetsplatsen, med
evidensbaserade metoder.
Jag skulle säga att denna slutsats helt saknar
stöd i rapporten. I bästa fall har ni haft otur med statistiken, i
värsta fall är det falsk marknadsföring.
Hej Rasmus och tack för din långa kommentar. Kul att se att det finns de som gillar statistik och granskar rapporter. Inte så många studenter som är så insatta som du, all heder till dig för det!
Det stämmer att det är högst okonventionellt att inkludera en försöksgrupp i jämförelsegruppen. Tyvärr kunde inte Pulsen extrahera försöksgruppens beläggningsgrad från det totala för avdelningen. Jämförelsegruppen blir inte helt rätt då förstås och resultatet; “6,5 procentenheter mer” blir inte helt korrekt. Men det vi redovisar är ändå “på rätt sida”; vi visar något som kanske är det exakta resultatet, eller åtminstone en liten (eller stor) underdrift av det.
I nästa avsnitt; om sambandet mellan förändring i beläggningsgrad och antalet utförda beteenden i Viary så skriver vi inte att korrelationsanalysen är ett sätt att säkerställa att felkällor inte finns. Jag förstår om det kan uppfattas så, och kanske bör vi ändra oss i vår formulering där. Det vi vill säga är att vi kan undersöka vidare hur Viarygruppen fungerar med denna typ av analys. Vi är ute efter att se om det fanns ett samband mellan två variabler som är essentiella för oss; att ha en högre ökning av sin beläggningsgrad under denna period, och att man registrerade (och också utförde) många beteenden i Viary. Vi hittade ett signifikant samband mellan dessa två variabler, r(13) = -.49, p .3 som något bra så att vi har r =.49 ska vi definitivt inte skämmas för, även om det som sagt finns felkällor här.
Det är en missuppfattning att inklusionskriterierna var 10 eller fler Viary-beteenden, förstås inkluderades alla. Det som meningen (lite felaktigt) syftar till är att de personer som gjorde 10 eller fler beteenden också ökade sin beläggningsgrad. Detta är dock mer en tolkning av figuren snarare än ett korrekt beräknande.
Att det finns en effekt av Viary i denna insats kan vi förstås inte vara helt säkra på (det är i ärlighetens namn väldigt lite som vi med 100 % säkerhet vet har en effekt på något, särskilt i arbetslivsforskning), det finns en hel del möjliga felkällor. Men att Viarygruppen var betydligt bättre än jämförelsegruppen som jobbade på som vanligt (TAU), det vet vi (ökningen är något som kunden anser som mycket). Vi vet också att de deltagare som gjorde många Viarybeteenden också ökade sin beläggningsgrad mer.
Hoppas att detta gav svar på dina frågor. Vi vill alltid utveckla våra metoder, så om du vet bra sätt för att kontrollera för t ex konjunktur, och hur vi skulle kunna fått in detta i just denna insats så tar jag gärna emot tips! Om du vill får du gärna svänga förbi oss på en kaffe!