A Boston Consulting Group (BCG) 750 tanácsadóján tesztelte egy globális kísérlet során, hogyan hat a generatív mesterséges intelligencia (MI) a teljesítményükre. Ez volt a világon az első kísérlet az MI kompetenciájának mérésére az üzleti szolgáltatási területen, olyan feladatokkal, amelyeket nap mint nap megoldanak az ott dolgozók. Az eredmények számos ellentmondásra rámutattak.
A BCG junior tanácsadói nem alkotnak nagyon heterogén csoportot, képzett, legalább BSc diplomával rendelkező, átlagosan 4 éve a pályán lévő fiatalokról van szó. Azonban a tény, hogy itt is kijöttek ezek a különbségek, arra utal, hogy szakmai kompetenciákban még sokszínűbb csoportoknál még nagyobb eltéréseket találnánk. Az MI ebben az esetben a GPT-4-es verziója volt, a kísérletet idén május-júniusban végezték el.*A BCG a Harvard Business School, az MIT Sloan School of Management, a Pennsylvaniai Egyetemhez tartozó Wharton School és a Warwick Egyetem tudósainak segítségével végezte el a kísérletet.
Kiderült, hogy a résztvevők pont ott nem bíztak az MI-ben, ahol pedig rengeteg hozzáadott értéket tudott volna termelni számukra, míg olyan területen túlságosan megbíznak benne, ahol nem kompetens ez a technológia.
A tanácsadóknak egy beugró, szintfelmérő tesztet és két, eltérő képességeket igénylő feladatot kellett megoldaniuk. Aztán az első feladatban arra kérték őket, hogy küldjenek innovatív ötleteket új termékekre és piacralépési tervekre. A második feladat során egy üzleti problémát kellett megoldaniuk a résztvevőknek, amelyhez adottak voltak kvantitatív (teljesítménymutatók) és kvalitatív adatok (vezetői interjúk) is.
Az eredmények ellentmondanak a sejtésnek, hogy az MI akkor a legjobb, ha adatokból dolgozik.
Az első feladatnál tízből kilencen átlagosan 40 százalékkal jobb teljesítményt nyújtottak az MI használatával a kontrollcsoporthoz képest, akik MI nélkül oldották meg a feladatot. Sőt, a legjobb eredmények akkor születtek, ha nem próbálták meg átírni a GPT-4 által alkotott szöveget, csak bemásolták ezt.
A második feladatnál, ahol egy összetett üzleti problémát kellett megoldani, sokan elfogadták a GPT-4 által adott félrevezető válaszokat, így teljesítményük 23 százalékkal maradt el a kontrollcsoportétól. Ráadásul a helytelen megoldást adók akkor sem akarták átírni a válaszukat, amikor figyelmeztették őket arra, hogy lehet, hogy rossz válaszokat kapnak. Ennek részben az MI jó meggyőzőképessége lehet az oka.
Ezen a ponton felmerült a kérdés, hogy ha megtanítják az embereket helyesen bánni az MI-vel, akkor jobb eredményt érnek-e el. Azonban az üzleti problémamegoldó feladatra adott válaszok még azután is hibásak voltak, miután a résztvevők kaptak egy áttekintést arról, hogyan promptolják a GPT-4-et (azaz hogyan fogalmazzák meg az utasításokat számára). Ráadásul a miniképzésben részt vevők még rosszabbul is teljesítettek, mint azok, akik nem kaptak ilyen útmutatást. Az eredmények szerint a résztvevők túl magabiztosak lettek a képzés után abban, hogy tudják kezelni a GPT-4-et.
Egy másik zavarba ejtő eredmény az volt, hogy az átlagos résztvevő nemcsak hogy nem tudja továbbfejleszteni az MI eredményeit, de egyenesen ront rajtuk, ha belenyúl. Minden 10 százalékos változtatás a GPT válaszán átlagosan 17 százalékos csökkenéssel járt az eredményeknél.
Szintfelmérő
Volt még egy dimenziója a kísérletnek. A tanácsadókkal egy beugró tesztet is elvégeztek, amely szakmai kompetenciáikat mérte.
Ha ezeket is figyelembe vesszük az eredmények értékelésénél, azt látni, hogy az MI megtáltosítja a gyengébb kompetenciákkal bíró munkaerőt: minél alacsonyabb értéket ért el valaki a beugró teszten, annál jobban teljesített az MI segítségével az első, kreatív feladatnál. A magasabb szakmai kompetencia pontot elérők eredményét kevésbé „lengette ki” az MI.
Kreativitás csapda
Bár a kreatív feladatra az MI által adott válaszok növelték az egyéni eredményeket, mivel ezek a válaszok nagyon hasonlóak voltak egymáshoz, így csapatszinten csökkent az ötletek sokszínűsége, repetitívvé váltak a megoldások. A GPT-4-et nem használó kontrollcsoportéhoz képest – csoportszinten – 41 százalékkal kevésbé volt sokszínű.
Ráadásul a résztvevők 70 százaléka szerint a GPT használata idővel elnyomja a kreatív képességeiket.
Mint bármelyik technológiára, erre is túlságosan rá lehet hagyatkozni. A GPS rengeteget lendített a navigáción, amikor megjelent, de ma már ott tartunk, hogy az emberek nem tudnak GPS nélkül vezetni. Amikor egy technológiára túlságosan ráhagyatkozunk, elveszítjük a korábbi képességeinket
– mondta az egyik résztvevő.
Az MI-ben rejlő versenyképességi előny kihasználásához rendkívül fontos, hogy jól válasszuk ki a feladatot, amivel megbízzuk és helyesen alkalmazzuk a technológiát. Ebben az esetben nem érdemes belenyúlni az eredményekbe. Nehéz azonban eldönteni, mikor, milyen munkához érdemes segítségül hívni az MI-t. Ezt nehezíti, hogy hatásosan érvel akkor is, amikor nem a hozzá illő feladattal bízták meg. Ha ekkor is ráhagyatkozunk, jelentős értékveszteséget is okozhat a vállalat számára.
A cikk megjelenését a Boston Consulting Group támogatta.
