A BlackLivesMatter mozgalom miatt szinte minden területen felerősödtek a rasszizmust ellenző hangok. Az adatgyűjtéssel és marketinganyagokkal kapcsolatos kétségek azonban nem újkeletűek: több szervezet már régóta hangsúlyozza az olyan tényeket, mint például hogy a stock fotókon csak csoportokban vagy a háttérben tűnnek fel feketék, illetve hogy a Facebook algoritmusai rassz alapján is kategorizálják az embereket.

A Black Lives Matter mozgalom újbóli fellendülésével a közösségi médiában sok marketingszakember újraértékelte azokat a kérdéseket, amelyekről a BIPOC (egy rövidítés, amely a fekete, az őslakosokat és más, a fehértől eltérő bőrszínű embereket jelöli) és szövetségesei évek óta beszélnek. Ezek közül a legnevezetesebb az, hogy az adatokat - amelyeket hagyományosan elfogulatlannak és „puszta számoknak” tekintünk - valójában a mérnökök, marketingszakemberek, fejlesztők és adatkutatók elfogultságától függenek, akik gyűjtik, feldolgozzák és használják őket.

Bár a világ most figyelt fel a jelenségre, az egyáltalán nem újdonság. Annak megértéséhez, hogy ezek a modellek hogyan kódolják az elfogultságot, fontos megérteni az implicit elfogultság működését.

Az Ohio Állami Egyetem kutatása szerint:

[Az] implicit elfogultság olyan attitűdökre vagy sztereotípiákra utal, amelyek tudattalan módon befolyásolják megértésünket, cselekedeteinket és döntéseinket. Ezek az elfogultságok, amelyek mind a kedvező, mind a kedvezőtlen értékeléseket magukba foglalják, önkéntelenül, az egyén tudatossága vagy szándékos ellenőrzése nélkül aktiválódnak.

Átfogalmazva, az implicit elfogultság lényegében azokról a gondolatokról szól, amik nem tudatosulnak bennünk. Ezek az elfogultságok abból fakadhatnak, hogy miként nevelkedtek fel bennünk, a családunk értékei, az egyéni tapasztalatok és egyebek. Bár nem mindig negatív sztereotípiákról van szó, de mégis tudjuk, hogy az egyének egyének, a sztereotípiák pedig átfogó általánosítások – amelyeknek nem kéne hatással lenniük a gépi tanulásra és az állítólag elfogulatlan statisztikákra.

Nézzük meg a Harvard Implicit Association Tests (IAT) egyikét, mely például szolgál arra, miben rejlenek saját implicit elfogultságaink. (Nem szabad elfelejteni, hogy az implicit elfogultság nem tesz rossz emberré. Az emberek többsége magában hordozza őket.)

Hogyan befolyásolja az implicit elfogultság az algoritmusokat és a marketing adatokat?

Az algoritmusok és a gépi tanulás csak annyira jó, mint az az információ, amelyet e modellekbe táplálunk. Ahogy a mérnökök gyakran mondják: „szemét be, szemét ki”.

Néhány évvel ezelőtt a MozCon-on Britney Muller bemutatta, hogyan hozott létre egy egyszerű gépi tanulási algoritmust, amellyel megkülönböztetheti kígyójáról, Tökről készült képeket a Moz alapítójának és úgyvezetőjének, Rand Fishkinnek a képeitől. Az ML program fejlesztésének (és minden más hasonló fejlesztésnek) a kulcsa az volt, hogy elmentette a kígyójáról készült képeket, és manuálisan megjelölte őket „Tök”-ként, majd ugyanezt tette Fishkin esetében is. Ennek következtében a program megtanulta megkülönböztetni a hüllőt a vezérigazgatótól.

Ebből látható, hogy a gépi tanulás manuális aspektusa még most is kulcsszerepet játszik a tréningben - és hogy az emberi elfogultság (implicit vagy explicit) befolyásolhatja a kapott adatokat.

Lényegében az inputot adó ember választja meg, hogyan tanul az algoritmus. Ha a kígyófotókat Fishkin-fotókkal váltanánk fel, az „elfogulatlan” algoritmus Fishkint kígyónak, a kígyót pedig vezérigazgatónak nevezné.

Stock fotó webhelyek

A Being Black in Corporate America nevű tanulmány megállapította, hogy a fehérgalléros szakmákban foglalkoztatottaknak csupán 8 százaléka fekete, és ez az arány a vállalati létra magasabb fokainál meredeken csökken, különösen akkor, ha a középvezetői szintet hasonlítják össze a vezetői szinttel. Ez annak ellenére is így van, hogy a fekete szakemberek fehér kollégáiknál nagyobb eséllyel ambiciózusabbak a pályafutásukban és kiemelt munkára vágynak.

Marketingszakemberként fontos feltennünk magunknak a kérdést, hogy a weboldalunkon címkézett és elhelyezett adatok hogyan befolyásolják a való életben zajló eseményeket? Lehet, hogy a tyúk és a tojás problémájáról van szó - a képviseletnek követnie kell-e a tényleges munkahelyi statisztikákat, vagy befolyásolhatja-e a munkahelyi statisztikákat a képviselet még olyan „ártalmatlan” formában is, mint a stock fotó weboldalak?

Sajnos ez az elképzelés több kutatás alapján is igaznak bizonyul. A HR-esek megerősítik, hogy az állásinterjú-jelöltek nagyobb valószínűséggel remélhetik, hogy megkapják az áhított állást, ha olyan embereket látnak az interjún, akik hasonlítanak rájuk a vállalatnál, vezetői pozíciókban és magában az interjút végző csoportban.

A reprezentáció mindig is problémát jelentett a stockfotós weboldalakon, olyannyira, hogy a egyes fotóoldalak nemrégiben kizárólag a BIPOC, a fogyatékkal élők és a plus size modellek képeire alapozott üzlettel tettek szert sikerre a piacon.

2020 június végén egy népszerű stock fotó webhelyen a „dolgozó nő” keresés több mint 100 képet eredményez az első oldalon. A több mint 100 fotó közül:

• 10 BIPOC-ban megjelenő egyén szerepel a háttérben vagy egy csoportban.

• 11 kizárólag a BIPOC-ra koncentrál, mint fő személyre.

• 4 képen az idősebb felnőttek láthatók egy profi munkahelyen.

• 0 képen nagyobb testű emberek láthatók.

• 0 képen fogyatékossággal élő személyek láthatók.

Ezek az adatok csak gyors keresésen és durva számláláson alapulnak, de azt mutatják, hogy a reprezentáció hiányzik. Marketingszakemberként kulcsfontosságú, hogy sokszínű és befogadó képeket használjunk, hiszen fontos a társadalmi sokszínűség reprezentálása a hirdetésekben is.

Facebook hirdetési algoritmusok

2019 tavaszán az Egyesült Államok Lakás- és Városfejlesztési Minisztériuma beperelte a Facebookot, mivel lehetővé tette a hirdetők számára, hogy faj, nem és vallás alapján célozzák a hirdetéseket (ezek mind az Egyesült Államok törvényei szerint védett osztályok).

A Facebook azt állította, hogy megszabadult ettől a kézi opciótól, hogy a hirdetők diszkrimináljanak, de az adatok bebizonyították, hogy algoritmusaik ott léptek fel, ahol a kézi megkülönböztetés abbamaradt. Egy tanulmány azonban megállapította, hogy a gondnokok és taxisofőrök álláshirdetéseit a kisebbségek nagyobb hányada, az ápolónők és asszisztensek álláshirdetéseit pedig a nők nagyobb hányada látja.

Karen Hao, az MIT Technology Review munkatársa szerint:

Elfogultság akkor fordul elő az adatgyűjtés során, amikor a tréninghez használt adatok is a már meglévő előítéleteket tükrözik. A Facebook hirdetési eszköze az optimalizálási döntéseit az emberek által bevitt korábbi preferenciákra alapozza. Ha korábban több kisebbség foglalkozott bérleti hirdetésekkel, a gépi tanulási modell azonosítja ezt a mintát, és örökkévalóan ezt alkalmazza.

Az összefüggés azonban nem mindig ennyire egyszerű: például az értékesítési adatok nem feltétlen tükrözik azt a megállapítást, hogy a kisebbségekből származó emberek többször használnak taxit. Éppen ezért az ilyen eredményeket nem árt időről időre felülvizsgálni.

Arcfelismerő modellek

Tanulmányok azt mutatják, hogy bár a technológia viszonylag jól működik a fehér férfiaknál, az eredmények kevésbé pontosak más demográfiai csoportok esetében, részben az alapul szolgáló adatbázisok fejlesztéséhez használt képek sokféleségének hiánya miatt. Ez alaposan megnehezíti például a biztonsági rendszerek működését is, nem megbízható eredményeket adva.

Ezt egy „nickstenning” nevű Twitter felhasználó nagyon szemléletesen bizonyította azzal, hogy egy pixeles, de jól felismerhető képet töltött fel egy MI alapú képhelyreállító eszközbe. A szoftver a kép rekonstruálása közben Barack Obama helyett (akiről a pixeles kép valójában készült), állandóan egy fehér férfit jelenített meg.