Áno, umelá inteligencia môže byť rasistická

ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਖਤਮ ਕਰਨ ਲਈ ਸਾਡੇ ਸਾਧਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੋ

Alexandria Ocasio-Cortez hovorí, že AI môže byť neobjektívna. má pravdu.

Getty Images/EyeEm

Otvorte na svojom telefóne aplikáciu pre fotografie a vyhľadajte psa a zobrazia sa všetky obrázky psov, ktoré máte. Nebol to ľahký výkon. Váš telefón vie, ako pes vyzerá.

Tento moderný zázrak je výsledkom strojového učenia, formy umelej inteligencie. Programy ako tento prehrabávajú milióny údajov a vytvárajú korelácie a predpovede o svete. Ich príťažlivosť je obrovská: Stroje môžu používať chladné a tvrdé údaje na prijímanie rozhodnutí, ktoré sú niekedy presnejšie ako ľudské.

Strojové učenie má však aj temnú stránku. Ak sa nepoužíva správne, môže robiť rozhodnutia, ktoré udržia rasové predsudky, ktoré existujú v spoločnosti. Nie je to preto, že počítače sú rasistické. Je to preto, že sa učia pozeraním na svet taký, aký je, nie taký, aký by mal byť.

Nedávno novozvolená zástupkyňa Alexandria Ocasio-Cortez (D-NY) uviedla tento bod v a diskusia na podujatí Martina Luthera Kinga Jr. Day v New Yorku.

Algoritmy stále vytvárajú ľudské bytosti a tieto algoritmy sú stále viazané na základné ľudské predpoklady, povedala spisovateľovi Ta-Nehisi Coatesovi na výročnom Udalosť MLK Now . Sú to len automatizované predpoklady. A ak neopravíte zaujatosť, potom len automatizujete zaujatosť.

Nasledujúci deň sa konzervatívny web Daily Wire vysmieval komentáre .

Ale Ocasio-Cortez má pravdu a stojí za to zamyslieť sa nad tým, prečo.

Ak si nedáme pozor, AI bude v našom svete udržiavať zaujatosť. Počítače sa ako počítačový vedec učia byť rasistickým, sexistickým a predsudkovým podobným spôsobom ako dieťa. Aylin Caliskanová , teraz na Univerzite Georgea Washingtona, mi povedal v rozhovore v roku 2017. Počítače sa učia od svojich tvorcov – nás.

Mnoho ľudí si myslí, že stroje nie sú zaujaté, povedal Caliskan, ktorý bol v tom čase v Princetone. Ale stroje sú trénované na ľudských dátach. A ľudia sú zaujatí.

Myslíme si, že umelá inteligencia je nestranná. Často to tak nie je.

Takmer všetky nové spotrebiteľské technológie nejakým spôsobom využívajú strojové učenie. Využite Prekladač Google: Žiadna osoba nedala softvéru pokyn, aby sa naučil prekladať gréčtinu do francúzštiny a potom do angličtiny. Prečesalo nespočetné množstvo textu a naučilo sa samo. V iných prípadoch programy strojového učenia predpovedajú, ktoré životopisy pravdepodobne prinesú úspešných kandidátov na prácu alebo ako bude pacient reagovať na konkrétny liek.

Strojové učenie je program, ktorý preosieva miliardy údajových bodov, aby vyriešil problémy (napríklad dokážete identifikovať zviera na fotografii), ale nedokáže vždy vyjasniť ako problém sa tým vyriešil. A je čoraz jasnejšie, že tieto programy môžu rozvíjať predsudky a stereotypy bez toho, aby sme si to všimli.

V roku 2016 ProPublica publikovaný vyšetrovanie na programe strojového učenia, ktorý súdy používajú na predpovedanie toho, kto pravdepodobne spácha ďalší trestný čin po zaúčtovaní. Reportéri zistili, že softvér hodnotil černochov vo vyššom riziku ako bielych.

Takéto skóre - známe ako hodnotenie rizika - sa čoraz častejšie vyskytuje v súdnych sieňach po celej krajine, ProPublica vysvetlil . Používajú sa na informovanie o rozhodnutiach o tom, kto môže byť prepustený na slobodu v každej fáze systému trestného súdnictva, od prideľovania kaucií ... až po ešte zásadnejšie rozhodnutia o slobode obžalovaných.

Program sa dozvedel o tom, kto s najväčšou pravdepodobnosťou skončí vo väzení, zo skutočných údajov o uväznení. A historicky bol skutočný systém trestného súdnictva nespravodlivý voči čiernym Američanom.

Tento príbeh odhaľuje hlbokú iróniu o strojovom učení. Príťažlivosť týchto systémov spočíva v tom, že môžu robiť nestranné rozhodnutia bez ľudskej zaujatosti. Ak by počítače dokázali presne predpovedať, ktorí obžalovaní pravdepodobne spáchajú nové zločiny, systém trestného súdnictva by mohol byť spravodlivejší a selektívnejší, pokiaľ ide o to, kto je uväznený a na ako dlho, napísala ProPublica.

Stalo sa však to, že programy strojového učenia udržiavali naše predsudky vo veľkom meradle. Takže namiesto toho, aby sudca mal predsudky voči Afroameričanom, bol to robot.

Ostatné prípady sú nejednoznačnejšie. V Číne výskumníci spárované technológia rozpoznávania tváre so strojovým učením na prezeranie fotografií vodičských preukazov a predpovedanie, kto je zločinec. Tvrdilo sa, že má presnosť 89,5 percenta.

Mnohí odborníci boli mimoriadne skeptický k zisteniam . Ktoré črty tváre tento program využíval pri analýze? Boli to fyzické črty určitých etnických skupín, ktoré sú v súdnom systéme diskriminované? Naberá na znakoch nízkej sociálno-ekonomickej výchovy, ktorá môže zanechať trvalé dojmy na našich tvárach?

To môže byť ťažké vedieť. (Scarier: Existuje jeden startup s názvom Facepcia ktorá tvrdí, že dokáže odhaliť teroristov alebo pedofilov len pohľadom do tvárí.)

Máte algoritmy, ktoré sú super výkonné, ale rovnako dôležité je, aké údaje do algoritmov vložíte, aby ste ich naučili rozlišovať, povedal mi princtonský psychológ a odborník na vnímanie tváre Alexander Todorov v rozhovore v roku 2017, keď diskutoval o na kontroverznom papieri pomocou strojového učenia predpovedať sexuálnu orientáciu z tvárí. Ak ho budete kŕmiť svinstvom, nakoniec svinstvo vypľuje.

Sú to príbehy ako vyšetrovanie ProPublica, ktoré viedlo Caliskana k výskumu tohto problému. Ako počítačová vedkyňa, ktorá bola bežne jedinou ženou v triedach na postgraduálnej škole, je na túto tému citlivá.

Videla, ako sa do strojového učenia vkráda zaujatosť často rafinovanými spôsobmi – napríklad v službe Google Translate.

Turečtina, jeden z jej rodných jazykov, nemá rodové zámená. Ale keď použije Google Translate na turecké frázy, vždy to skončí ako „on je doktor“ v rodovo podmienenom jazyku, povedala. Turecká veta nehovorila, či je lekár muž alebo žena. Počítač len predpokladal, že ak hovoríte o lekárovi, je to muž.

Ako sa roboty učia implicitnej zaujatosti

V roku 2017 Caliskan a kolegovia publikovaný papier v Veda Keď sa počítač naučí angličtinu, začne mať predsudky voči čiernym Američanom a ženám.

V podstate použili bežný program strojového učenia, aby preliezli internet, pozreli sa na 840 miliárd slov a naučili sa definície týchto slov. Program to dosiahne tým, že hľadá, ako často sa určité slová vyskytujú v tej istej vete. Vezmite si slovo fľaša. Počítač začína chápať, čo slovo znamená, keď si všimne, že sa vyskytuje častejšie popri slove nádoba a pri slovách, ktoré označujú tekutiny ako voda alebo mlieko.

Táto myšlienka učiť robotov angličtinu v skutočnosti pochádza z kognitívnej vedy a jej chápania toho, ako sa deti učia jazyk. Ako často sa dve slová objavujú spolu, je prvým vodítkom, ktoré získame pri dešifrovaní ich významu.

Keď počítač nazhromaždil svoju slovnú zásobu, Caliskan ho spustil cez verziu testu implicitnej asociácie.

U ľudí má IAT odhaliť jemné predsudky v mozgu tým, že zistí, ako dlho ľuďom trvá, kým si spoja slová. Človek môže rýchlo spojiť slová muž a inžinier. Ale ak osoba zaostáva v spájaní ženy a inžiniera, je to dôkaz, že tieto dva pojmy nie sú úzko spojené v mysli, čo naznačuje zaujatosť.

Tu, namiesto toho, aby sa pozrel na čas oneskorenia, Caliskan sa pozrel na to, ako blízko si počítač myslel, že dva pojmy súvisia. Zistila, že afroamerické mená v programe sa menej spájajú so slovom príjemné ako biele mená. A ženské mená sa viac spájali so slovami týkajúcimi sa rodiny ako mužské mená. (Existujú určité problémy so spoľahlivosťou IAT u ľudí, čo môžete čítajte tu . Podivným spôsobom môže byť IAT vhodnejší na použitie v počítačových programoch ako pre ľudí, pretože ľudia odpovedajú na jeho otázky nekonzistentne, zatiaľ čo počítač zakaždým poskytne rovnakú odpoveď.)

Podobne ako dieťa, aj počítač si vytvára slovnú zásobu na základe toho, ako často sa pojmy vyskytujú spolu. Na internete sú afroamerické mená s väčšou pravdepodobnosťou obklopené slovami, ktoré znamenajú nepríjemnosť. Nie je to preto, že by Afroameričania boli nepríjemní. Je to preto, že ľudia na internete hovoria hrozné veci. A zanecháva dojem na našej mladej AI.

Je to taký veľký problém, ako si myslíte.

Dôsledky rasistickej, sexistickej AI

Caliskan povedal, že náboroví pracovníci sa čoraz viac spoliehajú na programy strojového učenia, aby urobili prvý krok v životopisoch. A ak sa tieto programy nekontrolujú, môžu sa pri svojom rozhodovaní učiť rodové stereotypy a konať podľa nich.

Povedzme, že muž sa uchádza o miesto sestry; môže byť považovaný za menej vhodný na túto pozíciu, ak stroj iba robí vlastné rozhodnutia, povedala. A to môže byť rovnaké pre ženu, ktorá sa uchádza o pozíciu softvérového vývojára alebo programátora. ... Takmer všetky tieto programy nie sú open source a my nevidíme, čo sa presne deje. Máme teda veľkú zodpovednosť za pokus odhaliť, či sú nespravodliví alebo zaujatí.

A to bude výzva do budúcnosti. Umelá inteligencia si už razí cestu do systému zdravotnej starostlivosti a pomáha lekárom nájsť správny spôsob liečby pre ich pacientov. (Existuje skorý výskum o tom, či to môže pomôcť predpovedať krízy duševného zdravia .)

Ale aj zdravotné údaje sú plné historických predsudkov. Už dlho je známe, že ženy dostanú operácie s nižšími sadzbami ako muži . Jedným z dôvodov je, že ženy ako primárne opatrovateľky majú po operácii menej ľudí, ktorí sa o ne starajú.

Mohla by potom AI odporučiť ženám operáciu s nižšou sadzbou? Je to niečo, na čo si treba dávať pozor.

Sú teda tieto programy zbytočné?

Programy strojového učenia sa nevyhnutne stretnú s historickými vzormi, ktoré odrážajú rasovú alebo rodovú zaujatosť. A môže byť ťažké určiť hranicu medzi tým, čo je zaujatosť a čo je len fakt o svete.

Programy strojového učenia vyzdvihnú skutočnosť, že väčšina sestier v histórii boli ženy. Uvedomia si, že väčšina počítačových programátorov sú muži. Nenavrhujeme, aby ste tieto informácie odstránili, povedal Caliskan. V skutočnosti to môže úplne rozbiť softvér.

Namiesto toho si Caliskan myslí, že je potrebné viac záruk. Ľudia používajúci tieto programy sa musia neustále pýtať: Prečo dostávam tieto výsledky? a skontrolujte, či výstup týchto programov nie je skreslený. Musia si dobre premyslieť, či údaje, ktoré česajú, odrážajú historické predsudky. Caliskan pripúšťa, že najlepšie postupy, ako bojovať proti zaujatosti v AI, sa stále vypracúvajú. Vyžaduje si to dlhodobú výskumnú agendu pre informatikov, etika, sociológov a psychológov, povedala.

Ale prinajmenšom ľudia, ktorí používajú tieto programy, by si mali byť vedomí týchto problémov a nemali by brať ako samozrejmosť, že počítač môže priniesť menej zaujatý výsledok ako človek.

A celkovo je dôležité si zapamätať: AI sa učí o tom, ako je svet bol. Nadväzuje na trendy status quo. Nevie ako svet mal by som byť. To je na ľuďoch, ako sa rozhodnú.