Etica

Cosa vediamo oggi

• Il pregiudizio: da dove entra, e perché non è colpa della macchina
• I dati degli altri — clienti, colleghi, candidati — quando finiscono in uno strumento
• Chi risponde quando una risposta sbagliata esce dall'azienda
• La domanda che nessuno fa a voce: «mi sostituirà?»

Nei moduli precedenti: come funziona, e cosa ce ne facciamo. Oggi: dove ci mettiamo la faccia.

L'etica non è un convegno

Quando si dice «etica dell'IA» quasi tutti pensano a macchine che si ribellano. Non è quello il problema che avete davanti.

• Il problema vero è un documento incollato dove non doveva finire
• È una risposta plausibile mandata a un cliente senza controllarla
• È una scelta su una persona presa per comodità da uno strumento

Nessuna di queste richiede cattive intenzioni. Bastano fretta e fiducia mal riposta.

Tre domande che tornano sempre

Davanti a qualunque uso dubbio, prima di ragionare in astratto, provate queste tre.

• Di chi sono i dati che sto per dare in pasto allo strumento?
• Chi ci rimette se la risposta è sbagliata — io, un collega, un cliente, un estraneo?
• Chi ci mette la firma sul risultato finale?

Se la terza risposta siete voi, le prime due diventano affari vostri. È tutta qui l'etica pratica.

Impara da noi, non dal vero

Nel primo modulo abbiamo visto che questi strumenti imparano da montagne di testo scritto da esseri umani. Quel testo non è neutro: è la nostra storia, con dentro tutto quello che ci abbiamo messo.

• Se in un archivio i dirigenti sono quasi tutti uomini, lo strumento impara che «dirigente» somiglia a «uomo»
• Se le segnalazioni di un certo tipo arrivano quasi sempre da un reparto, imparerà a guardare lì
• Non c'è nessuna opinione dentro: c'è una frequenza che diventa una regola

Un caso vero: i curriculum

Amazon ha sperimentato per anni uno strumento automatico per selezionare curriculum, addestrato sulle candidature ricevute nel decennio precedente. In quel decennio il settore aveva assunto in grande maggioranza uomini.

• Lo strumento ha imparato a penalizzare i curriculum che contenevano riferimenti femminili
• Nessuno gliel'aveva chiesto: era la regola che emergeva dai dati
• Il progetto è stato abbandonato nel 2018

Fonte: Reuters, ottobre 2018 — «Amazon scraps secret AI recruiting tool that showed bias against women»

Provatelo voi

Sui portatili, per dieci minuti: uno strumento che mostra come lo stesso identico programma cambia idea a seconda di cosa gli avete dato da leggere.

• Scegliete l'archivio storico, premete addestra, guardate la regola che ne esce
• Poi cambiate archivio e ripetete: cambia la regola, non il programma

Quello che vedete non è un difetto da correggere con un aggiornamento. È lo strumento che fa esattamente il suo mestiere sui dati che gli abbiamo dato.

Proviamolo insieme → talk.giobi.com/artifact/colloquio

Dove ci tocca davvero

Il pregiudizio conta quando la risposta riguarda una persona. Nel nostro lavoro succede più spesso di quanto sembri:

• Scremare candidature o valutare un colloquio
• Riassumere la segnalazione di un collega o il reclamo di un cliente
• Assegnare priorità a ticket, richieste, interventi
• Scrivere una valutazione, una nota, un giudizio

Regola: se la risposta incide su una persona, lo strumento propone. Decide una testa umana, e quella testa deve poter spiegare perché.

Cosa succede quando incollate

Un testo incollato in uno strumento pubblico esce dall'azienda. Da quel momento non è più solo vostro: sta su un computer di qualcun altro, sotto le regole di qualcun altro.

• Può essere conservato per un tempo che non decidete voi
• Può essere letto da persone per controlli di qualità o abusi
• Su alcuni servizi può finire nei dati di addestramento dei modelli futuri

È il motivo per cui molte aziende si dotano di strumenti interni invece di lasciare che ognuno usi il servizio che preferisce. Ma la scelta serve solo se poi si usa quello.

Non è roba vostra

Tre categorie che nel nostro mestiere si incontrano ogni settimana, e che non vi appartengono:

• Il cliente — documenti, configurazioni, dati dei suoi utenti. Spesso c'è un contratto che dice esplicitamente dove possono stare
• Il collega — una mail, una segnalazione, una conversazione. L'ha scritta a voi, non a un servizio esterno
• Il candidato o l'utente finale — non è nemmeno in azienda, e non ha modo di sapere dove è finito il suo curriculum

La domanda utile non è «è vietato?», ma: se glielo dicessi, la persona sarebbe d'accordo?

Il problema del contesto

Un dato innocuo da solo può smettere di esserlo insieme ad altri. Il nome di un progetto, il nome di un cliente e una data di scadenza, messi nella stessa frase, raccontano qualcosa che nessuno dei tre diceva da solo.

• Anonimizzare non è togliere il cognome: è togliere ciò che permette di risalire
• Se dovete davvero incollare qualcosa, incollate il minimo che serve a farvi rispondere

La responsabilità non si delega a uno strumento

Nel primo modulo abbiamo visto l'avvocato americano che ha depositato in tribunale sentenze inventate da un chatbot. Guardiamolo dall'altro lato: davanti al giudice non è comparso il chatbot.

• Il documento portava la sua firma
• La sanzione è arrivata a lui e al suo studio
• La difesa «me l'ha detto il computer» non è stata considerata una difesa

Caso Mata contro Avianca, tribunale federale di New York, 2023

Nel nostro mestiere

Cambiate «sentenza inventata» con quello che vi capita davvero:

• Un dato tecnico plausibile in una relazione al cliente
• Una procedura che «funziona di sicuro» e in produzione non funziona
• Una risposta gentile e sbagliata mandata al posto vostro

Il cliente non vi contesterà lo strumento. Contesterà la mail che avete firmato voi.

Il tempo risparmiato ha un uso preciso

Il patto onesto è questo: lo strumento vi toglie l'attrito della prima stesura, e una parte di quel tempo torna dentro come controllo.

• Le cose verificabili si verificano: numeri, nomi, riferimenti, comandi
• Quello che non sapete giudicare, non lo mandate fuori
• Se non avete tempo di controllare, non avete tempo di usarlo

Vale soprattutto quando il risultato è scritto bene: la forma sicura è la parte più ingannevole.

La domanda che sta in fondo alla sala

In ogni aula come questa c'è qualcuno che pensa: state insegnandomi a usare la cosa che mi sostituirà. Merita una risposta onesta, non una rassicurazione.

• Alcuni compiti costano già oggi molto meno di ieri: prime stesure, riassunti, traduzioni, conversioni di formato
• Un mestiere non è un compito: è un fascio di compiti, più il giudizio su quali fare e in che ordine
• Quello che regge è il giudizio: capire cosa serve davvero, e prendersi la responsabilità della scelta

Cosa cambia, concretamente

Questa non è una previsione sul futuro. È quello che è già successo negli ultimi due anni a chi lo usa tutti i giorni.

Una cosa che qui vale di più

Emisfera è una cooperativa: le persone che lavorano qui sono anche quelle che decidono. È una differenza che su questo tema conta.

• Come si usa lo strumento non è una regola calata dall'alto: è una scelta che si discute
• Se una cosa vi sembra sbagliata, il posto per dirlo esiste ed è dentro l'azienda
• Il modulo che segue mette per iscritto la linea: quella linea si può contestare, ed è meglio farlo adesso che dopo

Tre cose da portare a casa

• Il pregiudizio non lo mette la macchina: lo mettono i dati, cioè noi. Va cercato, non escluso per principio
• I dati di clienti, colleghi e candidati non sono vostri: chiedetevi se la persona sarebbe d'accordo
• La firma resta la vostra. Il tempo risparmiato si spende in controllo

Nel prossimo modulo: le regole scritte — cosa dice la legge, cosa registriamo, e dove passa esattamente la linea.