Riscos concrets de la IA i possible regulació efectiva
La gestió algorítmica planteja riscos significatius en l’àmbit laboral. D’una banda, facilita la discriminació en basar-se en patrons poc transparents. Això dificulta que les «víctimes» puguin detectar i provar el tracte desigual. D’altra banda, incrementa la intensitat de la feina i redueix l’autonomia, fet que repercuteix negativament en la salut física i mental del personal. Alhora, la capacitat de recopilar i processar dades de manera massiva atorga a l’empresa un control exhaustiu. Així, el poder de negociació de les persones treballadores disminueix en dificultar la seua participació en la distribució dels increments de productivitat. La tecnologia, a més, s’utilitza de manera ofensiva per vigilar i pressionar a la baixa els salaris. Amb algoritmes cada cop més avançats, és possible predir i coartar l’aparició de líders sindicals o de reclamacions col·lectives. Aquest fenomen s’intensifica amb l’externalització productiva, atès que les empreses principals mantenen un control estricte a través de plataformes tecnològiques, però eludeixen responsabilitats legals. Per afrontar aquests reptes, el text proposa l’obligació de negociar i acordar amb els representants de les persones treballadores, així com la implementació d’auditories recurrents dels algoritmes com a forma de protegir la dignitat i els drets laborals.
Algorithmic management poses significant risks in the workplace. On one hand, it facilitates discrimination by relying on opaque patterns, making it difficult for “victims” to detect and prove unfair treatment. On the other hand, it intensifies work pressure and diminishes autonomy, which harms the physical and mental health of staff. Simultaneously, the ability to collect and process data in bulk provides the company with extensive control. Consequently, workers’ bargaining power diminishes, making it harder to participate in the distribution of productivity gains. Technology is also used offensively to monitor and press down on wages. With increasingly advanced algorithms, predicting and restricting the emergence of union or collective claims leaders becomes feasible. This phenomenon is exacerbated by productive outsourcing, as major companies maintain strict control through technological platforms while evading legal liabilities. To address these challenges, the text proposes an obligation to negotiate and agree with workers’ representatives, along with the implementation of recurring audits of algorithms to protect dignity and labour rights.
Actualment, en matèria d’algorismes, la doctrina s’ha centrat en les possibilitats de discriminació. Hi ha una important doctrina que ha posat en relleu aquests perills (Rivas, 2020, pàg. 8). El nostre sistema de protecció legal contra la discriminació no està preparat per a aquest nivell d’universalització i sistematització de la discriminació. En primer lloc, el nivell de protecció actual és individual. Aquest fet significa que la persona víctima de discriminació ha de ser capaç de detectar que ha estat discriminada per reclamar. Això es dificulta sobre manera atès que la discriminació algorísmica és més abstracta, poc transparent i poc intuïtiva, subtil i intangible. En segon lloc, perquè amb l’actual sistema de prova en judici de la discriminació, la persona o empresa acusada de discriminar podrà justificar la discriminació a través de correlacionar-la amb altres variables. Sent la principal propietat i capacitat dels algorismes trobar patrons i connexions que són irreconeixibles per als humans, els judicis per discriminació es poden convertir en «una batalla de números» que implícitament afavorirà a aquell dels dos subjectes (demandant o demandat) que sigui capaç de produir les estadístiques més convincents. En efecte, amb els algorismes, el desequilibri processal augmentarà en favor de qui tingui les dades i la potència computacional per «esprémer-les».
Per aquesta raó, les demandes individuals antidiscriminació poden deixar de ser efectives. En aquest sentit, es proposa una regulació que obligui a compartir informació amb els representants dels treballadors (actualment el RGPD, art. 35, obliga a un impact assesment, però després de la realització del mateix no té obligació de ser compartit, el que ho fa inefectiu) i que obligui al fet que tota implantació d’un sistema algorísmic vingui precedida per un acord amb els representants dels treballadors en matèria de salvaguardes antidiscriminació (Todolí, 2022a). Aquest acord podria contemplar l’obligació de sotmetre l’algorisme a una auditoria recurrent –perquè els algorismes evolucionen i canvien en el temps– que analitzi el nivell de biaixos. Una altra solució normativa, podria ser obligar els algoritmes que dirigeixen treballadors a estar sotmesos a registre i auditoria pública mitjançant professionals i organismes prou dotats per complir aquesta comesa.
La doctrina ha acreditat bé els riscos específics que por implicar per a la salut estar sota les ordres d’un algorisme (Dembe, Erickson, Delbos i Banks, 2005; Fernández Avilés, 2017; Rodríguez-Rico, 2018). La reducció d’autonomia i l’increment de la intensitat en el treball són resultat directe de la direcció algorísmica. Les dades assenyalen un increment d’accidents de treball i una sèrie de riscos físics i psicològics derivats d’aquest sistema de gestió dels treballadors.
En aquest context, es proposa la necessitat d’una regulació específica per a protegir la salut i la seguretat dels treballadors gestionats per una IA. Els riscos esmentats poden reduir-se si es tenen en compte en la programació de l’algorisme i la llei ha d’imposar i controlar aquestes característiques. En aquest sentit, la normativa ha d’imposar una correcta programació de l’algorisme perquè contempli aquests riscos laborals i de salut –entre altres, el dret a la intimitat–. És a dir, igual que els supervisors han d’estar formats en prevenció de riscos per a poder fer el seu treball, l’algorisme també ha d’estar programat per a ponderar els riscos laborals en el treball –i si aquesta programació no existeix, s’han de prendre mesures per a evitar que l’algorisme sigui utilitzat per a dirigir els treballadors–.
En concret, l’algorisme ha de ser transparent, adaptar-se a les capacitats reals dels treballadors i deixar-los un cert marge d’autonomia i respectar la seva intimitat. També s’hauria de plantejar la possibilitat d’adoptar el principi de precaució en l’ús de la IA per a dirigir els treballadors. En definitiva, es proposa la possibilitat que l’algorisme (la seva programació i els seus programadors) estigui obligat a valorar qualsevol element que suposi un risc per a la seguretat i la salut dels treballadors.
Algunes dades semblen mostrar una tendència de «gran desacoblament» entre les millores de productivitat i els salaris amb l’aplicació dels sistemes de direcció algorísmica. Així, a l’empresa Unified Grecers, una cadena de supermercats, quan va instal·lar una gestió algorísmica de tasques va augmentar les vendes un 36 % i va reduir els pagaments salarials un 25 %. A l’empresa UPS, de repartiment de paqueteria, amb el monitoratge electrònic i la gestió algorísmica de temps i rutes, entre 2005 i 2015, el nombre de lliuraments realitzats en un dia per cada repartidor va passar de 85 a 100. No obstant això, aquests augments de productivitat no es van veure compartits amb els mateixos treballadors, el salari dels quals es va estancar.
La regulació de la IA ha de realitzar-se sota la hipòtesi que una de les funcions d’aquesta tecnologia consisteix precisament a ser usada per a reduir el poder de negociació dels treballadors i poder extreure part dels guanys que merescudament haurien d’anar a aquests pel seu treball. Això es fa mitjançant dos mecanismes. D’una banda, augmentant la informació que l’empresa té (monitoratge, control, vigilància –incloent predir el que el treballador està pensant–), el que li atorga major poder sobre el treballador. Per altra banda, la direcció algorísmica redueix l’efectivitat de les proteccions laborals (regles antidiscriminació sindical, cosa que facilita l’externalització productiva, etc.) establertes històricament per a reequilibrar el poder de negociació entre capital i treball. Amb la tecnologia s’«esquiven» aquestes regulacions protectores, tot afeblint el poder de negociació dels treballadors, enfonsant els salaris i, en general, precaritzant el treball.
Tal com el premi nobel d’economia Joseph Stiglitz va establir en la seva teoria dels Salaris d’eficiència (Shapiro i Stiglitz, 1984; Todolí, 2016), els empresaris tenen incentius per a pagar salaris superiors als del mercat com a manera de motivar els treballadors a esforçar-se i complir les instruccions de l’empresari. Així, l’empresari històricament ha substituït un control exhaustiu (que tradicionalment era costós) de l’activitat laboral per uns millors salaris que incentiven els treballadors a complir sense defraudar. No obstant això, a mesura que els controls tecnològics són més barats gràcies al processament algorísmic de dades –i la jurisprudència més permissiva (vegeu Todolí, 2022b)–, els empresaris tindran menys incentius a pagar millors salaris, preferint vigilar exhaustivament el treballador.
De fet, actualment, les empreses ja no estan usant els seus poders de vigilància i control sobre el treballador de manera defensiva (perquè el treballador compleixi les seves obligacions laborals), sinó de manera ofensiva. És a dir, es recopila la màxima informació sobre el treballador i el seu treball (mitjançant videocàmeres, GPS, registres i monitoratge de l’ordinador, polseres electròniques, targetes electròniques, etc.) per a poder exigir-li més al treballador. En aquest sentit, es veu clarament com l’augment de l’ús de la tecnologia està desbaratant l’equilibri intern del contracte de treball.
També existeix la possibilitat d’usar els algorismes per a la determinació salarial individual, pressionant a la baixa els salaris dels treballadors més precaris. Els algorismes poden predir quins treballadors estan en pitjor situació per a abandonar l’empresa, evitant pujades salarials a aquests treballadors. Fins i tot, les tecnologies actuals poden aconseguir «predir» quin és el salari mínim pel qual el treballador està disposat a treballar.
En aquest sentit, s’han de buscar solucions normatives que no siguin individuals (com l’existent en el RGPD) ni regulin la tecnologia concretament (Reglament Europeu d’IA). Per contra, es considera que la millor manera és que la normativa estableixi obligacions de negociació i acord amb els representants dels treballadors sobre els sistemes de control tecnològics impostos en l’empresa.
Això no deixa de ser una altra manera d’usar ofensivament els sistemes algorísmics amb l’objectiu de reduir el poder de negociació dels treballadors, només que es concreta de manera manifesta a través d’usar la tecnologia per a reduir l’efectivitat de les proteccions laborals clàssiques.
Una manifestació d’això ocorre mitjançant la discriminació sindical algorísmica. L’empresa pot detectar i predir els qui poden ser futurs líders sindicals o persones que puguin encapçalar una vaga per a no contractar-les o acomiadar-les abans que s’iniciï cap reivindicació. En aquest sentit, els algoritmes poden ser capaços de predir la intenció de reivindicació col·lectiva d’augments salarials fins i tot abans que es realitzin les primeres mostres materials o els primers «actes preparatoris» si volem usar argot legal.
Això no és ciència-ficció, sinó el treball diari dels algorismes. El 2014, el president de People Operations de Google va afirmar que la seva empresa era capaç de predir el que els seus treballadors anaven a fer fins i tot abans que ells mateixos ho sabessin (Boudreau, 2014). En efecte, la formació d’idees en la ment de les persones que comporten a realitzar accions és un procés gradual. No ens despertem un dia de sobte volent viatjar a Tailàndia, sinó que probablement els dies o mesos anteriors a prendre la decisió, hem vist fotos del país, hem llegit articles al lloc web de Lonely Planet, amics nostres han viatjat a Tailàndia i ho han comptat en les seves xarxes socials, etc. Després de tot això, és possible que amb tota aquesta informació que hem rebut al llarg de setmanes, decidim anar a Tailàndia. Així, tenint l’algorisme molta més informació i una gran capacitat de processament, podrà predir amb un marge d’error acceptable què farem en el futur.
De la mateixa manera, una persona no decideix afiliar-se a un o altre sindicat sense un bagatge previ, ni presentar-se a unes eleccions sindicals o iniciar una reivindicació salarial col·lectiva sense una trajectòria prèvia que deixi rastre electrònic, i molt menys organitza una vaga sense posseir un tipus de personalitat concret, marcat i fàcil de descobrir per un algorisme.
Així doncs, sense iniciar cap acte, que amb la nostra legislació pugui considerar-se «indici» per a activar les proteccions antidiscriminació, és probable que l’algorisme conegui aquestes intencions i acomiadi de manera automatitzada el treballador o, més probablement, que mai arribi a contractar-lo.1 En efecte, mentre que les garanties enfront de l’acomiadament d’una persona sindicada estan ben arrelades en la nostra legislació, molt menys desenvolupada es troba la legislació i la jurisprudència contra la no contractació de persones que en el futur poguessin convertir-se en sindicalistes o en instigadors d’una vaga. No obstant això, l’objectiu antisindical i el mal per a la societat és el mateix.
La qüestió aquí és que aquesta situació no solament té perjudicis individuals per a la persona afectada, sinó en general per a la classe treballadora (Newman, 2017). Una «no contractació» sistemàtica d’aquells individus que mostren interès en defensar els interessos col·lectius, provocarà que la resta quedin orfes. Per a un algorisme, descobrir les inclinacions individualistes o col·lectives d’una persona no sembla tasca difícil, per la qual cosa, si aquests sistemes es generalitzen com a forma de selecció de personal, tots els treballadors en sofriran les conseqüències.
De la mateixa forma, podrien usar-se els algorismes per a induir comportaments mitjançant l’anàlisi per part de l’empresa de quins missatges ens influeixen més o mitjançant l’enviament constant de missatges subliminars a favor de l’empresa i en contra del col·lectiu (sindicat). Existeix tota una ciència del comportament (màxims exponents Thaler i Sunstein) que analitza com influir en les persones mitjançant petits canvis en l’entorn. En aquest sentit, els algorismes poden realitzar milions d’assaigs-error fàcilment amb cada treballador de manera automàtica fins a donar amb el nudge – petita «empenta»– que modifiqui la seva conducta en favor de l’empresa.
Addicionalment, la literatura comença a posar de manifest com els algorismes faciliten l’externalització productiva. McDonald’s usa un algorisme de selecció de personal que és compartit per la central en benefici de totes les empreses franquiciades (Rogers, 2020, pàg. 564). Amb això, no solament es facilita la tasca a les empreses franquiciades respecte a la contractació, sinó que la central pot controlar els processos de selecció perquè compleixin amb els seus propis estàndards o requisits, a més d’acumular gran quantitat de dades que li permetin dissenyar futures estratègies en benefici propi. De la mateixa manera, es poden controlar minut a minut les accions dels treballadors de la franquiciada i avaluar-los o acomiadar-los (o ordenar el seu acomiadament) (Rogers, 2020, pàg. 564).
També en les cadenes d’hotel. Moltes d’elles, que funcionen amb el model de franquícia, utilitzen algorismes per a controlar que les habitacions estiguin netes, hi hagi prou persones atenent a la recepció, etc. (Weil, 2014). Es controla la qualitat del servei prestat a través del control dels treballadors de l’empresa franquiciada teòricament independent. PizzaHut s’està movent en un context similar. Com Aloisi i De Stefano (2022) ens conten en el seu llibre Your boss is an algorithm, la franquiciadora està experimentant amb un sistema de càmeres de vídeo i de reconeixement de formes i colors que permet a un algorisme analitzar si la pizza, elaborada en qualsevol establiment de la xarxa de franquícies, compleix amb els requisits de qualitat (forma rodona, tipus, quantitat i proporció d’ingredients, velocitat d’elaboració, etc.) fixats en els manuals de la franquícia. Així, el control sobre el compliment d’aquests és absolut. Un control que no és general sobre la franquiciada, sinó que comprèn l’actuació de cadascun dels treballadors, i cadascuna de les seves actuacions minut a minut.
De la mateixa manera, quan Amazon subcontracta la distribució de paquets a altres empreses, aquestes han d’integrar-se en la seva xarxa algorísmica. Així, segons assenyala una Acta de la Inspecció de Treball de Catalunya, els treballadors de les empreses contractistes han de registrar-se en l’App d’Amazon i solament a través d’ella poden contactar amb els clients finals (vegeu Esteve i Todolí, 2021). A més, aquests treballadors hauran d’escanejar els codis dels paquets d’Amazon per tal que l’algorisme sàpiga l’estat de la distribució en recollir-los i de nou en lliurar-los. Els repartidors, formalment treballadors de l’empresa externa, hauran d’emplenar els formularis per al sistema algorísmic d’Amazon, seguir les rutes que l’algorisme dissenyi i lliurar els paquets on el sistema assenyali. En cas d’incidència hauran de comunicar-li-ho directament a Amazon a través de la seva App rebent resposta d’un telebot d’Amazon, el qual aportarà solucions en un primer moment. Els clients finals podran valorar aquest repartidor a través de l’App d’Amazon, per la qual cosa l’empresa principal disposarà directament d’aquesta informació –sobre l’avaluació del treballador– per a prendre decisions d’àmbit laboral si així ho considera oportú. Al seu torn, Amazon també instal·la càmeres, que són visualitzades per una IA, en els vehicles, amb el logo d’Amazon, pertanyents a les empreses subcontractistes que realitzen repartiments per a Amazon a fi de conèixer si aquests treballadors compleixen la normativa viària en conduir els vehicles, compleixen amb els límits de velocitat, sofreixen accidents que puguin repercutir en la integritat dels paquets, etc… (Palmer, 2021).
Amb els algorismes, les empreses poden «tenir-ho tot». D’una banda, posar un intermediari que redueix la seva responsabilitat jurídica davant els treballadors, alhora, que mantenen un ferri control –tecnològic– sobre la prestació de serveis realitzada per aquests.
Les dades també són clares respecte a la reducció del poder de negociació dels treballadors –i els seus efectes en la precarietat laboral– derivats de l’externalització productiva (Weil, 2014). L’externalització provoca que les empreses subcontractistes competeixin a la baixa en condicions laborals, alhora, que es vegin forçats a incomplir la normativa laboral per a poder mantenir la contracta. Tot això, mentre la empresa principal es manté immune a les possibles responsabilitats. L’externalització també dificulta l’exercici dels drets col·lectius dels treballadors.
Per a combatre aquest efecte, que desequilibra el contracte de treball, sotmetent-lo a les regles del mercat i allunyant-lo de les proteccions laborals, no s’ha de mirar a la regulació de la tecnologia, sinó a la dels seus efectes. Així, la regulació proposada va encaminada a tractar la xarxa empresarial com si fos una, responsabilitzant a l’empresa principal pels incompliments de la contractista, així com, regulacions que permetin als treballadors de la contracta l’exercici dels drets de representació sindical, negociació col·lectiva i vaga enfront de l’empresa principal.
ALOISI, Antonio; DE STEFANO, Valerio (2022). Your Boss Is an Algorithm: Artificial Intelligence, Platform Work and Labour. Oxford: Hart. DOI: https://doi.org/10.5040/9781509953219
BOUDREAU, John (2014, 5 de setembre). «Predict What Employees Will Do Without Freaking Them Out». Harvard Business Review [en línia]. Disponible a: https://hbr.org/2014/09/predict-what-employees-will-do-without-freaking-themout
DEMBE, Allard; ERICKSON, J. Bianca; DELBOS, Rachel G.; BANKS, Steven. M. (2005). «The impact of overtime and long work hours on occupational injuries and illnesses: new evidence from the United States». Occupational and environmental medicine, vol. 62, núm. 9, pàg. 588-597. DOI: https://doi.org/10.1136/oem.2004.016667
ESTEVE SEGARRA, Amparo; TODOLÍ SIGNES, Adrián (2021). «Cesión ilegal de trabajadores y subcontratación en las empresas de plataforma digitales». Revista de Derecho Social, núm. 95, pàg. 37-64.
FERNÁNDEZ AVILÉS, José Antonio (2017). «NTIC y riesgos psicosociales en el trabajo: estado de situación y propuestas de mejora». Diritto della sicurezza sul lavoro, núm. 2, pàg. 69-101 [en línia]. Disponible a: https://salus.adapt.it/wp-content/uploads/2020/04/1278-5235-2-PB.pdf
NEWMAN, Nathan (2017). «UnMarginalizing Workers: How Big Data Drives Lower Wages and How Reframing Labor Law Can Restore Information Equality in the Workplace». University of Cincinnati Law Review, vol. 85, núm. 3. DOI: https://doi.org/10.2139/ssrn.2819142
PALMER, Annie (2021, 3 de febrer). «Amazon is using AI-equipped cameras in delivery vans and some drivers are concerned about privacy». CNBC [en línia]. Disponible a: https://www.cnbc.com/2021/02/03/amazon-using-ai-equipped-cameras-in-delivery-vans.html
RIVAS VALLEJO, Pilar (2020). La aplicación de la inteligencia artificial al trabajo y su impacto discriminatorio. Aranzadi.
RODRÍGUEZ-RICO ROLDÁN, Victoria (2018). «Los retos para la prevención de riesgos laborales ante la tecnificación del trabajo». En: Cerejeira Namora (ed.). Health at work, ageing and environmental effects on future social security and labour law Systems.
ROGERS, Brishen (2020). «The law and political economy of workplace technological change». Harvard Civil Rights- Civil Liberties Law Review (CR-CL), vol. 55, pàg. 531-584 [en línia]. Disponible a: https://journals.law.harvard.edu/crcl/wp-content/uploads/sites/80/2020/10/Rogers.pdf
SHAPIRO, Carl; STIGLITZ, Joseph E. (1984). «Equilibrium unemployment as a worker discipline device». The American Economic Review, vol. 74, núm. 3, pàg. 433-444 [en línia]. Disponible a: https://www.jstor.org/stable/1804018
TODOLÍ SIGNES, Adrián (2016). Salario y productividad. València: Tirant lo Blanch. [En linia]. Disponible a: https://adriantodoli.com/2016/02/23/salario-y-productividad-mi-nuevo-libro-ya-disponible/
TODOLÍ SIGNES, Adrián (2022a). «Libro en abierto para descargar: “Algoritmos productivos y extractivos. Cómo regular la digitalización para mejorar el empleo e incentivar la innovación”». Aranzadi. [En línia]. Disponible a: https://adriantodoli.com/2024/10/17/libro-en-abierto-para-descargar-algoritmos-productivos-y-extractivos-como-regular-la-digitalizacion-para-mejorar-el-empleo-e-incentivar-la-innovacion/
TODOLÍ SIGNES, Adrián (2022b). «Control tecnológico: una propuesta de aplicación del triple test de proporcionalidad conforme la normativa europea de protección de datos». Ponència. XXXII Congreso Asociación española de Derecho del Trabajo y de la Seguridad Social. Alicante. [En línia]. Disponible a: https://adriantodoli.com/2023/02/09/videovigilancia-permanente-de-los-trabajadores-argumentos-contra-la-posicion-jurisprudencial-actual/
WEIL, David (2014). The fissured workplace: Why work became so bad for so many and what can be done to improve it. Harvard University Press. DOI: https://doi.org/10.4159/9780674726123
- Això no vol dir que aquestes persones mai trobin treball, és possible que sí que ho facin en una subcontractista de cinquè nivell, ben allunyada de l’empresa matriu, o en sectors sense aquesta mena de direcció algorísmica (malgrat que d’aquests cada vegada n’existiran menys).
TODOLÍ, Adrián. «Riscos concrets de la IA i possible regulació efectiva». Oikonomics [en línia]. Maig 2025, núm. 24. ISSN 2330-9546. DOI: https://doi.org/10.7238/o.n24.2506
ODS
Adrián TodolíHa publicat més de 150 treballs d’investigació, incloent-hi articles en revistes indexades, llibres i capítols de llibre. També ha estat convidat en més de 100 ocasions per impartir conferències en institucions, sindicats, patronals, inspeccions de treball, etc. Ha publicat quatre monografies sobre qüestions salarials: des de la revisió de salaris fins a complements i bonificacions, incloent-hi també una obra específica sobre la retribució en el sector públic. Així mateix, ha publicat altres obres destacades com El treball en l’era de l’economia col·laborativa (2017), La regulació del treball i la política econòmica. De com els drets laborals milloren l’economia (2022), i Algoritmes productius i extractius (2023). Ha estat guardonat amb el Premi al Millor Advocat Jove, atorgat pel Fòrum Espanyol del Treball (FORELAB), i amb el Premi a la Millor Investigació en Dret del Treball, concedit per l’Associació Espanyola de Dret del Treball i de la Seguretat Social (AEDTSS) en dues ocasions (2015 i 2016). La seua projecció internacional es reflecteix també en diverses estades d’investigació en universitats i centres d’excel·lència com ara: University of California, Berkeley – School of Law, Facultat de Dret de la Universitat de Cambridge, Max Planck Institute for Social Law and Social Policy, ...
