Human Reliance on Decision Support Systems in High-Risk Scenarios
Loading...
Document Type
Document Version
Author
Director
Castillo, Carlos
Baeza Yates, Ricardo
Baeza Yates, Ricardo
Tutor
Baeza Yates, Ricardo
Other authors
Publication Date
Pages
184 p.
Embargo date
License
Citation
Estévez Almenzar, M. Human Reliance on Decision Support Systems in High-Risk Scenarios. Universidad Pompeu Fabra; 2025. handle: http://hdl.handle.net/10803/696378
This citation was generated automatically.
Citation
Doctoral program
Universidad Pompeu Fabra. Doctorado en Tecnología de la Información y las Comunicaciones
Abstract
Aquesta tesi investiga com la presa de decisions humanes interactua amb els sistemes algorítmics de suport a la presa de decisions en escenaris d'alt risc, tal com es defineixen en la Llei de IA de la Unió Europea, centrant-se en el reconeixement facial i la predicció de la reincidència delictiva. Si bé els sistemes de IA s'utilitzen cada vegada més en àmbits com la justícia penal i la vigilància, la suposició que la IA pot complementar de manera fluida i fiable el judici humà manca d'una base empírica suficient. Aquesta tesi presenta un conjunt d'estudis empírics que examinen la interacció entre la precisió del sistema, la dificultat de la tasca, la familiaritat de l'usuari i les intervencions específiques. La primera part analitza les coincidències i divergències entre els errors humans i els errors de màquina, revelant estratègies híbrides de presa de decisions entre humans i IA. La segona part explora com la precisió del sistema i la complexitat de la tasca afecten el rendiment en tots dos casos d'ús. Els resultats mostren que els sistemes precisos poden millorar la qualitat de les decisions, però els sistemes de baixa precisió exerceixen una influència desproporcionada en condicions difícils. La tercera part investiga les intervencions d'incorporació, en les quals una breu exposició al sistema ajuda els usuaris a calibrar la confiança i alinear els seus models mentals. Els resultats demostren que la fase d'incorporació millora aquest calibratge i mitiga la dependència desproporcionada. Aquesta tesi contribueix a la comprensió de la col·laboració humana-IA en escenaris d'alt risc, posant l'accent que el disseny dels sistemes ha de tenir en compte els factors cognitius juntament amb el rendiment tècnic. En lloc de recolzar una automatització total, els resultats advoquen per marcs híbrids de presa de decisions que combinin el judici humà amb el suport algorítmic amb la finalitat de prevenir l'ús indegut i la dependència excessiva.
Esta tesis investiga cómo la toma de decisiones humanas interactúa con los sistemas algorítmicos de apoyo a la toma de decisiones en escenarios de alto riesgo, tal y como se definen en la Ley de IA de la Unión Europea, centrándose en el reconocimiento facial y la predicción de la reincidencia delictiva. Si bien los sistemas de IA se utilizan cada vez más en ámbitos como la justicia penal y la vigilancia, la suposición de que la IA puede complementar de forma fluida y fiable el juicio humano carece de una base empírica suficiente. Esta tesis presenta un conjunto de estudios empíricos que examinan la interacción entre la precisión del sistema, la dificultad de la tarea, la familiaridad del usuario y las intervenciones específicas. La primera parte analiza las coincidencias y divergencias entre los errores humanos y los errores de máquina, revelando estrategias híbridas de toma de decisiones entre humanos e IA. La segunda parte explora cómo la precisión del sistema y la complejidad de la tarea afectan al rendimiento en ambos casos de uso. Los resultados muestran que los sistemas precisos pueden mejorar la calidad de las decisiones, pero los sistemas de baja precisión ejercen una influencia desproporcionada en condiciones difíciles. La tercera parte investiga las intervenciones de incorporación, en las que una breve exposición al sistema ayuda a los usuarios a calibrar la confianza y alinear sus modelos mentales. Los resultados demuestran que la fase de incorporación mejora dicha calibración y mitiga la dependencia desproporcionada. Esta tesis contribuye a la comprensión de la colaboración humana-IA en escenarios de alto riesgo, haciendo hincapié en que el diseño de los sistemas debe tener en cuenta los factores cognitivos junto con el rendimiento técnico. En lugar de respaldar una automatización total, los resultados abogan por marcos híbridos de toma de decisiones que combinen el juicio humano con el apoyo algorítmico con el fin de prevenir el uso indebido y la dependencia excesiva.
This thesis investigates how human decision-making interacts with algorithmic decision support systems (DSS) in high-risk contexts as defined by the European Union’s AI Act, focusing on facial recognition and criminal recidivism prediction. While AI systems are increasingly deployed in domains such as criminal justice, surveillance, and identity verification, the assumption that algorithmic recommendations can seamlessly and reliably augment human judgment lacks sufficient empirical grounding. The dissertation presents a set of complementary empirical studies that examine the interplay between system accuracy, task difficulty, user familiarity, and targeted interventions. The first part analyzes overlaps and divergences between human and machine errors, revealing opportunities for hybrid human-AI decision-making strategies. The second part explores how DSS accuracy and task complexity affect performance in both face matching and recidivism prediction. Results show that accurate systems can improve decision quality, but low-accuracy systems exert disproportionate influence under difficult conditions, exposing users to automation bias. The third part investigates onboarding interventions, where brief exposure to DSS performance helps users calibrate trust and align their mental models with system capabilities. Findings demonstrate that onboarding enhances trust calibration and mitigates overreliance on poor systems. Overall, this thesis contributes to the understanding of human-AI collaboration in high-risk scenarios, emphasizing that system design must account for human cognitive factors alongside technical performance. Rather than endorsing full automation, the findings advocate for hybrid decision-making frameworks that combine human judgment with algorithmic support to enhance effectiveness, fairness, and accountability while safeguarding against misuse and overreliance.
Esta tesis investiga cómo la toma de decisiones humanas interactúa con los sistemas algorítmicos de apoyo a la toma de decisiones en escenarios de alto riesgo, tal y como se definen en la Ley de IA de la Unión Europea, centrándose en el reconocimiento facial y la predicción de la reincidencia delictiva. Si bien los sistemas de IA se utilizan cada vez más en ámbitos como la justicia penal y la vigilancia, la suposición de que la IA puede complementar de forma fluida y fiable el juicio humano carece de una base empírica suficiente. Esta tesis presenta un conjunto de estudios empíricos que examinan la interacción entre la precisión del sistema, la dificultad de la tarea, la familiaridad del usuario y las intervenciones específicas. La primera parte analiza las coincidencias y divergencias entre los errores humanos y los errores de máquina, revelando estrategias híbridas de toma de decisiones entre humanos e IA. La segunda parte explora cómo la precisión del sistema y la complejidad de la tarea afectan al rendimiento en ambos casos de uso. Los resultados muestran que los sistemas precisos pueden mejorar la calidad de las decisiones, pero los sistemas de baja precisión ejercen una influencia desproporcionada en condiciones difíciles. La tercera parte investiga las intervenciones de incorporación, en las que una breve exposición al sistema ayuda a los usuarios a calibrar la confianza y alinear sus modelos mentales. Los resultados demuestran que la fase de incorporación mejora dicha calibración y mitiga la dependencia desproporcionada. Esta tesis contribuye a la comprensión de la colaboración humana-IA en escenarios de alto riesgo, haciendo hincapié en que el diseño de los sistemas debe tener en cuenta los factores cognitivos junto con el rendimiento técnico. En lugar de respaldar una automatización total, los resultados abogan por marcos híbridos de toma de decisiones que combinen el juicio humano con el apoyo algorítmico con el fin de prevenir el uso indebido y la dependencia excesiva.
This thesis investigates how human decision-making interacts with algorithmic decision support systems (DSS) in high-risk contexts as defined by the European Union’s AI Act, focusing on facial recognition and criminal recidivism prediction. While AI systems are increasingly deployed in domains such as criminal justice, surveillance, and identity verification, the assumption that algorithmic recommendations can seamlessly and reliably augment human judgment lacks sufficient empirical grounding. The dissertation presents a set of complementary empirical studies that examine the interplay between system accuracy, task difficulty, user familiarity, and targeted interventions. The first part analyzes overlaps and divergences between human and machine errors, revealing opportunities for hybrid human-AI decision-making strategies. The second part explores how DSS accuracy and task complexity affect performance in both face matching and recidivism prediction. Results show that accurate systems can improve decision quality, but low-accuracy systems exert disproportionate influence under difficult conditions, exposing users to automation bias. The third part investigates onboarding interventions, where brief exposure to DSS performance helps users calibrate trust and align their mental models with system capabilities. Findings demonstrate that onboarding enhances trust calibration and mitigates overreliance on poor systems. Overall, this thesis contributes to the understanding of human-AI collaboration in high-risk scenarios, emphasizing that system design must account for human cognitive factors alongside technical performance. Rather than endorsing full automation, the findings advocate for hybrid decision-making frameworks that combine human judgment with algorithmic support to enhance effectiveness, fairness, and accountability while safeguarding against misuse and overreliance.
Keywords
Interacció Persona-Ordinador, Human-Computer Interaction, Interacción Persona-Ordenador
Subjects
004 - Computer Science
Publisher
Universidad Pompeu Fabra
