A Conversational agent in PyramidApp: analysis of behaviors, and elements of design for a future integration
Loading...
Date
Document Type
Document Version
Author
License
Citation
Gutiérrez Ferré, A. A Conversational agent in PyramidApp: analysis of behaviors, and elements of design for a future integration. 2024. handle: http://hdl.handle.net/10230/70110
This citation was generated automatically.
Abstract
This study aimed to evaluate the influence of a Generative Artificial Intelligence (GenAI) agent within
the Computer Supported Collaborative Learning (CSCL) platform “PyramidApp”. Using a
quasi-experimental within-subject design, the research analyzed the behaviors of the GenAI agent in
the PyramidApp environment. The study examined 105 chat room conversations, both assisted and
non-assisted by a masked GenAI agent. The findings revealed that the presence of the GenAI agent
positively impacted quality aspects such as precision, reduced confusion, and enhanced knowledge
building. Additionally, the study determined that the GenAI agent’s ratings correlated positively with
students’ ratings, providing student-like feedback on submissions. Furthermore, the analysis indicated
that a GenAI chatbot in PyramidApp influenced both individual group member performance, and
overall group behavior in online activities. The results offer valuable insights into effective strategies
for integrating GenAI into CSCL environments, helping developers consider key design elements for
future GenAI integrations.
El presente estudio tuvo como objetivo evaluar la influencia de un agente de Inteligencia Artificial Generativa (GenAI) dentro de la plataforma de Aprendizaje Colaborativo Apoyado por Ordenador (CSCL) “PyramidApp”. Utilizando un diseño cuasi-experimental intra-sujetos, la investigación analizó los comportamientos del agente GenAI en el entorno de PyramidApp. El estudio examinó 105 conversaciones en salas de chat, tanto asistidas como no asistidas por el agente GenAI. Los resultados del estudio revelaron que la presencia del agente GenAI impactó positivamente en aspectos como la precisión, la reducción de la confusión y la construcción del conocimiento. Asimismo, demostró que las evaluaciones hechas por el agente se correlacionaron positivamente con las evaluaciones hechas por estudiantes. Finalmente, el análisis indicó que la presencia del agente en PyramidApp influyó tanto en el rendimiento de los miembros individuales del grupo como en el comportamiento general del grupo en las actividades. Los resultados de este estudio proporcionan estrategias para integrar GenAI en entornos CSCL, y son de utilidad para futuras integraciones de la GenAI.
El present estudi va tenir com a objectiu avaluar la influència d’un agent d’Intel·ligència Artificial Generativa (GenAI) dins de la plataforma d’Aprenentatge Col·laboratiu Suportat per Ordinador (CSCL) “PyramidApp”. Utilitzant un disseny quasiexperimental intra-subjectes, la investigació va analitzar els comportaments de l’agent GenAI en l’entorn de PyramidApp. L’estudi va examinar 105 converses en sales de xat, tant assistides com no assistides per l’agent GenAI. Els resultats de l’estudi van revelar que la presència de l’agent GenAI va impactar positivament en aspectes com la precisió, la reducció de la confusió i la construcció del coneixement. Així mateix, va demostrar que les avaluacions fetes per l’agent es van correlacionar positivament amb les avaluacions fetes per estudiants. Finalment, l’anàlisi va indicar que la presència de l’agent a PyramidApp va influir tant en el rendiment dels membres individuals del grup com en el comportament general del grup en les activitats. Els resultats d’aquest estudi proporcionen estratègies per integrar GenAI en entorns CSCL, i són d’utilitat per futures integracions de la GenAI.
El presente estudio tuvo como objetivo evaluar la influencia de un agente de Inteligencia Artificial Generativa (GenAI) dentro de la plataforma de Aprendizaje Colaborativo Apoyado por Ordenador (CSCL) “PyramidApp”. Utilizando un diseño cuasi-experimental intra-sujetos, la investigación analizó los comportamientos del agente GenAI en el entorno de PyramidApp. El estudio examinó 105 conversaciones en salas de chat, tanto asistidas como no asistidas por el agente GenAI. Los resultados del estudio revelaron que la presencia del agente GenAI impactó positivamente en aspectos como la precisión, la reducción de la confusión y la construcción del conocimiento. Asimismo, demostró que las evaluaciones hechas por el agente se correlacionaron positivamente con las evaluaciones hechas por estudiantes. Finalmente, el análisis indicó que la presencia del agente en PyramidApp influyó tanto en el rendimiento de los miembros individuales del grupo como en el comportamiento general del grupo en las actividades. Los resultados de este estudio proporcionan estrategias para integrar GenAI en entornos CSCL, y son de utilidad para futuras integraciones de la GenAI.
El present estudi va tenir com a objectiu avaluar la influència d’un agent d’Intel·ligència Artificial Generativa (GenAI) dins de la plataforma d’Aprenentatge Col·laboratiu Suportat per Ordinador (CSCL) “PyramidApp”. Utilitzant un disseny quasiexperimental intra-subjectes, la investigació va analitzar els comportaments de l’agent GenAI en l’entorn de PyramidApp. L’estudi va examinar 105 converses en sales de xat, tant assistides com no assistides per l’agent GenAI. Els resultats de l’estudi van revelar que la presència de l’agent GenAI va impactar positivament en aspectes com la precisió, la reducció de la confusió i la construcció del coneixement. Així mateix, va demostrar que les avaluacions fetes per l’agent es van correlacionar positivament amb les avaluacions fetes per estudiants. Finalment, l’anàlisi va indicar que la presència de l’agent a PyramidApp va influir tant en el rendiment dels membres individuals del grup com en el comportament general del grup en les activitats. Els resultats d’aquest estudi proporcionen estratègies per integrar GenAI en entorns CSCL, i són d’utilitat per futures integracions de la GenAI.
Other authors
Description
Tutor: J. Roberto Sánchez-Reina
Tutora: Davinia Hernández-Leo
Treball de fi de Grau en Enginyeria Informàtica
Tutora: Davinia Hernández-Leo
Treball de fi de Grau en Enginyeria Informàtica
