learning analytics, e-learning, e-tutoring, valutazione
10.3280/exioa2-2020oa10810
L’articolo presenta un’analisi quantitativa dei dati nell’ambito didattico universitario online. L’ipotesi di ricerca iniziale era di una correlazione positiva tra l’intensità dell’interazione tutor-studente e la valutazione finale. L’attività di analisi ha coinvolto 248 studenti e considerato 2845 interazioni. I dati hanno mostrato una correlazione debolmente negativa, falsificando l’ipotesi di partenza.Questo lavoro preliminare ha confermato i punti di attenzione evidenziati dalla letteratura rispetto ai learning analytics: 1) qualità e integrazione dei dati da analizzare; 2) difficile attribuzione di un senso pedagogico ai risultati delle analisi.
application/pdf
2499-507X
10810
2
it
Paolo Raviolo
Excellence and Innovation in Learning and Teaching - Open Access
valutazione
Interazioni e-tutor-studenti e successo formativo: un’analisi dei dati nel contesto dell’educazione superiore online
Text.Serial.Journal
https://journals.francoangeli.it/index.php/exioa
5
Saggi e ricerche
2020-12-01
2020-12-01
2020-12-01
2022-04-11
EXIOA
Paolo Raviolo
2020/12/01
10.3280/exioa2-2020oa10810
Università Telematica Ecampus
2499-507X
2
valutazione
it
Salmon, G. (2003). E-moderating: The key to teaching and learning online. London: Routledge Falmer.
Interazioni e-tutor-studenti e successo formativo: un’analisi dei dati nel contesto dell’educazione superiore online
https://journals.francoangeli.it/index.php/exioa/article/download/10810/1324
5
  Saggi e ricerche

  Interazioni e-tutor-studenti e successo formativo:
  un’analisi dei dati nel contesto dell’educazione
  superiore online

  Interactions e-tutors-students and evaluation
  performances: A data analysis in online higher
  education

  Paolo Raviolo*

  Riassunto
  L’articolo presenta un’analisi quantitativa dei dati nell’ambito didattico univer-
  sitario online. L’ipotesi di ricerca iniziale era di una correlazione positiva tra
  l’intensità dell’interazione tutor-studente e la valutazione finale. L’attività di
  analisi ha coinvolto 248 studenti e considerato 2845 interazioni. I dati hanno
  mostrato una correlazione debolmente negativa, falsificando l’ipotesi di par-
  tenza. Questo lavoro preliminare ha confermato i punti di attenzione evidenziati
  dalla letteratura rispetto ai learning analytics: 1) qualità e integrazione dei dati
  da analizzare; 2) difficile attribuzione di un senso pedagogico ai risultati delle
  analisi.

  Parole chiave: learning analytics, e-learning, e-tutoring, valutazione


  Abstract
  The article presents a quantitative data analysis in the setting of online
  university teaching. The research assumed a positive correlation between the
  intensity of the interaction among e-tutor and students correlated with the final
  evaluation. The analysis involved 248 students and considered 2845
  interactions. The data showed a weakly negative correlation, thus falsifying the
  starting hypothesis. This preliminary work highlighted some points of attention
  already known in the reference literature with respect to the predictive
  capabilities of data analysis for the research on learning activities: 1) quality


  *
      Università Telematica Ecampus, e-mail: paolo.raviolo@uniecampus.it.

  Excellence and Innovation in Learning and Teaching (ISSNe 2499-507X), 2020,2
  Doi: 10.3280/exioa2-2020oa10810




                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  and integration of the data analyzed; 2) attribution of a pedagogical sense to the
  results of the analysis.

  Keywords: learning analytics, e-learning, e-tutoring, learning outcomes
  evaluation


  1. Obiettivo

      L’articolo presenta un lavoro basato su uno studio pilota per valutare l’ap-
  plicazione di metodologie di analisi dei dati in ambito pedagogico nell’ambito
  dell’educazione superiore online. La ricerca si focalizza sul rapporto tra l’in-
  tensità dell’interazione tra studente e tutor in rapporto al grado di successo mi-
  surato con il voto conseguito nella valutazione finale in sede di esame. L’ipotesi
  di ricerca iniziale prevedeva che l’intensità dello scambio comunicativo con
  l’e-tutor dimostrasse una correlazione positiva rispetto al successo formativo
  misurato con la valutazione conseguita nell’esame finale. L’insegnamento che
  si è prestato a fornire il caso di studio è quello di Docimologia, corso di 6 Cre-
  diti Formativi Universitari (CFU) erogato nell’ambito del Corso di Laurea Ma-
  gistrale (CdLM) in Scienze Pedagogiche in modalità telematica presso l’Uni-
  versità Telematica Ecampus.
      In questo lavoro l’intensità dello scambio comunicativo è misurata in modo
  quantitativo sulla base del numero e della frequenza dei contatti tra studente ed
  e-tutor registrati dalla piattaforma di e-learning e altri sistemi informativi di
  ateneo. Questa analisi è propedeutica ad un ulteriore approfondimento di natura
  quantitativa e qualitativa volto ad indagare ulteriormente la natura delle intera-
  zioni rispetto almeno ai temi trattati, parole chiave utilizzate e sentiment. Dai
  risultati dell’analisi ci si attendono indicazioni utili a contestualizzare e com-
  prendere il contributo effettivo delle attività di tutoring online sulla cui base
  elaborare strategie di miglioramento della learning experience degli studenti
  (Maré & Mutezo 2020).


  2. Contesto

      Il contesto di riferimento della ricerca è quello del Corso di Laurea Magi-
  strale in Scienze Pedagogiche dell’Università Telematica Ecampus. Sono stati
  inclusi nello studio tutti gli studenti che hanno sostenuto l’esame nell’Anno
  Accademico 2019-2020.



                                               57




                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
      Sulla base dei dati resi disponibili in modalità open data (dati.ustat.miur.it)
  dal Ministero per l’Università e la Ricerca (MIUR) nell’Anno Accademico
  2018-2019 (dato più recente disponibile) gli studenti iscritti ad un Corso di
  Laurea in modalità telematica sono stati più di 113 mila (pari a circa il 6,6%
  del totale degli iscritti all’università in Italia). Sulla base degli stessi dati, gli
  iscritti ad un Corso di Laurea Magistrale in Scienze Pedagogiche (Classe di
  Laurea LM85), risultavano poco più di 10 mila, di cui 2.760 (pari a più del
  27%) iscritti ad un ateneo telematico. Gli iscritti al Corso di Laurea in Scienze
  Pedagogiche dell’Università Ecampus, nell’Anno Accademico in considera-
  zione, erano 232, ovvero poco più del 10% del totale degli iscritti alle Univer-
  sità Telematiche e poco più del 2% del totale degli iscritti a questa classe di
  Laurea Magistrale in Italia. In base ai dati estratti dagli indicatori di Qualità del
  Corso di Laurea e aggiornati a giugno 2020 gli iscritti ai Corsi di Laurea
  dell’Università Telematica Ecampus sono più di 17 mila, quelli iscritti al Corso
  di Laurea Magistrale in oggetto sono 369. Gli studenti che hanno sostenuto
  l’esame di Docimologia nel corso dell’Anno Accademico 2019-2020 sono stati
  248.
      L’insegnamento di Docimologia è erogato completamente in modalità tele-
  matica ed è un insegnamento caratterizzante il Corso di Laurea Magistrale,
  quindi viene necessariamente sostenuto da tutti gli studenti iscritti al corso di
  studi, ad eccezione di quelli che lo hanno già sostenuto in altro Ateneo e hanno
  ottenuto il riconoscimento dall’apposita commissione.
      L’insegnamento di Docimologia ha un peso di 6 Crediti Formativi Univer-
  sitari (CFU) e si articola su sei moduli, ciascuno composto da 8 lezioni della
  durata nominale di 2 ore; complessivamente, ciascun modulo offre circa un’ora
  di didattica erogativa (lezioni video o audio), oltre ad esercitazioni per un carico
  complessivo di circa 6 ore, orientate in parte a migliorare l’apprendimento, in
  parte all’autovalutazione e alla valutazione formativa con il feedback del do-
  cente. Gli studenti hanno inoltre la possibilità di partecipare ai webinar del do-
  cente organizzati periodicamente in modalità sincrona.
      Gli studenti concordano con il tutor di riferimento il momento in cui iniziano
  la fruizione del corso e hanno a disposizione 6 appelli per sostenere l’esame in
  forma scritta; in alternativa possono chiedere al docente di sostenere l’esame in
  forma orale.


  3. Ruolo dell’e-tutor

     Negli ultimi anni il contesto della distance education ha visto realizzarsi
  significativi cambiamenti. Lo sviluppo dei Virtual Learning Environment
  (VLE) e l’aumento significativo dell’offerta formativa a tutti i livelli, dai corsi

                                               58




                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  di laurea ai MOOC, hanno trasformato lo scenario in modo significativo (Bates,
  2008; Chang, Shen & Liu, 2014), rendendo il ruolo dell’e-tutor centrale per la
  learning experience dello studente.
      Nel contempo, mentre il ruolo del tutoring diventava sempre più fondamen-
  tale per il successo dell’e-learning, gli stessi tutor hanno dovuto affrontare sfide
  significative, in particolare nell’ambito dell’educazione superiore (Goold,
  Coldwell & Craig, 2010). Lo sviluppo dell’e-learning ha infatti fatto emergere
  in modo sempre più significativo l’attenzione sul ruolo che l’e-tutor è chiamato
  a svolgere, sulle sue competenze e sulle pratiche che caratterizzano la sua atti-
  vità e, quindi, sui percorsi di formazione e sulle caratteristiche della figura pro-
  fessionale (Bennet & Marsh, 2002). Come sottolineano diversi Autori, tra cui
  Packham, Cramphorn e Miller (2001), l’offerta formativa online per l’educa-
  zione superiore ha dovuto affrontare, in primo luogo, le sfide della credibilità
  e, quindi, quelle della qualità della didattica e del supporto agli studenti.
      Per quanto riguarda l’ambito europeo, le questioni sopra delineate sono state
  affrontate nel contesto del Processo di Bologna e della European Higher Edu-
  cation Area (EHEA), trovando un proprio spazio nelle Linee guida della Euro-
  pean Association for Quality Assurance in Higher Education (ENQA) e, in par-
  ticolare, nel Rapporto 2018 del Working Group on quality assurance and e-
  learning, “Considerations for quality assurance of e-learning provision” (Huer-
  tas Hidalgo, Marcos, Kuhn, Seppmann, 2018), in cui il ruolo del tutoring viene
  evidenziato per la prima volta ufficialmente come parte del teaching staff. Il
  learning design e l’erogazione della formazione online, infatti, non richiedono
  più ai tutor semplicemente competenze di tipo disciplinare o di tipo tecnolo-
  gico, ma coinvolgono anche la dimensione pedagogica e didattica insite nel
  ruolo e specifiche competenze comunicative online, oltre alla capacità di gui-
  dare gli studenti nella costruzione del proprio percorso di apprendimento
  (McPherson and Nunes, 2004). Un e-tutor efficace deve essere cosciente del
  proprio ruolo di stimolo nel processo di apprendimento degli studenti, piuttosto
  che limitarsi a fornire un supporto sulla dimensione tecnologica (Salmon,
  2003).
      Secondo De Metz e Bezuidenhout (2018), gli studenti coinvolti in ambienti
  di distance education sviluppano attraverso l’interazione con gli e-tutor un
  senso di appartenenza e di soddisfazione rispetto all’esperienza di apprendi-
  mento. In particolare i temi chiave rispetto all’attività di e-tutoring sembrano
  essere:
  (a) la selettività: l’attività di e-tutoring non dovrebbe essere indirizzata a tutti
      gli studenti, ma soltanto agli studenti che lo richiedono o ne hanno la neces-
      sità;
  (b) la specificità: l’attività di e-tutoring dovrebbe fornire integrazione sociale,
      promuovere il lavoro cooperativo e supportare gli studenti nella soluzione

                                               59




                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
      dei problemi, differenziando nettamente il ruolo del tutor rispetto a quello
      del docente, a cui non devono sostituirsi.
      Più specificamente, gli studenti coinvolti nella didattica online manifestano
  tre bisogni fondamentali: (1) un contatto regolare con l'istituzione educativa;
  (2) un supporto per la motivazione; (3) un’interazione costante con i docenti, i
  tutor e gli altri studenti. Il ruolo principale dell’e-tutor appare quindi quello di
  assicurare che l’online learning space sia gestito in modo da fornire un am-
  biente idoneo per un apprendimento efficace. L’e-tutor svolge il ruolo di faci-
  litatore dell’apprendimento, guidando gli studenti attraverso i contenuti didat-
  tici in modo che essi siano in grado di completare il loro percorso in modo
  soddisfacente (Matoane & Mashile, 2013; Ramorola, 2018).
      Abdullah and Mtsweni (2014) propongono una classificazione che caratte-
  rizza le attività svolte dall’e-tutor in quattro principali ruoli:
  • ruolo pedagogico: include attività come guida e coinvolgimento degli stu-
      denti nella didattica integrativa;
  • ruolo sociale: si riferisce principalmente con la creazione di un ambiente
      amichevole e coinvolgente per gli studenti;
  • ruolo gestionale: è principalmente riferito all'organizzazione delle attività
      didattiche, al chiarimento delle procedure amministrative e al supporto nelle
      decisioni;
  • ruolo tecnico: richiede all’e-tutor la conoscenza approfondita della piatta-
      forma di e-learning e dei software di base necessario per il supporto agli
      studenti.
      In sintesi, un’efficace attività di tutoring nell’ambito dell’educazione a di-
  stanza presenta importanti vantaggi sia per gli studenti che per le istituzioni
  educative. Un efficace e-tutoring migliora le possibilità di successo degli stu-
  denti (De Metz & Bezuidenhout, 2018; Horner & Gouws, 2016; Ngubane-
  Mokiwa, 2017), il coinvolgimento attivo nella vita sociale e accademica dell'a-
  teneo, anche se solo tramite la piattaforma online di e-education, contribuisce
  a migliorare le performance degli studenti. In conclusione, l’e-tutoring svolge
  un ruolo centrale nel creare un ambiente di apprendimento efficace e motivante
  nella online distance education (Heuel & Feldmann, 2014).


  4. Metodologia di lavoro

      La data analysis è un approccio tipicamente quantitativo, il principale
  aspetto critico presentato da una prospettiva di analisi quantitativa risiede nella
  difficoltà di stabilire relazioni causali tra le variabili di analisi correlate dal
  punto di vista statistico (Queirós, Faria, Almedia, 2017). Il fatto che due


                                               60




                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  variabili misurate abbiano un elevato fattore di correlazione, infatti, di per sé
  non si traduce automaticamente in un nesso di causalità.
      Un tentativo di combinare gli aspetti della ricerca qualitativa con quelli della
  ricerca quantitativa è rappresentato dal paradigma dei mixed methods, non a
  caso definito “il terzo paradigma di ricerca”. Possiamo affermare che questo
  approccio contribuisce a consolidare dal punto di vista ontologico i risultati
  della ricerca quantitativa in alcuni ambiti, come ad esempio quello della ricerca
  educativa, con analisi in profondità di tipo qualitativo per raccordare questi ri-
  sultati con la realtà osservata.
      In questo lavoro si presenta un’analisi di tipo quantitativo, come primo
  passo verso un approccio mixed methods, volta ad evidenziare la potenziale
  correlazione tra l’interazione tra studente e-tutor e il risultato conseguito in sede
  di esame finale del corso. Le interazioni rilevate dai sistemi informativi
  dell’ateneo sono relative a quattro tipologie: lo scambio di mail (suddiviso per
  mail inviate o ricevute dal tutor), i contatti telefonici, gli incontri in presenza
  oppure tramite strumenti telematici e altre forme di comunicazione (messaggi,
  chat, ecc.).
      In una prima fase sono stati analizzati i dati relativi a ciascun esame soste-
  nuto, complessivamente pari a 264 esami sostenuti da 248 studenti (Tab. 1).
  Nel campione selezionato gli esami non superati sono stati 21; 7 studenti non
  hanno ripetuto l’esame dopo il primo risultato negativo; 16 studenti hanno ri-
  petuto l'esame due volte; tra questi, 2 studenti non hanno superato l’esame nep-
  pure al secondo tentativo, mentre 2 studenti hanno ripetuto l’esame anche se
  nel primo appello avevano conseguito una valutazione superiore alla suffi-
  cienza.
      Le interazioni registrate dal sistema sono state complessivamente 2865. Oc-
  corre precisare che alcuni studenti sono stati seguiti da tutor che per motivi
  tecnici o organizzativi non hanno registrato in modo formale le interazioni. Ri-
  spetto agli studenti inizialmente presi in considerazione, 109 sono stati esclusi
  in ragione della mancanza oppure della incoerenza dei dati sulle interazioni oc-
  corse. Lo studio è quindi proseguito sui dati relativi a 139 studenti rispetto ai
  quali i dati erano disponibili e su cui corrispondono 145 esami sostenuti (Tab.
  1).
      Complessivamente, le 2865 interazioni citate sono relative a 1829 chiamate
  telefoniche, 265 mail inviate dal tutor, 608 mail ricevute dal tutor, 39 incontri
  personali e 124 contatti di altra tipologia. Il contatto telefonico è risultato la
  tipologia di contatto più utilizzato (solo in 10 casi non è stato utilizzato), mentre
  le altre tipologie di contatto sono risultate significativamente meno utilizzate.
      Si è quindi proceduto a calcolare il coefficiente di relazione lineare attra-
  verso l’indice di Pearson tra le interazioni registrate dal sistema e il voto otte-
  nuto in sede di esame. Il coefficiente di relazione lineare è stato calcolato per il

                                               61




                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  totale delle interazioni registrate che per ciascuna singola tipologia di intera-
  zione, complessivamente quindi sono stati ottenuti 6 coefficienti di correla-
  zione distinti sulle categorie di interazione oggetto di analisi (mail inviate dal
  tutor, mail ricevute dal tutor, telefonate, incontri personali, altro, totale intera-
  zioni).
      Un ultimo elemento metodologico, non trascurabile, è legato alla dimen-
  sione etica e alla tutela della riservatezza dei dati personali (Drachsler & Grel-
  ler, 2016; Ferguson, 2019; Gursoy, Inan, Nergiz & Saygin, 2016; Pardo & Sie-
  mens, 2014). Per includere anche questa dimensione nell’analisi la soluzione
  adottata è stata quella di lavorare su una estrazione di dati appositamente pre-
  disposta in maniera anonimizzata, ovvero sulla base di un metodo per criptare
  in modalità reversibile il numero di matricola degli studenti. Si sottolinea che
  la soluzione descritta è stata applicabile poiché la ricerca si riferisce a dati sulle
  attività degli studenti comprese in un arco di tempo definito e stabile; nel caso
  di un approccio di learning analytics puro (in cui i dati sono analizzati in tempo
  reale) la tutela della privacy dello studente sarebbe stata necessariamente affi-
  data direttamente al sistema di analisi dei dati. Si riportano di seguito le princi-
  pali statistiche relative ai dati analizzati.

  Tab. 1 – Soggetti coinvolti nella ricerca
                                 Soggetti coinvolti nella ricerca
   Numero di esami sostenuti                                                           264
   Numero studenti che hanno sostenuto l’esame                                         248
   Numero di studenti con dati inconsistenti, esclusi dall’analisi                     109

  Tab. 2 – Tipologia di interazioni analizzate
                              Tipologia di interazioni analizzate
   Contatti telefonici                                                                1829
   E-mail inviate dal tutor                                                            265
   E-mail inviate dallo studente                                                       608
   Incontri personali                                                                   39
   Contatti di altro tipo                                                              124
   Totale                                                                             2865



  5. Risultati dell’analisi

      È interessante notare che tutti gli indici di correlazione calcolati in relazione


                                                 62




                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  al numero di interazioni tra tutor e studente e il risultato ottenuto nella valuta-
  zione finale hanno presentato un valore di poco negativo (compreso tra -0,15 e
  -0,6). La tabella seguente riporta i risultati finali.

  Tab. 3 – Indici di correlazione numero di interazioni/voto esame finale
                Indici di correlazione numero di interazioni/voto esame finale
   indice di correlazione contatti telefonici                                        -0,142
   indice di correlazione E-mail inviate dal tutor                                   -0,119
   indice di correlazione E-mail inviate dallo studente                              -0,059
   indice di correlazione Incontro                                                   -0,056
   indice di correlazione Altro                                                      -0,159
   indice di correlazione Totale                                                     -0,140


      Questi indici di correlazione indicano chiaramente che nel campione analiz-
  zato al crescere delle interazioni tra studente e tutor il risultato finale conseguito
  dallo studente non appare statisticamente migliorare, evidenziando, al contra-
  rio, una lieve tendenza contraria.
      La prima ipotesi iniziale, quindi, riferita al fatto che una maggiore intera-
  zione con il tutor potesse essere indicativa rispetto ad un risultato migliore in
  sede di esame è stata falsificata dall’analisi sui dati, che evidenzia semmai una
  correlazione inversa, seppure lieve. Pertanto, lo studente che ha una più intensa
  attività di scambio con il tutor, almeno da un punto di vista quantitativo, rag-
  giunge tendenzialmente una valutazione finale inferiore rispetto a chi ha una
  interazione meno intensa (frequente o numerosa).
      Analizzando più in dettaglio il tipo di interazione tutor-studente possiamo
  osservare come lo strumento più utilizzato sia stato il contatto telefonico, uti-
  lizzato da 134 studenti, con una media di 13,6 contatti. Qui il numero minimo
  di contatti per singolo studente registrato è stato 1 e il numero massimo per
  singolo studente è 49. Il tipo di interazione meno frequente è stato l’incontro
  personale, utilizzato da 24 studenti, con una media di 1,6 eventi e un numero
  massimo di incontri per singolo studente pari a 4. Il tipo di interazione che ap-
  pare essere stato utilizzato più intensamente è invece l’e-mail su iniziativa dello
  studente (tipologia di contatto utilizzata da 58 studenti, con una media di 10,5
  mail per studente e un numero massimo di interazioni di 72), mentre l’e-mail
  su iniziativa del tutor è stata utilizzata per 47 studenti, con una media di 5,6 e
  un numero massimo di interazioni per singolo studente di 32. Solo 5 studenti
  hanno fatto uso di tutte le tipologie di contatto tracciate dal sistema informativo
  e, tra questi, 2 studenti non hanno superato l’esame al primo tentativo.



                                                 63




                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  Tab. 4 – Tipologie di interazione utilizzate dagli studenti con media del numero di interazioni,
  minimo, massimo e voto medio
                                     Contatto E-mail           E-mail
   Tipo di interazione                                                   Incontro Altro
                                     tel.        tutor         studente
   Numero di studenti che ne
                                         134          47           58        24          50
   hanno fatto uso
   numero medio di interazioni da
   parte degli studenti che hanno        13,6         5,6         10,5       1,6        2,5
   usato lo strumento
   numero minimo di interazioni
                                           1           1           1          1           1
   per singolo studente
   numero massimo di interazioni
                                          49          32           72         4          20
   per singolo studente
   voto medio                             24          23           23        24          23


     La correlazione negativa tra il numero di interazioni e il voto finale in sede
  di esame emerge ancora più chiaramente se confrontiamo la media di intera-
  zioni degli studenti che hanno conseguito un voto alto (da 28 a 30), pari a 16,7,
  con un minimo di 1 e un massimo di 67 interazioni, con la media di interazioni
  degli studenti che hanno raggiunto una valutazione finale fino a 27 compreso,
  pari a 20,6, con un minimo di 1 e un massimo di 126 interazioni.


  6. Conclusioni

      I risultati ottenuti attraverso l’analisi dei dati sull’interazione tra i tutor e gli
  studenti sono chiaramente parziali e fanno riferimento ad un lavoro di analisi
  meramente quantitativa, ciò nondimeno evidenziano un risultato apparente-
  mente contro-intuitivo: l’intensità dell’interazione tra tutor e studente nei corsi
  online non è direttamente correlata ad un risultato migliore nella valutazione
  finale.
      Nell’analisi si è voluto mantenere un profilo di tipo quantitativo per mettere
  in evidenza il risultato ottenibile con metodi di analisi applicati ai dati prodotti
  dai sistemi informativi a supporto della didattica (nel caso specifico non il Vir-
  tual Learning Environment – VLE – in sé, ma il sistema utilizzato dai tutor per
  gestire e monitorare il contatto con gli studenti).
      Questa primo lavoro di analisi potrà essere integrato con l’analisi dei dati
  del VLE sulle interazioni con gli studenti, ancora una volta di natura quantita-
  tiva, e con l’analisi del contenuto delle interazioni (in particolare i messaggi di
  e-mail o le annotazioni dei tutor in merito ai contatti telefonici con gli studenti).
  Un ulteriore livello di analisi potrà essere condotto sulla valutazione del corso
  espressa dagli studenti attraverso un questionario di fine corso o, ancora,


                                                 64




                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  attraverso approfondimenti ulteriori come ad esempio le interviste strutturare
  ad un campione degli studenti.
      Quanto pare emergere chiaramente dal lavoro preliminare qui presentato è
  che senza dubbio l’utilizzo di dati che non nascono per la ricerca, ma sono
  quelli prodotti dai sistemi informativi a supporto della didattica, tecnicamente
  definiti “sistemi di business”, pone due livelli di questioni. Ad un primo livello
  emerge il tema della qualità e dell’affidabilità del dato: questi dati, infatti, ri-
  chiedono un’attività di “ripulitura” significativa prima di essere utilizzati, che
  deve essere svolta con una conoscenza approfondita delle logiche di funziona-
  mento dei sistemi software che hanno generato i dati stessi.
      Nel nostro caso, ad esempio, 109 studenti su 248 sono stati esclusi dal lavoro
  di analisi in quanto i dati che li riguardavano erano inconsistenti. Inoltre, è ne-
  cessario essere consci del fatto che qualora si rendesse necessario estendere
  l’analisi della ricerca anche a dati provenienti da sistemi informativi aggiuntivi
  (ad esempio, il VLE), emergerà necessariamente un problema di relazione si-
  gnificativa dei dati sullo stesso soggetto presenti sui due sistemi distinti (aspetto
  di complessità che nell’ambito dell’analisi dei dati si definisce di “integrazione
  tra più fonti dati”). Vale quindi la pena di evidenziare come il tema della qualità
  e della significatività dei dati sottoposti ad analisi dipenda in modo significativo
  dalla natura stessa dei dati, a loro volta direttamente influenzati alle logiche di
  funzionamento dei sistemi informativi utilizzati. Chatti e altri (2017), eviden-
  ziano a tal proposito come lo sviluppo di modelli e sistemi di learning analytics
  “aperti”, ovvero che possano integrarsi con i cd. “networked learning environ-
  ments”, siano auspicabili per creare ecosistemi tecnologici aperti per l’appren-
  dimento (Chatti, Muslim & Schroeder, 2017).
      Ad un secondo livello di analisi, l’esperimento condotto conferma come
  l’aspetto fondamentale dell’analisi quantitativa risieda nella capacità del ricer-
  catore di attribuire un “senso”, dal punto di vista didattico, ai risultati che emer-
  gono dai dati (Queirós et al., 2017). Nella nostra ricerca, ad esempio, l’ipotesi
  iniziale proposta, volutamente definita per dimostrare una natura intuitiva, è
  stata falsificata dai risultati dell’analisi: l’intensità di interazione tra tutor e stu-
  dente non è risultata avere una correlazione lineare positiva con la valutazione
  finale; al contrario gli indici di correlazione puri hanno evidenziato una corre-
  lazione negativa (seppur lieve). Questo dato fa emergere nuove ipotesi inter-
  pretative, ad esempio il fatto che una maggiore interazione tutor-studente possa
  essere in realtà dovuta a maggiori difficoltà sperimentata dallo studente nel suo
  percorso di apprendimento, oppure, più semplicemente, alla presenza di stili di
  apprendimento diversi. Queste nuove ipotesi, tuttavia, dovranno essere analiz-
  zate mettendo in relazione i dati sull’interazione tutor-studente con fonti infor-
  mative aggiuntive e/o attraverso un arricchimento della metodologia di inda-
  gine di tipo quantitativo o mixed.

                                               65




                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
      In conclusione, il risultato che appare chiaramente da questo lavoro è come
  la complessità legata all’analisi dei dati sulla didattica sia elevata. Pur esistendo
  soluzioni tecnologiche adeguate a gestire ed analizzare grandi moli di dati, dalla
  ricerca effettuata con approccio quantitativo appare evidente come l’analisi sia
  fortemente influenzata da fattori contestuali, in primo luogo l’architettura e le
  logiche di funzionamento dei sistemi informativi che producono i dati e la loro
  correlazione con l’effettiva esperienza di apprendimento dello studente. Anche
  il tema della riservatezza dei dati personali di studenti e tutor non può essere
  trascurato, infatti, nel caso dell’integrazione di dati provenienti da sistemi in-
  formativi diversi o, in modo anche maggiore, nel caso di utilizzo mixed di me-
  todi quantitativi e qualitativi, tale aspetto di carattere etico e giuridico può as-
  sumere una rilevanza critica ancora maggiore.


  Bibliografia

  Bates, T. (2008). Transforming distance education through new technologies. In T.
     Evan, M. Haughey, & D. Murphy (Eds.). International handbook of distance edu-
     cation. Bingley: Emerald Group. Doi: 10.1108/09504120911003267.
  Bennet, S., Marsh, D. (2002). Are we expecting online tutors to run before they can
     walk?. Innovations in Education and Teaching International, 39(1), 14-20. Doi:
     10.1080/13558000110097055.
  Chang, C., Shen, H., Liu, E. Z. (2014). University faculties’ perspectives on the roles
     of e-instructors and their online instruction practice. International Review of Re-
     search in Open and Distance Learning, 15(3), 72-92. Doi: 10.19173/ir-
     rodl.v15i3.1654.
  Chatti, M. A., Muslim, A., & Schroeder, U. (2017). Toward an open learning analytics
     ecosystem. In Big data and learning analytics in higher education (pp. 195-219).
     Springer, Cham. Doi: 10.1007/978-3-319-06520-5_12.
  De Metz, N., Bezuidenhout, A. (2018) An importance – competence analysis of the
     roles and competencies of e-tutors at an open distance learning institution. Austral-
     asian Journal of Educational Technology, 34(5) 27-43. Doi: 10.14742/ajet.3364.
  Drachsler, H., Greller, W. (2016). Privacy and analytics: it’s a DELICATE issue a
     checklist for trusted learning analytics. In Proceedings of the sixth international
     conference on learning analytics & knowledge (pp. 89-98). Doi:
     10.1145/2883851.2883893.
  Goold, A., Coldwell, J., & Craig, A. (2010). An examination of the role of the e-tutor.
     Australasian Journal of Educational Technology, 26(5), 704-716. Doi:
     10.14742/ajet.1060.
  Gursoy, M. E., Inan, A., Nergiz, M. E., Saygin, Y. (2016). Privacy-preserving learning
     analytics: challenges and techniques. IEEE Transactions on Learning technologies,
     10(1), 68-81. Doi: 10.1109/tlt.2016.2607747.



                                               66




                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  Ferguson, R. (2019). Ethical challenges for learning analytics. Journal of Learning An-
     alytics, 6(3), 25-30. Doi: 10.18608/jla.2019.63.5.
  Heuel, E., Feldmann B. (2014). Quality standards for e-learning in vocational education
     and training: The certified European e-tutor. In Uden, L., Tao, Y.H., Yang, H.C.,
     Ting, I.H. (Eds.). The 2nd International Workshop on Learning Technology for Ed-
     ucation in Cloud. Springer Proceedings in Complexity. Dordrecht: Springer. Doi:
     10.1007/978-94-007-7308-0_10.
  Horner, G., Gouws, P. (2016) E-tutoring support for undergraduate students learning
     computer programming at the University of South Africa. Computer Science Edu-
     cation Research Conference 2016, Pretoria, South Africa. Doi:
     10.1145/2998551.2998557.
  Huertas Hildago, E., Marcos, S., Kuhn, M.R., Seppmann, G. (2018). Considerations
     for quality assurance of e-learning provision, Report from the ENQA Working
     Group VIII on quality assurance and e-learning, ENQA.
  Maré, S., Mutezo, A. T. (2020). The effectiveness of e-tutoring in an open and distance
     e-learning environment: evidence from the university of south africa. Open Learn-
     ing: The Journal of Open, Distance and e-Learning, 1-17. Doi:
     10.1080/02680513.2020.1717941.
  Matoane, M., Mashile, E.O. (2013). Key considerations for successful e-tutoring: les-
     sons learnt from an institution of higher learning in South Africa. E-Learn: World
     Conference on E-learning in Corporate, Government, Healthcare, and Higher Edu-
     cation. Las Vegas, NV, USA.
  Ngubane-Mokiwa, S.A. (2017). Implications of the University of South Africa’s shift
     to Open Distance e-Learning on teacher education. Australian Journal of Teacher
     Education (Online), 42(9), 111-124. Doi: 10.14221/ajte.2017v42n9.7.
  Pardo, A., Siemens, G. (2014). Ethical and privacy principles for learning analytics.
     British Journal of Educational Technology, 45(3), 438-450. Doi:
     10.1111/bjet.12152.
  Queiros, A., Faria, D., Almeida, F. (2017). Strengths and limitations of qualitative and
     quantitative research methods. European Journal of Education Studies, 3(9), 369-
     387.
  Ramorola, M.Z. (2018) The roles and responsibilities of e-tutors in open distance and
     e-learning environment. South Africa International Conference on Educational
     Technologies 2018.
  Salmon, G. (2003). E-moderating: The key to teaching and learning online. London:
     Routledge Falmer.




                                               67




                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
