valutazione formativa in itinere, Perusall, Peergrade
10.3280/exioa0-2021oa11129
Questo contributo presenta una riprogettazione dell’insegnamento universitario che mira a integrare le strategie di apprendimento sostenute dai media digitali. I tradizionali momenti del processo di insegnamento-apprendimento (lezione, studio, esame), sono stati trasformati attraverso il coinvolgimento in itinere degli studenti per assicurare un feedback formativo lungo tutto lo sviluppo dell’insegnamento. A questo scopo sono state introdotte pratiche di social annotation e di peer- and self-assessment condotte utilizzando due ambienti online: Perusall[1] e Peergrade[2]. Vengono presentate le funzionalità e l’uso in contesto universitario dei due strumenti. Il contributo termina con una ricerca condotta sull’applicazione della riprogettazione proposta ad un insegnamento universitario.[1] Perusall (https://perusall.com/), è un sistema gratuito di social annotation sviluppato da un team di docenti dell’università di Harvard specificatamente progettato per innovare i processi di insegnamento – apprendimento in ambito universitario.[2] Peergrade (https://www.peergrade.io/), è un ambiente digitale per il peer- and self- assessment sviluppato da una società con radici presso la Technical University of Denmark e con consulenti dell’Università Strathclyde.
application/pdf
2499-507X
11129
it
Graziano Cecchinato
Excellence and Innovation in Learning and Teaching - Open Access
Peergrade
Innovare la didattica universitaria con il feedback formativo in itinere
Text.Serial.Journal
https://journals.francoangeli.it/index.php/exioa
Saggi e ricerche
2021-01-25
2021-01-25
2021-01-26
2022-04-12
EXIOA
Graziano Cecchinato
2021/01/25
10.3280/exioa0-2021oa11129
Università degli Studi di Padova
2499-507X
Peergrade
it
Zhu, X., Chen, B., Avadhanam, R.M., Shui, H., & Zhang, R.Z. (2020). Reading and connecting: using social annotation in online classes. Information and Learning Sciences, 121(5-6), 261-271.
Innovare la didattica universitaria con il feedback formativo in itinere
https://journals.francoangeli.it/index.php/exioa/article/download/11129/814
  Saggi e ricerche

  Innovare la didattica universitaria con il feedback
  formativo in itinere

  Innovating undergraduate teaching with ongoing
  formative feedback

  Graziano Cecchinato*


  Riassunto
  Questo contributo presenta una riprogettazione dell’insegnamento universitario
  che mira a integrare le strategie di apprendimento sostenute dai media digitali.
  I tradizionali momenti del processo di insegnamento-apprendimento (lezione,
  studio, esame), sono stati trasformati attraverso il coinvolgimento in itinere de-
  gli studenti per assicurare un feedback formativo lungo tutto lo sviluppo dell’in-
  segnamento. A questo scopo sono state introdotte pratiche di social annotation
  e di peer- and self-assessment condotte utilizzando due ambienti online: Peru-
  sall1 e Peergrade2. Vengono presentate le funzionalità e l’uso in contesto uni-
  versitario dei due strumenti. Il contributo termina con una ricerca condotta
  sull’applicazione della riprogettazione proposta ad un insegnamento universi-
  tario.
  Parole Chiave: valutazione formativa in itinere, Perusall, Peergrade


  Abstract
  This paper presents an undergraduate teaching redesign that aims to integrate
  the learning strategies supported by digital media. The traditional elements of
  the teaching-learning process (lecture, study, examination) have been
  transformed through students’ ongoing involvement to ensure formative

  *
    Università degli Studi di Padova.
  1
    Perusall (https://perusall.com/), è un sistema gratuito di social annotation sviluppato
  da un team di docenti dell’università di Harvard specificatamente progettato per inno-
  vare i processi di insegnamento – apprendimento in ambito universitario.
  2
    Peergrade (https://www.peergrade.io/), è un ambiente digitale per il peer- and self-
  assessment sviluppato da una società con radici presso la Technical University of Den-
  mark e con consulenti dell’Università Strathclyde.

  Excellence and Innovation in Learning and Teaching (ISSNe 2499-507X), Special Issue
  Doi: 10.3280/exioa0-2021oa11129


                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  feedback throughout teaching development. To this end, social annotation and
  peer- and self-assessment practices have been introduced using two online
  environments: Perusall and Peergrade. The functionalities and the use in the
  higher education context of the two tools are presented. The contribution ends
  with research conducted on the application of the proposed redesign to an
  undergraduate teaching.

  Keywords: ongoing formative feedback, Perusall, Peergrade


  1. Contesto

      La crescente diffusione dei media info-comunicativi sta progressivamente
  trasformando le modalità di approccio alla conoscenza e le strategie di appren-
  dimento delle giovani generazioni. L’esposizione pervasiva a contenuti destrut-
  turati e iperconnessi richiede maggiore proattività nell’elaborazione delle infor-
  mazioni e mette alla prova le capacità di pensiero critico, essenziali per la loro
  interiorizzazione (McAleese et al., 2013). Le interazioni in tempo reale prodotte
  con i videogiochi creano aspettative per un feedback costante e immediato, pro-
  muovendo un apprendimento per tentativi ed errori (Gee, 2013). L’interconnes-
  sione globale e l’ubiquità degli strumenti digitali amplificano la dimensione
  sociale dell’apprendimento (Jenkins, 2009).
      Queste trasformazioni rendono progressivamente dissonante il modello tra-
  dizionale di insegnamento-apprendimento, che permane comune in ambito ac-
  cademico (Armstrong, 2016). Il silente ascolto di lezioni, lo studio solitario dei
  libri di testo e la proposta di prove d’esame strettamente individuali non ap-
  paiono più in sintonia con le modalità di costruzione e condivisione della cono-
  scenza (Biggs & Tang, 2011). In questo contributo viene proposto un processo
  di innovazione didattica che mira al miglioramento dei processi di apprendi-
  mento facendo leva sulla generazione di feedback formativi che permeano tutto
  lo sviluppo di un insegnamento universitario.




                                               78



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  2. Riprogettazione dell’insegnamento universitario

     L’idea guida della presente proposta metodologica è il superamento dello
  svolgimento sequenziale dei tre classici momenti costitutivi degli insegnamenti
  universitari: prima lezioni; poi studio e infine esame. A causa di diversi fattori
  che riguardano sia le attitudini degli studenti, sia l’organizzazione complessiva
  dello studio all’università, una percentuale via via crescente di studenti non af-
  fronta in maniera adeguata i materiali di studio durante lo svolgimento dell’in-
  segnamento, decidendo di riversare buona parte dell’impegno richiesto in pros-
  simità dell’esame finale (Burchfield & Sappington, 2000; Berry, Cook, Hill &
  Stevens, 2010). Conseguentemente, frequentare le lezioni diventa progressiva-
  mente sempre meno produttivo perché la quantità di conoscenze pregresse ne-
  cessarie alla comprensione di ogni successiva lezione, e non acquisite dagli stu-
  denti, cresce lezione dopo lezione. Non a caso, la progressiva riduzione della
  frequenza alle lezioni lungo lo svolgimento dell’insegnamento è una condi-
  zione diffusa in ambito accademico (Kottasz, 2005; Massingham & Herrington,
  2006; Kelly, 2012).
     Concentrare lo studio dopo la fine del corso produce, inoltre, un altro effetto
  negativo: non si ha la possibilità di avere occasioni di confronto fra compagni
  e con il docente, e quindi di dare e ricevere feedback sulla comprensione dei
  contenuti. Ciò induce gli studenti ad acquisire un apprendimento superficiale,
  orientato al mero superamento dell’esame, spingendoli a memorizzare infor-
  mazioni fattuali piuttosto che ottenere una reale comprensione (Nonis & Hud-
  son, 2006).
     La riprogettazione qui proposta cerca di sostituire il tradizionale sviluppo
  cronologico di lezioni, studio ed esame, con cicli ripetuti di attività che inte-
  grano, attraverso un processo trasformativo, queste tre componenti (Figura 1).

  Fig. 1 – Riprogettazione circolare del lineare processo didattico accademico




                                               79



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
     Le fasi sono quindi ridefinite in Active lesson, Social studying e Formative
  feedback. I prossimi paragrafi forniscono una descrizione di queste tre trasfor-
  mazioni, partendo dallo Social studying, che dà l’avvio al ciclo di apprendi-
  mento-insegnamento proposto.


  2.1. Social studying

      Con il termine Social studying si intende la condivisione fra gli studenti e
  con il docente dell’attività di studio, utilizzando un ambiente di Social Annota-
  tion (SA). La SA è una promettente pratica che nasce dalla reinvenzione digi-
  tale di una delle attività essenziali dello studio: l’annotazione (Unsworth, 2000).
  L’annotazione è una funzione di sostegno allo studio che produce notevoli be-
  nefici per l’apprendimento (Li, Pow & Cheung, 2015). L’annotazione su carta
  può migliorare le prestazioni degli studenti (Yang, Yu & Sun, 2013), può essere
  un utile supporto alla memoria (Marshall, 1997) e può promuovere un appren-
  dimento significativo (Nokelainen, Miettinen, Kurhila, Floréen & Tirri, 2005).
  La SA sfrutta il Web per condividere questa attività fra i membri di un gruppo,
  quale ad esempio gli studenti di un insegnamento. Applicata in questo contesto
  trasforma lo studio individuale in sociale, promuovendo la generazione di dia-
  loghi tra gli studenti che favoriscono l’apprendimento in una prospettiva socio-
  costruttivista (Jonassen, 2008). Nella revisione sistematica della letteratura con-
  dotta da Zhu e colleghi (2020) sono stati identificati cinque diverse attività di
  SA applicate all’insegnamento accademico: processing domain-specific know-
  ledge; supporting argumentation and inquiry; improving literacy skills; suppor-
  ting instructor or peer assessment e connecting on-line learning.
      Nella riprogettazione didattica qui proposta, l’annotazione sociale è intesa
  principalmente come supporto dell’apprendimento nell’ambito di uno specifico
  dominio di conoscenza attraverso l’argomentazione e la ricerca. I dialoghi fra
  studenti e con il docente dovrebbero tendere a rendere espliciti i collegamenti
  fra i contenuti disciplinari e le preconoscenze degli studenti, favorendo in que-
  sto modo una comprensione più profonda.
      Sulla base di queste premesse, l’attività didattica inizia con l’assegnazione
  di materiali di studio in un ambiente di SA. Concordemente con l’approccio
  flipped classroom, gli studenti sono incoraggiati ad affrontare lo studio prima
  della lezione. In questo modo, la lezione successiva anziché essere sviluppata
  su contenuti definiti dal docente, può essere condotta affrontando i temi che
  l’attività di SA ha fatto emergere come maggiormente critici.

                                               80



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  2.2. Active lessons

      L’attività di SA crea le giuste premesse per la seconda fase del ciclo. Gli
  studenti che hanno affrontato i materiali proposti possono essere coinvolti nelle
  attività didattiche svolte in classe con maggiori capacità critiche, avendo otte-
  nuto una prima esposizione ai contenuti. Possono così porre domande maggior-
  mente significative, formulare risposte a quelle dei compagni e partecipare a
  pratiche di apprendimento attivo.
      Per facilitare questo processo, gli strumenti di SA sviluppati per scopi edu-
  cativi forniscono data report che evidenziano i problemi di comprensione più
  comuni fra gli studenti. In questi report il docente può vedere i passaggi dei
  testi di studio che hanno generato il maggior numero di domande e quelli che
  contengono domande senza risposte da parte dei compagni. Questi dati guidano
  il docente nella progettazione della successiva lezione affrontando i contenuti
  maggiormente critici per gli studenti. Ciò può essere svolto ponendo domande
  o problemi stimolanti su tali argomenti, promuovendo la partecipazione attiva
  con discussioni tra pari o con lavori di gruppo.


  2.3. Formative feedback

      L’attività di SA e le pratiche di active learning condotte in classe offrono la
  possibilità di arricchire entrambi questi momenti con feedback formativi in iti-
  nere, feedback che la ricerca educativa ha ampiamente dimostrato avere effetti
  positivi sull’apprendimento (Biggs & Tang, 2011). Durante il Social studying,
  il feedback formativo si produce in modo informale tra gli studenti e con il
  docente partecipando ai dialoghi generati nell’ambiente di SA. Durante le atti-
  vità in classe il feedback formativo è fornito dal docente e dai pari nello svol-
  gimento delle pratiche dialogiche condotte nelle attività di questioning e nelle
  attività collaborative/cooperative.
      A fianco a queste modalità si possono attuare pratiche valutative più formali,
  valutando la partecipazione in itinere degli studenti nella prima e seconda fase.
  Come messo in luce dalla ricerca, la valutazione delle attività in itinere degli
  studenti ha effetti decisamente positivi sul processo di apprendimento (Skinner
  & Belmont, 1993). La valutazione dei contributi degli studenti stimola la loro
  partecipazione e rende consapevoli gli studenti dell’importanza che il docente
  stesso attribuisce a queste attività. Come noto però, valutare la partecipazione



                                               81



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  in itinere degli studenti richiede un notevole impegno da parte del docente, im-
  pegno che può divenire insostenibile in classi con elevato numero di studenti.
  Su questo punto le nuove tecnologie stanno assumendo un ruolo di affianca-
  mento e aiuto che diviene sempre più rilevante. Sfruttando algoritmi di machine
  learning, alcuni ambienti di SA forniscono valutazioni automatiche delle anno-
  tazioni degli studenti sulla base di indici definiti dal docente. Inoltre, ambienti
  digitali deputati al peer- and self-assessment possono consentire di sfruttare an-
  che il potenziale formativo di queste pratiche valutative, alleviando al tempo
  stesso l’impegno del docente.


  3. Tecnologie per la valutazione

      Presentiamo l’uso in contesto didattico di due ambienti educativi che facili-
  tano l’implementazione della proposta didattica delineata e che offrono moda-
  lità di innovazione dei processi valutativi.


  3.1. Perusall

      Perusall è un ambiente di SA progettato specificamente per la didattica uni-
  versitaria. Alla base del suo sviluppo c’è l’obiettivo di favorire la comprensione
  dei materiali di studio condividendo le riflessioni degli studenti su passaggi critici
  e sulle loro possibili interpretazioni. Le modalità interattive implementate tro-
  vano fondamento nella prospettiva costruttivista sociale (Miller, Lukoff, King &
  Mazur, 2018), dove la conoscenza è costruita negoziando significati attraverso
  discussioni. Con la progressiva diffusione dell’e-learning intercorsa negli ultimi
  tre decenni, questa prospettiva è stata sostenuta con i forum di discussione asin-
  croni online, disponibili nei principali Learning Management System (Mazzolini
  & Maddison 2003; Romero, López, Luna & Ventura, 2013). Nonostante lo svi-
  luppo di diverse funzionalità che nel tempo ne hanno migliorata l’usabilità, i dia-
  loghi generati nei forum non di rado si sono rivelati disorganici e dispersivi, com-
  promettendo la convinta e fattiva partecipazione degli studenti (Kanuka & An-
  derson, 1998; Thomas, 2002, Gao, Zhang & Franklin, 2013).
      Sistemi di SA come Perusall sono intesi a favorire un modello di interazione
  più produttivo e maggiormente finalizzato al confronto sui contenuti di studio.
  Alcune specifiche modalità di interazione di Perusall sembrano migliorare lo



                                               82



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  scambio comunicativo focalizzando il confronto sulle questioni più controverse
  o sui nodi concettuali più problematici. Alcune di queste funzionalità sono:
   l’annotazione (che può consistere in un commento, una domanda, un’osser-
      vazione, una risposta) avviene previa selezione di uno specifico contenuto
      del materiale condiviso. Questo può essere una frase, una singola parola,
      una parte del testo, un dettaglio di un’immagine, un passaggio in un video.
      L’annotazione quindi è ancorata a questo elemento e il dialogo che si pro-
      duce lo è altrettanto, essendo visualizzato nella stessa schermata che riporta
      il contenuto che ha generato l’annotazione;
   con un solo click altri studenti possono sottoscrive un’annotazione, espri-
      mendo così il loro apprezzamento per il suo contenuto. Il numero delle sot-
      toscrizioni viene riportato a fianco delle annotazioni, evidenziando agli stu-
      denti e al docente le domande e le risposte più apprezzate o i commenti ri-
      sultati più interessanti. Non è quindi necessario aggiungere alcun testo per
      manifestare l’apprezzamento, contribuendo in questo modo a rendere più
      leggibile lo scambio dialogico e favorire la partecipazione;
   opzioni di visualizzazione consentono agli studenti di focalizzarsi solo su
      specifiche annotazioni, come ad esempio, quelle di un dato studente, oppure
      quelle del docente o quelle non ancora lette. In particolare, la possibilità di
      visualizzare solo le domande che non hanno ancora ottenuto risposte inco-
      raggia gli studenti a concentrarsi nell’aiutare i propri compagni;
   il riconoscimento sociale che deriva nel ricevere sottoscrizioni da parte degli
      studenti e dal docente premia l’impegno degli studenti e favorisce la “pre-
      senza sociale” (Lowenthal, 2010), producendo un migliore “senso di comu-
      nità” (Rovai, 2002; Kalir, Morales, Fleerackers & Alperin, 2020).
      L’attività di SA con Perusall, quindi, può favorire la motivazione degli stu-
  denti nell’affrontare lo studio. Gli studenti potrebbero percepire che il loro im-
  pegno diviene più produttivo ricevendo feedback just in time dai loro compagni
  e dal docente, non solo sui propri dubbi e questioni, ma anche sui loro suggeri-
  menti e indicazioni.
      Perusall facilita la conduzione di attività di SA anche ai docenti. Possono
  facilmente condividere file pdf contenenti testi, appunti personali anche mano-
  scritti, immagini, podcast e video. È possibile anche condividere libri di testo
  presenti nel catalogo Perusall, dove, grazie agli accordi con i principali editori,
  sono disponibili quasi 70.000 volumi. I docenti possono assegnare facilmente
  le attività definendo indicazioni di lavoro, pagine da studiare, scadenze, note di
  lavoro e gruppi di studio. Possono contribuire alle discussioni con commenti e
  sottoscrizioni delle annotazioni degli studenti.

                                               83



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
      Un’altra rilevante funzionalità implementata in Perusall consiste nel sistema
  di valutazione automatica dell’attività degli studenti. Un algoritmo considera
  sei diverse componenti:
   puntualità, quantità, qualità e distribuzione delle annotazioni;
   numero delle sessioni di lettura;
   lettura completa del materiale assegnato;
   tempo trascorso nella lettura attiva;
   risposte ottenute;
   sottoscrizioni date e ricevute.
      Agendo su un pannello di controllo il docente può adattare il sistema di valu-
  tazione alle specifiche esigenze del proprio corso variando il peso delle compo-
  nenti, oltreché modificare manualmente ogni singola valutazione fornita dall’al-
  goritmo. I voti possono essere importati automaticamente nei registri dei princi-
  pali Learning Management System, nei quali Perusall può essere integrato.
      Sebbene attribuire un voto alla partecipazione degli studenti non sia l’obiet-
  tivo principale di Perusall, il sistema di valutazione è molto avanzato e presenta
  un importante elemento di innovazione. Cinque delle sei componenti si basano
  sui learning analytics, secondo una pratica che è ormai comune negli ambienti
  digitali, ma la componente che valuta la qualità delle annotazioni si basa su un
  algoritmo di Natural Language Processing (NPL), che analizza il testo delle
  annotazioni e lo classifica in base alle impostazioni del docente. Di default
  un’annotazione viene valutata 0 se è inferiore alle aspettative, 1 se le soddisfa
  o 2 se le supera. L’algoritmo è stato addestrato a interpretare il testo in alcune
  lingue tramite processi di valutazione ricorsivi su grandi quantità di annotazioni
  adeguando il voto dell’algoritmo a quello di docenti di riferimento.
      Chiaramente l’uso di sistemi di valutazione automatica delle performance e
  dei prodotti degli studenti, sia pur basati su promettenti sistemi di intelligenza
  artificiale, pone una serie di interrogativi di natura etica e giuridica fra gli altri
  di carattere educativo. Nel caso specifico però occorre considerare come, con-
  cordemente con quanto indicato anche dagli stessi ideatori di Perusall, la valu-
  tazione automatica debba essere integrata con altre valutazioni fornite dal do-
  cente. Inoltre, il peso della sua eventuale concorrenza alla valutazione comples-
  siva dell’esame deve essere contenuto. Ciò è essenziale, non solo perché ciò
  amplificherebbe la rilevanza delle insorgenti questioni di varia natura già citate,
  ma in primo luogo per evitare che la partecipazione alle attività di annotazione
  sia finalizzata all’ottenimento di un voto anziché ad acquisire un più efficace e
  significativo apprendimento. Studi preliminari, comunque, sembrano indicare
  la validità della valutazione automatica (Cecchinato & Foschi, 2020a) anche in

                                               84



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  considerazione del ristretto range di valutazione della partecipazione, che è ba-
  sato solo su tre livelli (0, 1, 2). Se utilizzata in modo appropriato, quindi, la
  valutazione automatica può rivelarsi un utile strumento che consente di ottenere
  i benefici di apprendimento generalmente correlati ad una costante valutazione
  in itinere (Carless, 2015), anche in classi molto numerose, evitando eccessivi
  carichi di lavoro per il docente.


  3.2. Peergrade

      Un’altra efficace e produttiva modalità per assicurare una continua valuta-
  zione in itinere consiste nel peer- and self- assessment. Come noto, pratiche di
  peer- and self- assessment sono associate a elevate potenzialità formative (Hat-
  tie, 2012), potenzialità che però rischiano di essere vanificate se gli studenti non
  affrontano quest’attività con convinzione, come non di rado accade. Questo
  aspetto può essere migliorato sfruttando le funzionalità offerte da nuovi am-
  bienti digitali. Uno di questi è Peergrade che, oltre ad assicurare un’efficiente
  gestione operativa dei processi di peer- and self-assessment, offre funzionalità
  che consentono di valorizzare la dimensione formativa di queste pratiche. In
  particolare, in Peergrade l’attività di valutazione fra pari è svolta sulla base
  delle evidenze che rilevano come, non solo ricevere feedback sui propri elabo-
  rati, ma anche produrre feedback su quelli dei compagni, abbia una rilevante
  valenza formativa (Nicol, 2010; Grion, Serbati & Nicol, 2019). L’ambiente
  quindi cerca di favorire la produzione di feedback da parte dei valutatori quanto
  più pertinenti, approfonditi ed efficaci. La valutazione, di conseguenza, non è
  concepita come un processo a senso unico dai valutatori ai valutati, non si esau-
  risce con la comunicazione delle valutazioni ai valutati, come avviene di norma,
  ma prevede una valutazione da parte di questi ultimi delle valutazioni ricevute.
  Peergrade offre un avanzato insieme di funzionalità per rendere questo pro-
  cesso efficace e produttivo in un contesto di anonimato. Ad esempio, ai valutati
  è richiesto di esprimere le proprie considerazioni in merito all’utilità delle va-
  lutazioni ricevute, specificando che un feedback utile dovrebbe essere costrut-
  tivo, specifico, giustificato e gentile, caratteristiche che corrispondono a quanto
  indicato in letteratura (Hattie, 2012).
      Se il confronto fra valutatori e valutati presenta difficoltà, questi ultimi pos-
  sono attivare un Flag, e richiedere l’intervento del docente, che può modificare
  la valutazione, oppure confermarla, motivando in ogni caso la propria scelta. I



                                               85



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  Flag sono visibili anche al valutatore, così come le risposte del docente. I valu-
  tati e i valutatori possono quindi confrontarsi sui Flag, nonché esprimere al
  docente le proprie considerazioni in merito alle sue risoluzioni. I valutati pos-
  sono anche commentare le valutazioni e i feedback ricevuti, nonché dimostrare
  il proprio apprezzamento tramite Like.
      La produzione di feedback accurati quindi viene valorizzata con una valuta-
  zione degli stessi. In Peergrade, infatti, si viene valutati non solo per gli elabo-
  rati sottomessi al processo di valutazione fra pari, ma anche per la qualità delle
  valutazioni fornite ai pari. A fianco del Submission Score, Peergrade calcola
  infatti il Feedback Score che concorre con peso determinato dal docente al
  Combined Score. Questo processo concretizza maggiormente la dimensione
  formativa del peer- and self-assessment, perché essere consapevoli che la valu-
  tazione sarà oggetto di confronto agisce da stimolo a fornire feedback più ac-
  curati e produttivi. Il confronto che segue produce una negoziazione di signifi-
  cati che favorisce l’apprendimento (Nicol, 2010; Price, Handley & Millar,
  2011; Carless, Salter, Yang & Lam, 2011).
      Per rendere più affidabile il Feedback Score, e anche per migliorare le com-
  petenze valutative, Peergrade consiglia che ogni studente valuti almeno tre ela-
  borati dei pari a cui far seguire l’autovalutazione del proprio elaborato. La let-
  teratura, infatti, sottolinea come la produzione di feedback sul lavoro dei pari
  aumenti la competenza valutativa (Nicol, Thomson & Breslin, 2014; Cho &
  MacArthur, 2011). Ne consegue che l’autovalutazione sarà più consapevole ed
  efficace.


  4. Studio di caso

  4.1. Contesto

      La riprogettazione qui proposta è stata applicata in modo incrementale nelle
  ultime tre edizioni dell’insegnamento di “Psicopedagogia dei new media” del
  Corso di laurea triennale in “Scienze e tecniche psicologiche” presso la scuola
  di Psicologia dell’Università di Padova, corso di cui l’Autore è titolare. Nell’ul-
  tima edizione il corso è stato svolto con moduli di dieci giorni, ciascuno su un
  tema specifico. In genere, le attività di ogni modulo sono iniziate assegnando
  letture o video da fruire online. Agli studenti è stato chiesto di affrontare i ma-
  teriali e discuterli condividendo i loro problemi di comprensione e assistendosi



                                               86



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  l’un l’altro. Nello svolgere questa attività, in tre moduli sono stati utilizzati fo-
  rum di Moodle e in altri tre l’ambiente Perusall. Per ogni modulo la partecipa-
  zione degli studenti è stata valorizzata con un punteggio che ha contribuito in
  piccola parte al voto finale dell’insegnamento. Per quanto riguarda i forum di
  Moodle i punteggi sono stati forniti dall’Autore, analizzando ogni contributo
  degli studenti. I punteggi delle attività di Perusall sono stati forniti automatica-
  mente dall’ambiente stesso.
      Al termine di ogni modulo gli studenti dovevano produrre un elaborato che
  è stato sottoposto a un processo di valutazione fra pari e autovalutazione utiliz-
  zando Peergrade.


  4.2. Ricerca

     Nel corso degli ultimi quattro anni sono stati condotti diversi studi su vari
  aspetti metodologici dell’insegnamento in esame.
     Una prima rilevazione sulla qualità della didattica viene condotta per tutti gli
  insegnamenti dall’ufficio “Offerta formativa e assicurazione della qualità”
  dell’Ateneo di Padova tramite la compilazione di sondaggi. Nella Tabella 1 sono
  riportati i risultati complessivi degli ultimi anni accademici interessati dalla ri-
  progettazione, specificando il numero dei partecipanti al sondaggio, la soddisfa-
  zione media complessiva relativa all’insegnamento in un range da 1 a 10, e la
  posizione dell’insegnamento rispetto agli altri dello stesso Corso di laurea.

  Tab. 1 – Risultati dell’indagine sulla soddisfazione per l’insegnamento

    Anno Accademico        N° partecipanti     Soddisfazione media complessiva      Posizione
         2016/17                 14                           8.50                     9/28
         2017/18                 53                           8.54                     9/35
         2018/19                 61                           8.74                     3/33
         2019/20                 63                           8.57                     3/25


     I dati indicano un aumento significativo della frequenza all’insegnamento
  anno dopo anno raggiungendo il 61% degli iscritti al Corso di Laurea, valore
  elevato considerando che si tratta di un insegnamento a scelta. Inoltre, la buona
  posizione dell’insegnamento fra gli altri testimonia l’apprezzamento degli stu-
  denti.


                                                87



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
      In altri studi (Cecchinato & Foschi, 2020a; Cecchinato & Foschi, 2020c) è
  stato analizzato il processo di valutazione automatica di Perusall. La validità
  dei punteggi automatizzati è stata indagata tramite confronto con quelli asse-
  gnati dal docente dell’insegnamento. Sono state inoltre analizzate le considera-
  zioni espresse dagli studenti coinvolti rispetto al ricevere una valutazione auto-
  matica delle proprie annotazioni.
      Infine, ulteriori due contributi (Foschi & Cecchinato, 2019; Cecchinato &
  Foschi, 2019) hanno indagato la validità e l’affidabilità della valutazione tra
  pari utilizzando Peergrade nel contesto della formazione in servizio degli inse-
  gnanti.
      Il presente contributo documenta uno studio esplorativo effettuato confron-
  tando l’attività di partecipazione condotta dagli studenti nei forum di Moodle e
  nel sistema di annotazione Perusall.


  4.3. Domanda di ricerca

      La domanda di ricerca nasce dall’ipotesi che un ambiente di SA possa mi-
  gliorare la partecipazione degli studenti e quindi favorire la negoziazione dei
  significati in ottica socio-costruttivista rispetto ai comuni forum online (Gao,
  Zhang & Franklin, 2013). Alcune specifiche funzionalità sociali e comunicative
  degli strumenti di SA potrebbero infatti facilitare lo scambio comunicativo e
  quindi promuoverei dialoghi più articolati e, di conseguenza, favorire lo svi-
  luppo di capacità di riflessione critica (Larkin-Hein, 2001; Swan, Shea, Frede-
  ricksen, Pickett, Pelz & Maher, 2000). Le interazioni condotte negli ambienti
  di SA sembrano favorire la partecipazione degli studenti, i processi di costru-
  zione della conoscenza e il focus delle discussioni (Sun & Gao, 2017).
      In uno studio (Nokelainen, Kurhila, Miettinen, Floreen & Tirri, 2003) è stato
  riscontrato che gli strumenti di SA, collegando annotazioni a parti specifiche
  dei materiali di studio, offrono migliori condizioni per lo sviluppo del processo
  di revisioni tra pari. Altri studi (Nokelainen, Miettinen, Kurhila Floréen & Tirri.
  2005; Johnson, Archibald & Tenenbaum, 2010), hanno evidenziato una corre-
  lazione positiva fra l’apprendimento degli studenti e il livello di motivazione
  auto-valutato nell’uso di uno strumento di SA. La stessa correlazione positiva
  è stata trovata negli studi sulla comprensione del testo e sulle abilità metaco-
  gnitive quando viene utilizzato uno strumento di SA (Li, Pow & Cheung, 2015).




                                               88



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  Pertanto, gli strumenti di SA potrebbero costituire una valida alternativa ai fo-
  rum nel favorire le interazioni e la negoziazione di significato nella comunica-
  zione on-line asincrona.
     Alcune caratteristiche di interazione specifiche di Perusall sembrano mi-
  gliorare i dialoghi degli studenti, favorendo la loro partecipazione e focaliz-
  zando meglio le discussioni sui contenuti più interessanti o più problematici.
  Per indagare questo aspetto, il numero di interventi all’interno delle singole di-
  scussioni è stato considerato come indice della profondità del dialogo stesso.
  Le discussioni con un numero maggiore di risposte possono produrre una mi-
  gliore negoziazione di significato rispetto a discussioni con pochi o nessun in-
  tervento, e quindi un’analisi più critica dei materiali del corso.
     In conclusione, si intende indagare se l’ambiente di SA Perusall migliori la
  profondità dei dialoghi rispetto ai forum di Moodle.


  4.4. Procedura

      Durante l’anno accademico 2019/20 sono state esaminate due attività, una
  svolta con il forum di Moodle e l’altra con Perusall. L’attività assegnata era
  sostanzialmente la stessa: gli studenti erano impegnati nella riflessione e inte-
  riorizzazione dei contenuti di due documenti accademici simili per lunghezza e
  complessità. Gli studenti (n = 46, 35 femmine e 11 maschi) hanno avuto per lo
  svolgimento di entrambe le attività lo stesso periodo di tempo (10 giorni).
      I dati di Perusall sono stati ricavati dal “Viewing time” dallo “Student acti-
  vity report” e dal “Number of replies” per ogni commento nella scheda “All
  comments” di Analytics. I dati di Moodle sono stati ricavati dal blocco “Parte-
  cipazione al corso” con riferimento alle attività del forum. Il numero di risposte
  di ogni dialogo in entrambi gli ambienti è stato contato manualmente.
      Per analizzare la distribuzione della variabile denominata Numero di rispo-
  ste, osservata nei due gruppi categoriali e indipendenti Perusall e Moodle, è
  stato eseguito il test di Shapiro-Wilk che ha evidenziato una distribuzione non
  normale. Per verificare l’esistenza di una differenza statisticamente significa-
  tiva tra i due gruppi, è stato eseguito il test non-parametrico di Mann-Whitney.
  L’analisi è stata condotta con il software Jamovi versione 1.1.9.0.




                                               89



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  4.5. Risultati

       I dati descrittivi sono riportati in Tabella 2.

  Tab. 2 – Statistiche descrittive

                                 Replies category               Number of replies
   N                             Moodle replies                 70
                                 Perusall replies               192
   Missing                       Moodle replies                 0
                                 Perusall replies               0
   Mean                          Moodle replies                 0.929
                                 Perusall replies               2.17
   Median                        Moodle replies                 1.00
                                 Perusall replies               2.00
   Minimum                       Moodle replies                 0
                                 Perusall replies               0
   Maximum                       Moodle replies                 4
                                 Perusall replies               12
   Shapiro-Wilk p                Moodle replies                 < .001
                                 Perusall replies               < .001


       I risultati del test di Mann-Whitney sono riportati in Tabella 3.

  Tab. 3 – Test di Mann-Whitney

                                                                         Statistic      p
             Number of replies                 Mann-Whitney U             3646        < .001



  4.6. Discussione

      I risultati mostrano che esiste una differenza statisticamente significativa tra
  il numero di risposte nel forum di Moodle e nella SA di Perusall. La media più




                                                    90



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  alta del numero di risposte riportato in Perusall dà conto di una maggiore arti-
  colazione dei dialoghi supportando l’ipotesi che la SA in Perusall migliori la
  negoziazione di significato nella prospettiva socio-costruttivista.
      Va sottolineato che questo studio esplorativo presenta alcuni limiti. In primo
  luogo, si basa sulle ordinarie attività dell’insegnamento, piuttosto che su un ri-
  goroso progetto di ricerca. La scelta di utilizzare gli ambienti Moodle e Perusall
  è stata determinata da esigenze didattiche e non da quelle della ricerca. Per que-
  sto motivo non si è deciso di dividere gli studenti in gruppo sperimentale e
  gruppo di controllo utilizzando entrambi gli strumenti per la stessa attività di
  analisi e di svolgere una seconda attività su un altro materiale scambiando i
  gruppi. Inoltre, le attività di lettura erano piuttosto discorsive, senza particolari
  problemi interpretativi, non specificatamente appropriate a produrre discus-
  sioni approfondite.


  5. Conclusioni

      L’analisi del ciclo di apprendimento qui proposto è stata documentata in
  quattro contributi (Cecchinato & Foschi, 2018; Cecchinato Papa & Foschi,
  2019; Cecchinato & Foschi, 2020b; Cecchinato & Papa, 2020). Le attività di-
  dattiche presentate e i dati della ricerca mettono in luce le potenzialità della SA
  nell’ambito della didattica universitaria. L’attività dialogica prodotta nella fase
  di interiorizzazione dei contenuti disciplinari può costituire un produttivo feed-
  back formativo e supportare un apprendimento significativo in sintonia con le
  pratiche conoscitive dell’ecosistema digitale.
      Occorre comunque sottolineare che altri aspetti del processo di apprendi-
  mento potrebbero essere meglio supportati dall’attività di forum. Gli ambienti
  di SA possono infatti essere molto produttivi nel processo di elaborazione della
  conoscenza specifica di un dominio disciplinare, ma possono essere meno utili
  nel promuovere, ad esempio, la comprensione di un argomento utilizzando pro-
  cessi associativi in un approccio multiprospettico.
      In ogni caso, i risultati di questo studio devono essere confermati con altri,
  ad esempio, sulle opinioni degli studenti sui diversi strumenti e anche sui risul-
  tati dell’apprendimento.
      Come noto, la tecnologia di per sé non è sufficiente a promuovere l’appren-
  dimento, ma se è progettata e viene utilizzata per condurre pratiche didattiche
  fondate su riconosciuti approcci educativi, può essere un valido supporto per
  una reale innovazione.

                                               91



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  Riferimenti bibliografici
  Armstrong, L. (2016). Barriers to innovation and change in higher education. New
     York: TIAA-CREF Institute.
  Berry, T., Cook, L., Hill, N., & Stevens, K. (2010). An exploratory analysis of textbook
     usage and study habits: Misperceptions and barriers to success. College Teaching,
     59(1), 31-39.
  Biggs, J.B., & Tang, C. (2011). Teaching for quality learning at university: What the
     student does. Buckingham: Open University Press/McGraw Hill.
  Burchfield, C.M., & Sappington, J. (2000). Compliance with required reading assign-
     ments. Teaching of Psychology, 27(1), 58-60.
  Carless, D. (2015). Excellence in university assessment: Learning from award-winning
     practice. London: Routledge.
  Carless, D., Salter, D., Yang, M., & Lam, J. (2011). Developing sustainable feedback
     practices. Studies in higher education, 36(4), 395-407.
  Cecchinato, G., & Foschi, L.C. (2018). Involving students in teaching: analysis of an
     educational innovation pathway at University. Form@re – Open Journal per la for-
     mazione in rete, 18(1), 97-110.
  Cecchinato, G., & Foschi, L.C. (2019). Assessment Skills and Validity of Peer-and
     Self-Assessment in In-Service Teacher Training. In J. Theo Bastiaens (Ed.), Pro-
     ceedings of EdMedia + Innovate Learning (pp. 86-91). Amsterdam, Netherlands:
     Association for the Advancement of Computing in Education (AACE). Recuperato
     da: https://www.learntechlib.org/primary/p/209993/.
  Cecchinato, G., & Foschi, L.C. (2020a). Perusall: University learning - teaching inno-
     vation employing social annotation and machine learning., QWERTY, 15(2), 45-67.
  Cecchinato, G., & Foschi, L.C. (2020b). Learning-Teaching Innovation of a University
     E-learning Course. 19th European Conference on e-Learning 29-30 October 2020,
     Berlin, Germany (ECEL).
  Cecchinato, G. & Foschi, L. C. (2020c). Perusall: un’analisi della validità dei processi
     valutativi basati sul Machine Learning. In G. Cecchinato & V. Grion (Eds.). Pro-
     ceedings of Conference Dalle Teaching Machines al Machine Learning (pp. 21-28).
     Padova, Italy: Padova University Press.
  Cecchinato, G., & Papa, R. (2020). Insegnare nella società della conoscenza: analisi del
     processo di innovazione didattica di un insegnamento universitario. Proceedings of
     Conference SIRD, SIREM, SIPES, SIEMeS. Le società per la società: ricerca, sce-
     nari, emergenze. 2019. Roma.
  Cecchinato, G., Papa, R., & Foschi, L.C. (2019). Bringing game elements to the class-
     room: The role of challenge and technology. Italian Journal of Educational Tech-
     nology, 27(2), 158-173.
  Cho, K., & MacArthur, C. (2011). Learning by reviewing. Journal of Educational Psy-
     chology, 103(1), 73-84.
  Foschi, L.C., & Cecchinato, G. (2019). Validity and reliability of peer-grading in in-
     service teacher training. Italian Journal of Educational research, 177-194.
  Gao, F., Zhang, T., & Franklin, T. (2013). Designing asynchronous online discussion
     environments: Recent progress and possible future directions. British Journal of

                                               92



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
      Educational Technology, 44(3), 469-483.
  Gee, J. P. (2013). What video games have to teach us about learning and literacy. Com-
      puters in Entertainment (CIE), 1(1), 20-20.
  Grion, V., Serbati, A., & Nicol, D. (2019). Technologies as assessment change agents.
      Italian Journal of Educational Technology, 27(1), 3-4.
  Hattie, J. (2012). Visible learning for teachers: Maximizing impact on learning. New
      York, NY, USA: Routledge.
  Jenkins, H. (2009). Confronting the challenges of participatory culture: Media educa-
      tion for the 21st century (p. 145). Cambridge, Massachusetts: The MIT Press.
  Johnson, T.E., Archibald, T. N., & Tenenbaum, G. (2010). Individual and team anno-
      tation effects on students’ reading comprehension, critical thinking, and meta-cog-
      nitive skills. Computers in human behavior, 26(6), 1496-1507.
  Jonassen, D.H. (2008). Instructional design as design problem solving: An iterative
      process. Educational Technology, 48(3) 21-26.
  Kalir, J., Morales, E., Fleerackers, A., & Alperin, J. P. (2020). “When I saw my peers
      annotating:” Student perceptions of social annotation for learning in multiple
      courses. Journal of Information and Learning Sciences.
  Kanuka, H., & Anderson, T. (1998). Online social interchange, discord, and knowledge
      construction. Journal of Distance Education, 13(1). Recuperato da:
      https://auspace.athabascau.ca/bitstream/handle/2149/717/Online%20Social%20
      Interchang,%20Discord,%20and%20Knowledge%20Construction.pdf?sequence=1.
  Kelly, G.E. (2012). Lecture attendance rates at university and related factors. Journal
      of Further and Higher Education, 36(1), 17-40.
  Kottasz, R. (2005). Reasons for student non-attendance at lectures and tutorials: an
      analysis. Investigations in university teaching and learning, 2(2), 5-16.
  Li, S.C., Pow, J.W.C., Cheung, W.C. (2015). A delineation of the cognitive processes
      manifested in a social annotation environment. Journal of Computer Assisted
      Learning, 31(1), 1-13.
  Lowenthal, P.R. (2010). Social presence. In Social computing: Concepts, methodolo-
      gies, tools, and applications (pp. 129-136). IGI Global.
  Larkin-Hein, T. (2001). On-line discussions: a key to enhancing student motivation and
      understanding? Frontiers in education conference, 2001. 31st annual. Vol. 2. (pp.
      F2G-6). IEEE.
  Marshall, C.C. (1997). Annotation: From paper books to the digital library.
  Massingham, P., & Herrington, T. (2006). Does attendance matter? An examination of
      student attitudes, participation, performance and attendance. Journal of university
      teaching & learning practice, 3(2), 82-103.
  Mazzolini, M., Maddison, S. (2003). Sage, guide or ghost? The effect of instructor in-
      tervention on student participation in on-line discussion forums. Computers & Ed-
      ucation, 40(3), 237-253.
  McAleese, M., Bladh, A., Berger, V., Bode, C., Muehlfeit, J., Petrin, T., ... & Tsoukalis,
      L. (2013). Report to the European Commission on Improving the quality of teaching
      and learning in Europe’s higher education institutions. Luxembourg: Publication
      Office of the European Union.



                                               93



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
  Miller, K., Lukoff, B., King, G., & Mazur, E. (2018). Use of a Social Annotation Plat-
      form for Pre-class reading assignments in a Flipped introductory Physics class.
      Frontiers in Education, 3(8), 1-12.
  Nicol, D. (2010). From monologue to dialogue: improving written feedback processes
      in mass higher education. Assessment & Evaluation in Higher Education, 35(5),
      501-517.
  Nicol, D., Thomson, A., & Breslin, C. (2014). Rethinking feedback practices in higher
      education: A peer review perspective. Assessment and Evaluation in Higher Edu-
      cation, 39(1), 102-122.
  Nokelainen, P., Kurhila, J., Miettinen, M., Floreen, P., & Tirri, H. (2003). Evaluating
      the role of a shared document-based annotation tool in learner-centered collabora-
      tive learning. Paper presented at the Advanced Learning Technologies. The 3rd
      IEEE International Conference.
  Nokelainen, P., Miettinen, M., Kurhila, J., Floréen, P., & Tirri, H. (2005). A shared
      document-based annotation tool to support learner-centered collaborative learning.
      British Journal of Educational Technology, 36(5), 757-770.
  Nonis, S.A., & Hudson, G.I. (2006). Academic performance of college students: Influence
      of time spent studying and working. Journal of education for business, 81(3), 151-159.
  Price, M., Handley, K., & Millar, J. (2011). Feedback: Focusing attention on engagement.
      Studies in Higher Education, 36(8), 879-896.
  Romero, C., López, M.I., Luna, J.M., & Ventura, S. (2013). Predicting students’ final per-
      formance from participation in on-line discussion forums. Computers & Education,
      68(C), 458-472.
  Rovai, A.P. (2002). Building sense of community at a distance. The International Review
      of Research in Open and Distributed Learning, 3(1).
  Skinner, E.A., & Belmont, M.J. (1993). Motivation in the classroom: Reciprocal effects of
      teacher behavior and student engagement across the school year. Journal of educational
      psychology, 85(4), 571.
  Sun, Y., & Gao, F. (2017). Comparing the use of a Social annotation tool and a threaded
      discussion forum to support online discussions. The Internet and Higher Education, 32,
      72-79.
  Swan, K., Shea, P., Fredericksen, E., Pickett, A., Pelz, W., & Maher, G. (2000). Building
      knowledge building communities: Consistency, contact and communication in the
      virtual classroom. Journal of Educational Computing Research, 23(4), 359-384.
  Thomas, M.J. (2002). Learning within incoherent structures: The space of on-line discus-
      sion forums. Journal of Computer Assisted Learning, 18(3), 351-366.
  Unsworth, J. (2000). Scholarly primitives: What methods do humanities researchers have
      in common, and how might our tools reflect this. Symposium on Humanities Compu-
      ting: Formal Methods, Experimental Practice. King’s College, London. 13, 5-00.
  Yang, X., Yu, S., & Sun, Z. (2013). The effect of collaborative annotation on Chinese
      reading level in primary schools in China. British Journal of Educational Technology,
      44(1), 95-111.
  Zhu, X., Chen, B., Avadhanam, R.M., Shui, H., & Zhang, R.Z. (2020). Reading and
      connecting: using social annotation in online classes. Information and Learning Sci-
      ences, 121(5-6), 261-271.


                                               94



                                      Copyright © FrancoAngeli
This work is released under Creative Commons Attribution - Non-Commercial - NoDerivatives License.
               For terms and conditions of usage please see: http://creativecommons.org
