Final step: Evaluation
The last practice of the Method Proposed is the evaluation and it is essential for the success of the entire project (Turchi, 2014). Indeed, without assessing if the intervention achieved the goals, any project would be pointless. An effective evaluation has to reduce as much as possible the possibility of bias and in the following paragraphs will be explained some good practice to do it.
The biases in the evaluation come from the Principle of Uncertainty, which states that events continue to change in uncertain ways. As the narration of the users changes, it changes also the narration of the educator. It could mean that when the educators evaluate, they could have not anymore the same perception of the goals as when they stated them. This could imply that the educators declare the success of something that wasn't a purpose and that the demands that activated the project are not met.
To reduce the possibility to assess something wrong, a good practice is to define the tools for evaluation in the phase of definition of the objectives (Turchi, 2014). In that phase, indeed, the goals are clear and there is a low possibility for mistake. The chances of bias reduce more if the indicators of result have also a quantitative base and relate to quantitative tools for assessment. Quantitative analysis of results, indeed, leaves a smaller marge of error also if done on a later moment. Talking about narration, an effective tool is to analyze the text: classify the dialogic repertoires. In particular, if it is identified a class of repertoires or the dialogic weight as indicators of results, the accuracy will be very high. In fact, even if the classification of repertoires is a qualitative tool, it is based on scientific and objective knowledge, such as the dialogic weight.
A way to reduce more the bias is to have an external observer. In many researches, they have differentiated the evaluator and the person who intervenes. This is because an external observer just reads the goals and follows the line of evaluation and is not biased by implementing the project. However, the presence of an external observer could influence the interactive setting of the project and make the progress of the users invisible. This is why recording situations or reporting narration are additional tools which can be used. In fact, registrations prevent the observer to affect users' performance and allow a neutral evaluation.
The practices to reduce evaluation biases have to be accompanied by a useful use of the evaluation. This phase is not just useful to state if an intervention hab been effective, but also to see if the project should be modified. Interventions can be immediately effective or the demands could change during the implementation of a project, this is why there should be other evaluations before the final one. The intermediate evaluations should be done to check at what point of the goal achievement the project is. From this, it can be assessed if the strategies and the tools are actually effective or if they could be better or if it still makes sense to follow the objectives stated before. The evaluation, thus, takes almost the role of a second observation, from which it is appropriate to pass through al the other phases one more time.
In conclusion, evaluation is the most important practice of the method proposed. It is the one who adheres to the principle of uncertainty and allows the project to always be updated and coherent. Without the evaluation, it is impossible to end a project and assess also the quality of the work of the educator.
_____________________________
Fase finale: Valutazione
L'ultima pratica del Metodo proposto è la valutazione ed è essenziale per il successo dell'intero progetto (Turchi, 2014). Infatti, senza valutare se l'intervento ha raggiunto gli obiettivi, qualsiasi progetto sarebbe inutile. Una valutazione efficace deve ridurre il più possibile la possibilità di bias e nei paragrafi seguenti verranno spiegate alcune buone pratiche per farlo.
Gli errori nella valutazione provengono dal Principio di Incertezza, che afferma che gli eventi continuano a cambiare in modo incerto. Come cambia la narrazione degli utenti, cambia anche la narrazione dell'educatore. Ciò può implicare che quando gli educatori valutano, possano non avere più la stessa percezione degli obiettivi come quando li hanno definiti. Questo potrebbe significare che gli educatori dichiarino il successo di qualcosa che non era uno scopo e che le richieste che hanno attivato il progetto non vengano soddisfatte.
Per ridurre la possibilità di valutare qualcosa di sbagliato, una buona pratica è quella di definire gli strumenti di valutazione nella fase di definizione degli obiettivi (Turchi, 2014). In quella fase, infatti, gli obiettivi sono chiari e c'è bassa probabilità di errore. Le possibilità di errore si riducono di più se gli indicatori di risultato hanno anche una base quantitativa e si riferiscono a strumenti quantitativi per la valutazione. L'analisi quantitativa dei risultati, infatti, lascia un margine di errore minore anche se effettuata in un momento successivo. Parlando di narrazione, uno strumento efficace è l'analisi del testo: classificare i repertori discorsivi. In particolare, se viene identificata una classe di repertori o il peso dialogico come indicatori dei risultati, la precisione sarà molto elevata. Infatti, anche se la classificazione dei repertori è uno strumento qualitativo, si basa su conoscenze scientifiche e oggettive e altrettanto fa il peso dialogico.
Un modo per ridurre maggiormente il margine d'errore è quello di avere un osservatore esterno. In molte ricerche, hanno differenziato il valutatore e la persona che interviene. Questo perché un osservatore esterno si limita a leggere gli obiettivi e a seguire la linea di valutazione e non prende parte nell'attuazione del progetto. Tuttavia, la presenza di un osservatore esterno potrebbe influenzare l'impostazione interattiva del progetto e rendere invisibili i progressi degli utenti. Per questo motivo la registrazioni di situazioni o la raccolta di narrazioni sono strumenti aggiuntivi che possono essere utilizzati. Infatti, le registrazioni impediscono all'osservatore di influenzare le prestazioni degli utenti e consentono una valutazione neutrale.
Le pratiche per ridurre gli errori di valutazione devono essere accompagnate da un uso utile della valutazione. Questa fase non è utile solo per stabilire se un intervento è stato efficace, ma anche per vedere se il progetto deve essere modificato. Gli interventi possono essere immediatamente efficaci o le richieste possono cambiare durante la realizzazione di un progetto, per questo motivo dovrebbero esserci altre valutazioni prima di quella finale. Le valutazioni intermedie dovrebbero essere effettuate per verificare a che punto è il raggiungimento dell'obiettivo del progetto. Da questo si può valutare se le strategie e gli strumenti sono effettivamente efficaci o se potrebbero essere migliori o se ha ancora senso seguire gli obiettivi dichiarati in precedenza. La valutazione, quindi, assume quasi il ruolo di una seconda osservazione, dalla quale è opportuno passare ancora una volta attraverso tutte le altre fasi.
In conclusione, la valutazione è la pratica più importante del metodo proposto. È quella che aderisce al principio d'indeterminatezza e permette al progetto di essere sempre aggiornato e coerente. Senza la valutazione è impossibile terminare un progetto e valutare anche la qualità del lavoro dell'educatore.
Per ridurre la possibilità di valutare qualcosa di sbagliato, una buona pratica è quella di definire gli strumenti di valutazione nella fase di definizione degli obiettivi (Turchi, 2014). In quella fase, infatti, gli obiettivi sono chiari e c'è bassa probabilità di errore. Le possibilità di errore si riducono di più se gli indicatori di risultato hanno anche una base quantitativa e si riferiscono a strumenti quantitativi per la valutazione. L'analisi quantitativa dei risultati, infatti, lascia un margine di errore minore anche se effettuata in un momento successivo. Parlando di narrazione, uno strumento efficace è l'analisi del testo: classificare i repertori discorsivi. In particolare, se viene identificata una classe di repertori o il peso dialogico come indicatori dei risultati, la precisione sarà molto elevata. Infatti, anche se la classificazione dei repertori è uno strumento qualitativo, si basa su conoscenze scientifiche e oggettive e altrettanto fa il peso dialogico.
Un modo per ridurre maggiormente il margine d'errore è quello di avere un osservatore esterno. In molte ricerche, hanno differenziato il valutatore e la persona che interviene. Questo perché un osservatore esterno si limita a leggere gli obiettivi e a seguire la linea di valutazione e non prende parte nell'attuazione del progetto. Tuttavia, la presenza di un osservatore esterno potrebbe influenzare l'impostazione interattiva del progetto e rendere invisibili i progressi degli utenti. Per questo motivo la registrazioni di situazioni o la raccolta di narrazioni sono strumenti aggiuntivi che possono essere utilizzati. Infatti, le registrazioni impediscono all'osservatore di influenzare le prestazioni degli utenti e consentono una valutazione neutrale.
Le pratiche per ridurre gli errori di valutazione devono essere accompagnate da un uso utile della valutazione. Questa fase non è utile solo per stabilire se un intervento è stato efficace, ma anche per vedere se il progetto deve essere modificato. Gli interventi possono essere immediatamente efficaci o le richieste possono cambiare durante la realizzazione di un progetto, per questo motivo dovrebbero esserci altre valutazioni prima di quella finale. Le valutazioni intermedie dovrebbero essere effettuate per verificare a che punto è il raggiungimento dell'obiettivo del progetto. Da questo si può valutare se le strategie e gli strumenti sono effettivamente efficaci o se potrebbero essere migliori o se ha ancora senso seguire gli obiettivi dichiarati in precedenza. La valutazione, quindi, assume quasi il ruolo di una seconda osservazione, dalla quale è opportuno passare ancora una volta attraverso tutte le altre fasi.
In conclusione, la valutazione è la pratica più importante del metodo proposto. È quella che aderisce al principio d'indeterminatezza e permette al progetto di essere sempre aggiornato e coerente. Senza la valutazione è impossibile terminare un progetto e valutare anche la qualità del lavoro dell'educatore.
_____________________________
REFERENCES Babolin M., (2018). An educational proposal for educative mother-child Community of Veneto: the education for parental competence. Bachelor thesis, Univeristy of Padua
Turchi G.P., (2014). Dati senza numeri: per una metodologia dell’analisi dei dati informatizzati testuali MADIT. Monduzzi Editore, Bologna
Turchi G.P., Vendramini A., (2016). De Rerum Salute. Teoria e prassi per un’architettura dei servizi generativa di salute. EdiSES, Napoli.
Turchi G.P., Della Torre C., (2007). Psicologia della salute. Dal modello bio-psico–sociale al modello dialogico. Armando Editore, Roma