10.6092/issn.1973-9494/2325
The term “Augmented Reality” (AR) is used to define integrated hardware and software technologies, designed to mix video footage taken by a camera with three-dimensional virtual objects. The result is a mix between real reality and virtual reality. Many applications of this technology are beingdeveloped for use in the field of cultural heritage and are being introduced for use in specialized contexts such as in certain phases of the diagnostic process or fruition. The basic algorithmic approach for augmented reality, starts from a video stream analysis that incorporates a real scene. Within the same scene are scattered a set of known geometric images called“markers”. When the software module in charge of the video flow analysis identifies a marker within the scene, it tries to position it in relation to a reference system integral with the chamber which performs the video shoot, and then replaces it in real time, overlapping with a 3D model achieved through a virtual modeling software. The aim of this article is to evaluate the state of the art augmented reality and then examine several experiments involving its application to cultural heritage.
application/pdf
1973-9494
2325
en
Francesco Chionna
Conservation Science in Cultural Heritage
data fusion
Augmented Reality Applied to the Diagnostics and Fruition of Cultural Heritage
Text.Serial.Journal
https://conservation-science.unibo.it/
10
Articles
2010-12-31
2011-10-05
2010-12-30
2015-11-02
195-238
CSCH
Francesco Chionna
2010/12/31
10.6092/issn.1973-9494/2325
195
1973-9494
data fusion
en
238
Augmented Reality Applied to the Diagnostics and Fruition of Cultural Heritage
https://conservation-science.unibo.it/article/download/2325/1712
10
A
     UGMENTED REALITY APPLIED TO THE DIAGNOSTICS
     AND FRUITION OF CULTURAL HERITAGE



Lucio Colizzi ·, Andrea Martini, Francesco Chionna
Centro di Progettazione, Design & Tecnologie dei Materiali (CETMA), Brindisi




Keywords: augmented reality, virtual reality, data fusion




1. Introduction

     The term “Augmented Reality” (AR) is used to define integrated hardware and soft-
ware technologies, designed to mix video footage taken by a camera, with three-dimen-
sional virtual objects. The result is a mix between real reality and virtual reality. Many
applications of this technology are being introduced into the field of cultural heritage, and
are being developed for use in specialized contexts, such as in certain phases of the
diagnostic process or its fruition.
     The basic algorithmic approach for augmented reality starts from a video stream
analysis that incorporates a real scene. Within the same scene are scattered a set of



                                                                                                     Conservation Science in Cultural Heritage, 10/2010
known geometric images called “markers”. When the software module in charge of the
video flow analysis identifies a marker within the scene, it tries to position it in relation to
a reference system integral with the chamber which performs the video shoot, and then
replaces it in real time, overlapping with a 3D model achieved through a virtual modeling
software.
     The need to address an ever-increasing audience means these new technologies
should be employed in a dual role. The first directed at the needs of professionals and
experts (historians, archaeologists, curators, etc.), and the second at the needs of end-
users, that is to say, the general public. The possibility of providing a tool, which on the
one hand emerges as a technical instrument, so that experts can perform an essential
part of their institutional work, and on the other as an instrument to be used in an educa-


·   Corresponding author: e-mail lucio.colizzi@cetma.it

                                                                                                   195
                                                                                                    tional context is important. In other words, it means bringing the public closer to, and
                                                                                                    increasing their level of understanding of works which until today were difficult to
                                                                                                    approach, an important aspect, considering the vast majority possess little expert knowl-
                                                                                                    edge in this field.
                                                                                                       The aim of this article is to appraise the state of the art augmented reality and then
                                                                                                    examine several experiments involving its application in the field of cultural heritage.

                                                                                                    2. Augmented reality technology

                                                                                                       The main hardware components of an AR system are: display (Head Mounted
L. Colizzi, A. Martini, F. Chionna - Augmented reality applied to the diagnostics and fruition...




                                                                                                    Displays or Handled displays), tracking, input devices, and computer. The display allows
                                                                                                    us to view the content. The tracking system can locate, with precision, a specific point in
                                                                                                    real space, while the PC can run computer vision algorithms that enable the composition
                                                                                                    of the virtual scene.
                                                                                                       Augmented reality systems can interact with digital prototypes requiring the use of a
                                                                                                    human movement tracking system. Devices used for tracking are different and the choice
                                                                                                    depends on many factors such as the field of application, environmental conditions of use
                                                                                                    and available budget. The most commonly used are generally: digital camera, optical
                                                                                                    sensors, electromagnetic sensors, rfid, wireless sensors and GPS.
                                                                                                       In the following section we describe a typical augmented reality system used to
                                                                                                    acquire, process and display data for the enhancement of cultural heritage. The instru-
                                                                                                    ments normally used for these systems require the use of the following subsystems:
                                                                                                    ü acquisition subsystem;
                                                                                                    ü interaction subsystem;
                                                                                                    ü rendering subsystem.
                                                                                                       The acquisition subsystem may vary depending on the application context and must
                                                                                                    function in order to acquire the image or video stream to be processed and then be able
                                                                                                    to run efficient algorithms in real time. Examples of such devices range from those that
                                                                                                    are handheld, to professional cameras or simple, inexpensive webcams.
                                                                                                       The interaction subsystem should enable the user to interact with the 3D scene spon-
                                                                                                    taneously, without limiting their natural movements. For example, a pointing device with
                                                                                                    6 DOF (Degree of freedom) allows the user to identify the object within the scene, to
                                                                                                    recover any information about its history and properties, and be able to interact with the
                                                                                                    3D object in terms of roto- translation.
                                                                                                       The rendering subsystem is the heart of the system and enables the process of cre-
                                                                                                    ating the 3D scenario to be realized in terms of geometry, materials and light.

                                        196
   The steps for managing an Augmented Reality process, consist in the use of com-
puter vision algorithms for the management of acquired frames. The procedure normally
used involves the creation of two reference images for each processed frame. The first
one related to the rendering of the 3D scene, the second deriving from the video capture
system. The two images come from two different cameras: the virtual camera and the real
camera. Both must be aligned in order to obtain the final consistent scenario.
   The techniques used in the application of Augmented Reality principally aim to merge
images acquired with a camera in real time with synthetic scenes generated by the com-
puter. A number of these techniques are based on the application of computer vision algo-
rithms [1]. These operations are normally conducted in two phases. In the first phase, a
specific set of points within the space are detected by means of specific algorithms such
as corner detection, edge detection or thresholding. The second task aims to merge the
two images using computer vision algorithms.
   In Figure 1, the device for displaying the scene is represented by a video camera. The
camera captures a perspective projection of the three-dimensional world (real world) in
the form of a two-dimensional video stream.
   The intrinsic (focal length and lens distortion) and extrinsic (position and pose)param-
eters of the video capture device, affect the three-dimensional image that is projected into




                                                                                                 Conservation Science in Cultural Heritage




     Figure 1. Management of a typical Augmented Reality scenario.

                                                                                               197
                                                                                                    the two-dimensional image. The generation of the virtual image is produced using a real-
                                                                                                    time computer graphics system. Virtual objects are modeled in a reference frame. The
                                                                                                    graphics system requires information related to the image of the actual scene so that pro-
                                                                                                    cessing can be achieved. The camera position and orientation will be used to define the
                                                                                                    same information in the virtual scene. The image is then mixed with the image of the real
                                                                                                    scene to produce the image of augmented reality.

                                                                                                    3. Principles of Marker tracking

                                                                                                        The application of AR requires precision in positioning the 3D objects to be filmed in
L. Colizzi, A. Martini, F. Chionna - Augmented reality applied to the diagnostics and fruition...




                                                                                                    the real scene. Various tools or techniques can be used to solve this problem. The tech-
                                                                                                    nique described in this article is based on the use of markers, graphic elements that are
                                                                                                    placed in the real scene. The marker must be captured by the camera and through sub-
                                                                                                    sequent operations of inverse homography it is then possible to determine the position of
                                                                                                    the observer in the 3D space.
                                                                                                        An efficient marker must:
                                                                                                    •   support the unambiguous determination of position and orientation of an appropriate-
                                                                                                        ly calibrated camera;
                                                                                                    •   not favor some orientations over others;
                                                                                                                                                          •   consist of a set of images so
                                                                                                                                                              that it is unlikely to cause con-
                                                                                                                                                              fusion with other objects in the
                                                                                                                                                              scene;
                                                                                                                                                          •   be easy to locate and identify
                                                                                                                                                              through the use of simple, rapid
                                                                                                                                                              algorithms;
                                                                                                                                                          •   work with different cameras;
                                                                                                                                                              In terms of computing, software
                                                                                                                                                          libraries which implement these
                                                                                                                                                          dynamics can be used to facilitate
                                                                                                                                                          this integration The software library
                                                                                                                                                          called ARTOOLKIT was used for
                                                                                                                                                          the recognition and positioning of
                                                                                                                                                          the virtual object. The main steps

                                                                                                    Figure 2. Operational steps for determining posi-     for tracking are summarized in
                                                                                                    tion.                                                 Figure 2.

                                        198
    See above:
–   Square-shaped search algorithm (in second box):
–   3D object rendering on/in the square (in third box).
    Recognition of this marker in the acquired frame is made by comparing it with the pat-
tern chosen using a method of template matching. This method consists of a series of
templates (prototypes) present in its memory, one for each marker to recognize in the
form of patterns included in sub-images. The classification of the pattern in relation to an
unknown one, consists in correlating it with each of the prototype patterns. The main
steps [2] are the calculation of the average deviation and standard deviation of the image
(I index ) and pattern (P index).




    Subsequently we can calculate the correlation coefficient:


                                                                                                 Conservation Science in Cultural Heritage




    If the coefficient of an image is the maximum for all images and exceeds the thresh-
old (0.5), the image is recognized.

4. Applications of Augmented Reality in Cultural Heritage

    One of the most successful applications of Augmented Reality in the field of cultural
heritage has been developed by the Powerhouse Museum in Sydney [2]. Exploiting the
massive presence of the Museum in The Commons, Rob Manson and Alex Young devel-
oped an application loading 400 historical images of Sydney as POIs (Points of Interest),

                                                                                               199
                                                                                                    which appear when a camera intercepts a marker. In this way, walking through the streets
                                                                                                    of Sydney and aiming the camera of your device at a particular point, it is possible to see
                                                                                                    real time pictures of the place as it was years before by receiving information directly from
                                                                                                    Flickr or from the museum’s photo archive.
                                                                                                       AR is also being used in Italy. For some time now, several cultural operators have
                                                                                                    been experimenting with augmented reality, and one example [3] is the collaboration tak-
                                                                                                    ing place between Microsoft and the Fondazione Musei Senesi. The technology devel-
                                                                                                    oped by the American company allows the benefits of a touch screen to be combined with
                                                                                                    that of the recognition of media materials, offering the visitor the opportunity of associat-
L. Colizzi, A. Martini, F. Chionna - Augmented reality applied to the diagnostics and fruition...




                                                                                                    ing different contents on the navigation screen and independently developing his own
                                                                                                    knowledge. The user simply has to touch the screen to access specific information on
                                                                                                    local museums or individual details about the exhibits [3]. Multiple applications of aug-
                                                                                                    mented reality can be found in the industrial sector [4], training [5] and maintenance [6].
                                                                                                    In the laboratories of the consortium CETMA in Brindisi, two different types of AR appli-
                                                                                                    cations are being experimented, namely:


                                                                                                    Ø The virtual overlapping of aspects related to the well-being of cultural heritage
                                                                                                       (Diagnostics)
                                                                                                       The use case concerns a mobile device equipped with a camera framing a marker.
                                                                                                       The sw responsible for analyzing the video stream recognizes the marker, it associ-
                                                                                                       ates it to the artifact to be monitored and returns a set of data and diagnostic meas-
                                                                                                       ures taken previously or in real time. The case described here concerns a bust of
                                                                                                       Athena. The 3D model obtained by laser scanning was examined together with the
                                                                                                       diagnostic information regarding the measuring of thermal gradients with a thermal
                                                                                                       camera in order to monitor its thermal condition inside the museum for a full day. The
                                                                                                       example considered is primarily educational in nature and aims to demonstrate how
                                                                                                       it is possible to integrate different kinds of information. In this case the morphology
                                                                                                       comes from laser scanning, while the thermal gradients are captured by a camera.
                                                                                                       Data fusion was carried out with an appropriate algorithm. Thus, taking the thermal
                                                                                                       images and the 3D model as input, and on the basis of at least 6 points selected by
                                                                                                       the user, it was possible to add information about color thermography to that of a
                                                                                                       geometric nature. The processed data can then be analyzed by the technical staff
                                                                                                       through the technology of augmented reality. By framing the marker on his desktop
                                                                                                       (see colour Figure 3, p. 238), the techician is able to observe in his viewer (Head


                         200
   mounted display), the three-dimensional model on which the thermographic meas-
   urements have been mapped without his having to be present in the same environ-
   ment as the artifact.
   In this way, the most appropriate assessments can be made using the continuously
   acquired remote data and the data obtained from the integration of different types of
   analyses.


Ø Reconstruction and enhancing of cultural heritage
   In this case, a marker is placed next to the real artifact and is used as a sensor with
   6 DOF (degrees of freedom). In this way, the 3D model of the properly reconstructed
   object, can be placed in a real scene. The camera frames the deteriorated object, and
   superimposes it over the hypothetical 3D model based on a historical and technical
   study. The information is sent to the computer which recognizes the marker and
   places the 3D model in the real scene. At this point, the features and technical inves-
   tigations carried out can be explained, both in a written text and in an audio text (see
   colour Figure 4, p. 238).

5. Conclusion

   The experiences described are intended to show how AR technology can be used in
the diagnostics and enhancement of cultural heritage and how it can revolutionize the
concept of its use and fruition. Information may be aggregated in relation to user catego-
ry and include greater or lesser detail. In this way the user will have the opportunity to
decide the type of information he wants, how to use it and the place. In the future, the
task of protecting and disseminating heritage will be carried out employing these new
technologies.                                                                                   Conservation Science in Cultural Heritage


References
[1] KATO H., BILLINGHURST M., POUPYREV I., IMAMOTO K., TACHIBANA K. 2000,
    Virtual Object Manipulation on a Table-Top AR Environment, International
    Symposium on Augmented Reality, Munich, Germany.
[2] http://www.hitlabnz.org/wiki/Home. [Online] [Cited: ] http://www.hitlabnz.org.
[3] PowerHouse Museum. http://www.powerhousemuseum.com. [Online]
[4] Musei Senesi. http://www.museisenesi.org/. [Online]
[5] BERND SCHWALD, BLANDINE DE LAVAL, An Augmented Reality System for
    Training and Assistance to Maintenance in the Industrial Context.


                                                                                              201
                                                                                                    [6] FIORENTINO, M., DE AMICIS R., Spacedesign: A Mixed Reality Workspace for
                                                                                                        Aesthetic Industrial Design. Proceedings of ISMAR 2002 – International Symposium
                                                                                                        on Mixed and Augmented Reality.
                                                                                                    [7] Augmented Reality Projects in Automotive and Aerospace Industry. Holger
                                                                                                        Regenbrecht, Gregory Baratoff,Wilhelm Wilke. s.l.: IEEE, 2005.
                                                                                                    [8] Tracking Requirements for Augmented Reality. Azuma. 1993, Vol. Communications
                                                                                                        of the ACM 36.
                                                                                                    [9] ARGESE F. 2006/2007, Tesi di laurea. Tecniche avanzate di realtà (presso
                                                                                                        Consorzio CETMA Brindisi .
                                                                                                    [10] Designing Highly Reliable Fiducial Markers. M, Fiala. 17, s.l.: IEEE Computer
                                                                                                         Society, 2009, Vol. 32. 0162-8828.
L. Colizzi, A. Martini, F. Chionna - Augmented reality applied to the diagnostics and fruition...




                                                                                                    [11] A simulator-based approach to evaluating optical trackers. Smit FA, van Liere R. 2,
                                                                                                         s.l.: COMPUTERS & GRAPHICS-UK, 2009, Vol. 33. 0097-8493.
                                                                                                    [12] Combination of optical shape measurement and augmented reality for task support:
                                                                                                         I. Accuracy of position and pose detection by ARToolKit. Makoto Yamauchi, Kazuyo
                                                                                                         Iwamoto. 3, s.l.: The Optical Society of Japan, co-published with Springer-Verlag
                                                                                                         GmbH, 2010, Vol. 17. 1340-6000 (Print) 1349-9432 (Online).




                                                                                                                          Augumented Reality applicata alla diagnostica e fruizione dei
                                                                                                                          beni culturali

                                                                                                                          Parole chiave: realtà aumentata, realtà virtuale, fusione dati spazialmente risolti



                                                                                                                          1. Introduzione
                                                                                                                               Con il termine “realtà aumentata” (in inglese augmented reality, abbrevia-
                                                                                                                          to AR) si indicano una serie di tecnologie hardware e software volte a miscela-
                                                                                                                          re riprese video effettuate da una telecamera con oggetti virtuali tridimensiona-
                                                                                                                          li. Il risultato è un mix tra realtà reale e realtà virtuale. Nell’ambito dei beni cul-
                                                                                                                          turali si comincia a sperimentare questa tecnologia sia in fase di fruizione e
                                                                                                                          valorizzazione che in contesti specialistici come alcune fasi del processo dia-
                                                                                                                          gnostico.
                                                                                                                               La base tecnologica ed algoritmica della realtà aumentata parte dall’analisi
                                                                                                                          di un flusso video che riprende una scena reale. Nell’ambito della medesima
                                                                                                                          scena vengono disseminate delle features denominate “marker”. Quando il
                                                                                                                          modulo software preposto all’analisi del flusso individua un marker nella scena,
                                                                                                                          cerca di posizionarlo rispetto ad un sistema di riferimento solidale alla camera
                                                                                                                          con cui viene effettuata la ripresa video, per poi sostituirlo in tempo reale, per
                                                                                                                          sovrapposizione, con un modello 3D virtuale realizzato grazie ad un software di
                                                                                                                          modellazione.
                                                                                                                               Lo scopo di questo articolo è quello di fare il punto dello stato dell’arte della
                                                                                                                          realtà aumentata per poi vederne una sperimentazione nell’ambito dei beni cul-
                                                                                                                          turali. L’esigenza di rivolgersi ad un pubblico sempre più vasto presuppone l’u-
                                                                                                                          tilizzo delle nuove tecnologie in una duplice valenza cioè ci si rivolge contem-
                                                                                                                          poraneamente sia alle esigenze dei professionisti e degli “addetti” ai lavori (sto-
                                                                                                                          rici, archeologi, curatori, etc.), sia a quelle dei fruitori di tale lavoro, vale a dire


                                202
la generalità del pubblico. La possibilità di fornire uno strumento che, da una
parte, si configura come uno strumento tecnico a disposizione degli addetti ai
lavori per svolgere parti essenziali dei loro compiti istituzionali, e, dall’altra,
come uno strumento didattico-formativo-divulgativo, che consente al pubblico
un livello di avvicinamento e comprensione delle opere fino ad oggi difficilmen-
te raggiungibile, aspetto questo particolarmente importante data la vasta mag-
gioranza dei meno esperti.
2. La tecnologia AR
    Dal punto di vista hardware i principali componenti di un sistema AR sono:
display (Head Mounted Displays o Handled display), tracking, input devices, e
calcolatore. Il display ci permette di visualizzare il contenuto informativo, il trac-
king permette di localizzare con una certa precisione un punto nello spazio
reale mentre il pc permette di eseguire gli algoritmi di computer vision che per-
metteranno la composizione della scena virtuale.
    Nei sistemi di augmented reality la possibilità di interagire con i prototipi digi-
tali presuppone l’utilizzo di un sistema di tracciamento dei movimenti umani. I
dispositivi che permettono il tracciamento sono di natura diversa e la loro indi-
viduazione dipende da molti fattori come il campo di applicazione, le condizio-
ni ambientali di utilizzo e il budget a disposizione. In generale i più utilizzati
sono: digital camera, sensori ottici, sensori elettromagnetici, rfid, sensori wire-
less e GPS.
    Descriviamo in questa sezione un tipico sistema di Augmented Reality
impiegato nella valorizzazione di beni culturali per acquisire elaborare e in
seguito presentare i dati. Gli strumenti normalmente utilizzati per questi sistemi
presuppongono l’utilizzo dei seguenti sottosistemi:
ü sottosistema di acquisizione;
ü sottosistema di interazione;
ü sottosistema di rendering.
    Il sottosistema di acquisizione può variare a seconda del contesto applicati-
vo e deve provvedere ad acquisire l’immagine o il flusso video da elaborare e
successivamente riuscire ad eseguire degli algoritmi efficienti in grado di ela-
borare in tempo reale. Esempi di questi dispositivi vanno dal cellulare al pal-
mare alle telecamere professionali o le semplici ed economiche webcam.
    Il sottosistema di interazione deve consentire all’utente di interagire con la
scena 3D in maniera disinvolta senza limitare i movimenti naturali. Ad esempio
un dispositivo di puntamento a 6 DOF (Degree of fredom) consentirebbe all’u-
tente di identificare il bene all’interno dello scenario, recuperare eventuali infor-
mazioni riguardanti la sua storia, le sue proprietà e riuscire a interagire con
l’oggetto 3D in termini di roto-traslazioni.
                                                                                            Conservation Science in Cultural Heritage
    Il sottositema di rendering è il cuore del sistema, permette di realizzare il pro-
cesso di creazione dello scenario 3D in termini di geometria materiali e luci.
    Le fasi per la gestione di un processo di AR prevedono l’utilizzo di algoritmi
di computer vision per la gestione del frame acquisito. La procedura normal-
mente utilizzata prevede la creazione di due immagini di riferimento per ogni
frame elaborato: la prima relativa al rendering della scena 3D, la seconda pro-
veniente dal sistema di acquisizione video. Le due immagini provengono da
due camere differenti, la prima virtuale, la seconda reale. Esse dovranno esse-
re integrate allineando le medesime per avere uno scenario finale coerente.
    Le tecniche alla base di una applicazione di augmented reality hanno il prin-
cipale obiettivo di fondere l’immagine acquisita in tempo reale con un dispositi-
vo tipo videocamera con quella generata al computer, alcune di queste si rifan-
no all’applicazione di algoritmi di computer vision [1]. Normalmente queste ope-
razioni vengono condotte in due fasi: nella prima fase, utilizzando degli algorit-
mi di corner detection, edge detection o thresholding, si individuano i fiducial
nella seconda si mira a fondere le due immagine utilizzando degli algoritmi di
computer vision.
    Nella Figura 1 il dispositivo di visualizzazione della scena è raffigurato da
una videocamera. La camera cattura una proiezione prospettica del mondo tri-

                                                                                          203
                                                                                                    dimensionale (mondo reale) sotto forma di flusso video bidimensionale. I para-
                                                                                                    metri intrinseci (lunghezza focale e distorsione della lente) ed estrinseci (posi-
                                                                                                    zione e posa) del dispositivo di acquisizione video influiscono sull’immagine tri-
                                                                                                    dimensionale proiettata nell’immagine bidimensionale. La generazione dell’im-
                                                                                                    magine virtuale è realizzata con un sistema di computer grafica real time. Gli
                                                                                                    oggetti virtuali sono modellati in un fotogramma di riferimento. Il sistema grafi-
                                                                                                    co richiede informazioni correlate all’immagine della scena reale in maniera tale
                                                                                                    che sia possibile realizzare l’elaborazione. Questi dati controlleranno la came-
                                                                                                    ra sintetica di cui si fa uso per generare l’immagine comprensiva degli oggetti
                                                                                                    virtuali. L’immagine è poi mescolata con l’immagine della scena reale per for-
                                                                                                    mare l’immagine di realtà aumentata.
                                                                                                    3. Principi di tracciamento attraverso Marker
                                                                                                        Le applicazioni di AR hanno la necessità di collocare con una certa precisio-
                                                                                                    ne degli oggetti 3D nella scena reale ripresa, per far ciò si possono utilizzare
                                                                                                    degli strumenti o tecniche che permettono di risolvere il problema. La tecnica
L. Colizzi, A. Martini, F. Chionna - Augmented reality applied to the diagnostics and fruition...




                                                                                                    che descriviamo in questo articolo si basa sull’utilizzo dei marker, elementi gra-
                                                                                                    fici che sono posti nella scena reale. Il marker deve essere inquadrato dalla
                                                                                                    telecamera ed attraverso delle successive operazioni di omografia inversa è
                                                                                                    possibile determinare la posizione dell’osservatore nello spazio.
                                                                                                        Affinché un marker sia efficiente deve:
                                                                                                    • supportare la determinazione non ambigua della posizione e della orienta-
                                                                                                        zione di una camera opportunamente calibrata;
                                                                                                    • non privilegiare alcune orientazioni rispetto ad altre;
                                                                                                    • essere composto da un insieme di immagini in maniera tale da rendere molto
                                                                                                        poco probabile creare confusione con altri oggetti presenti nella scena;
                                                                                                    • essere semplice da localizzare e identificare tramite l’uso di algoritmi sem-
                                                                                                        plici e veloci;
                                                                                                    • funzionare con differenti camere.
                                                                                                        Dal punto di vista informatico per rendere più agevole l’integrazione si pos-
                                                                                                    sono utilizzare delle librerie software che implementano queste dinamiche. La
                                                                                                    libreria software ARTOOLKIT è stata utilizzata per il riconoscimento e il posi-
                                                                                                    zionamento dell’oggetto virtuale. I passi principali per il tracciamento sono i
                                                                                                    schematizzati in Figura 2.
                                                                                                        Il riconoscimento del marker presente nel frame acquisito è realizzato
                                                                                                    mediante un confronto con il relativo pattern prescelto attraverso il metodo del
                                                                                                    template matching. Il metodo prevede la presenza in memoria di una serie di
                                                                                                    template (prototipi), uno per ciascun marker da riconoscere, sotto forma di pat-
                                                                                                    tern inclusi in sub-immagini. La classificazione del pattern relativo ad uno inco-
                                                                                                    gnito consiste nell’eseguirne la correlazione con ciascuno dei pattern prototipo.
                                                                                                    I principali passi [2] sono il calcolo dello scarto medio e la deviazione standard
                                                                                                    dell’immagine (indice I) e del pattern (indice P):




                                                                                                       In seguito si può calcolare il coefficiente di correlazione:




                           204
   Se il coefficiente per un’immagine è il massimo per l’insieme delle immagini
e eccede la soglia fissata (0.5), l’immagine è riconosciuta.
4. Applicazioni della Realtà Aumentata nei Beni Culturali
    Nel campo dei beni culturali una delle più riuscite applicazioni di Augmented
Reality è stata ideata dal PowerHouse Museum di Sydney [3]. Sfruttando la
voluminosa presenza fotografica del Museo all’interno di The Commons Rob
Manson e Alex Young è stata sviluppata un’applicazione AR caricando 400
immagini storiche di Sydney come POIs (Point of Interest), che vengono visua-
lizzate quando la telecamera del visitatore inquadra una zona ed intercetta un
marker. In questo modo, passeggiando per Sydney e puntando la camera del
proprio device è possibile vedere in tempo reale le immagini di come era quel
luogo anni prima, ricevendo informazioni direttamente da Flickr o dalle schede
del museo.
    Anche in Italia l’AR ha trovato la sua applicazione. Da tempo alcuni opera-
tori culturali stanno sperimentando la realtà aumentata e un esempio [4] è la
collaborazione fra la Microsoft e la Fondazione Musei Senesi. La tecnologia
messa a punto dall’azienda americana permette di fondere le prestazioni di uno
schermo touchscreen a quelle del riconoscimento di supporti materiali, offren-
do a un visitatore la possibilità di associare contenuti differenti con la naviga-
zione su uno schermo e di sviluppare al contempo conoscenze in modo auto-
nomo. All’utente basta sfiorare lo schermo del monitor per poter accedere a
informazioni specifiche sui musei del territorio o su singoli dettagli delle opere
in essi esposte [4]. Molteplici applicazioni della realtà aumentata le troviamo in
ambito industriale [5], addestramento [6] e manutenzione [7].
    Nei laboratori del consorzio CETMA di Brindisi si sta sperimentando l’AR in
due diverse tipologie di applicazioni, ovvero:

Ø La sovrapposizione virtuali relative ad aspetti legati allo stato di salute del
  BC (Diagnostica)
  Il caso d’uso riguarda un dispositivo mobile fornito di telecamera che inqua-
  dra un marker. Il sw preposto ad analizzare il flusso video riconosce il mar-
  ker, lo associa al bene oggetto di monitoraggio e restituisce una serie di
  informazioni e misure diagnostiche effettuate in precedenza o in tempo
  reale. Il caso riportato riguarda il busto di Athena: al modello 3D ottenuto
  mediante una scansione laser si sono aggiunte delle informazioni diagnosti-
  che riguardanti una misura di gradienti termici con termo-camera al fine di
  monitorarne lo stato termico in fase di musealizzazione nel corso di una inte-
  ra giornata. L’esempio preso in esame è principalmente di natura didattica e
  ha l’obiettivo di dimostrare come sia possibile integrare delle informazioni di

                                                                                       Conservation Science in Cultural Heritage
  natura differente. Nel caso in esame la morfologia proviene dalla scansione
  laser mentre i gradienti temici sono catturati da una termocamera. La fusio-
  ne dei dati è stata realizzata con un opportuno algoritmo che prendendo in
  input le immagini termografiche e il modello 3D e sulla base di almeno 6
  punti scelti dall’utente riesce ad aggiungere le informazioni relative al colore
  termografico con quelle di natura geometrica. I dati elaborati possono esse-
  re analizzati dal personale tecnico attraverso la tecnologia di augmented
  reality. Il tecnico inquadrando il marker sulla propria scrivania (Figura 3 a
  colori, p. 238) ottiene sul visore indossato un modello tridimensionale su cui
  è stata mappata la misura termografica senza entrare negli ambienti in cui il
  bene è custodito.
  In questo modo si possono effettuare le valutazioni più appropriate utiliz-
  zando i dati remoti continuamente acquisiti e i dati ottenuti dall’integrazione
  di differenti tipologie di analisi.

Ø Ricostruzione e valorizzazione
  In questo caso accanto al bene culturale reale è posizionato un marker che
  viene utilizzato come un sensore a 6 dof (degrees of freedom) attraverso il
  quale è possibile posizionare il modello 3D del bene opportunamente rico-


                                                                                     205
                                                                                                                                  struito in una scena reale. La camera inquadra il bene in “rovina”, del quale
                                                                                                                                  si ha un ipotetico modello 3D ricostruito sulla base di uno studio storico tec-
                                                                                                                                  nico. L’informazione è inviata all’elaboratore che riconosce il marker e si
                                                                                                                                  preoccupa di posizionare il modello 3D nella scena reale. A questo punto è
                                                                                                                                  possibile illustrare le indagini tecniche condotte e le caratteristiche dell’ope-
                                                                                                                                  ra sia in maniera testuale che vocale (Figura 4 a colori, p. 238).
                                                                                                                               5. Conclusioni
                                                                                                                                   Le esperienze descritte vogliono dimostrare come la tecnologia di AR possa
                                                                                                                               essere impiegata nel campo della diagnostica e valorizzazione di beni cultura-
                                                                                                                               li e come la medesima può rivoluzionare e delocalizzare il concetto di fruizio-
                                                                                                                               ne. Le informazioni potranno essere aggregate in riferimento alla categoria
                                                                                                                               dell’utente e avere un maggiore o minore livello di dettaglio. In questo modo
                                                                                                                               l’utente avrà la possibilità di decidere le tipologie di informazioni che desidera,
                                                                                                                               le modalità di fruizione e il luogo di visita e sarà quindi demandato alle nuove
L. Colizzi, A. Martini, F. Chionna - Augmented reality applied to the diagnostics and fruition...




                                                                                                                               tecnologie la possibilità di modificare e trasformare la tutela e la diffusione del
                                                                                                                               bene.




                                                                                                    Summary
                                                                                                    The term “Augmented Reality” (AR) is used to define integrated hardware and software technolo-
                                                                                                    gies, designed to mix video footage taken by a camera with three-dimensional virtual objects. The
                                                                                                    result is a mix between real reality and virtual reality. Many applications of this technology are being
                                                                                                    developed for use in the field of cultural heritage and are being introduced for use in specialized con-
                                                                                                    texts such as in certain phases of the diagnostic process or fruition.
                                                                                                    The basic algorithmic approach for augmented reality, starts from a video stream analysis that incor-
                                                                                                    porates a real scene. Within the same scene are scattered a set of known geometric images called
                                                                                                    “markers”. When the software module in charge of the video flow analysis identifies a marker within
                                                                                                    the scene, it tries to position it in relation to a reference system integral with the chamber which per-
                                                                                                    forms the video shoot, and then replaces it in real time, overlapping with a 3D model achieved
                                                                                                    through a virtual modeling software.
                                                                                                    The aim of this article is to evaluate the state of the art augmented reality and then examine sever-
                                                                                                    al experiments involving its application to cultural heritage.


                                                                                                    Riassunto
                                                                                                    Con il termine “realtà aumentata” (in inglese augmented reality, abbreviato AR) si indicano una serie
                                                                                                    di tecnologie hardware e software volte a miscelare riprese video effettuate da una telecamera con
                                                                                                    oggetti virtuali tridimensionali. Il risultato è un mix tra realtà reale e realtà virtuale. Nell’ambito dei
                                                                                                    beni culturali si comincia a sperimentare questa tecnologia sia in fase di fruizione e valorizzazione
                                                                                                    che in contesti specialistici come alcune fasi del processo diagnostico.
                                                                                                    La base tecnologica ed algoritmica della realtà aumentata parte dall’analisi di un flusso video che
                                                                                                    riprende una scena reale. Nell’ambito della medesima scena vengono disseminate delle features
                                                                                                    denominate “marker”. Quando il modulo software preposto all’analisi del flusso individua un marker
                                                                                                    nella scena, cerca di posizionarlo rispetto ad un sistema di riferimento solidale alla camera con cui
                                                                                                    viene effettuata la ripresa video, per poi sostituirlo in tempo reale, per sovrapposizione, con un
                                                                                                    modello 3D virtuale realizzato grazie ad un software di modellazione.
                                                                                                    Lo scopo di questo articolo è quello di fare il punto dello stato dell’arte della realtà aumentata per poi
                                                                                                    vederne una sperimentazione nell’ambito dei beni culturali.




                            206
Résumé
Par le terme “réalité augmentée” (en anglais augmented réality, abrégé AR) on indique une série de
technologies hardware et de logiciel consacrées à mélanger des prises de vue vidéo effectuées par
une caméra de télévision avec des objets virtuels tridimensionnels. Le résultat est un mélange entre
réalité réelle et réalité virtuelle. Dans le domaine des biens culturels on commende à expérimenter
cette technologie tant en phase de jouissance et mise en valeur que dans des contextes spécialisés
comme certaines phases du procès diagnostique.
La base technologique et algorithmique de la réalité augmentée part de l’analyse d’un flux vidée qui
reprend une scène réelle. Dans le cadre de la même scène sont disséminés des marques dénom-
mées “marker”. Quand le module logiciel préposé à l’analyse du flux détermine un marker dans la
scène, il cherche à le positionner par rapport à un système de référence solidaire de la caméra avec
laquelle est effectuée la prise de vue vidéo, pour ensuite la remplacer en temps réel, par superpo-
sition, avec un modèle 3d virtuel réalisé grâce à un logiciel de modelage.
Le but de cet article est celui de faire le point de l’état de l’art de la réalité augmentée pour ensuite
en voir une expérimentation dans le domaine des biens culturels.


Zusammenfassung
Mit dem Begriff “Erweiterte Realität” (englisch augmented reality, abgekürzt AR) bezeichnet man
eine Reihe von Hardware- und Softwaretechnologien, mit denen Videoaufnahmen von einer Kamera
mit virtuellen dreidimensionalen Gegenständen gemischt werden können. Das Ergebnis ist eine
Mischung aus realer Realität und virtueller Realität. Auf dem Gebiet der Kulturgüter fängt man gera-
de an, diese Technologie zu erproben, sowohl in der Nutzungs- und Aufwertungsphase als auch in
speziellen Fachgebieten wie einigen Phasen des Diagnoseprozesses.
Die technologische und algorithmische Grundlage der Erweiterten Realität geht von einer Analyse
eines Videoflusses aus, der eine reale Szene wiedergibt. In dieser Szene werden so genannte
“Marker” verteilt. Wenn der für die Analyse des Flusses eingesetzte Softwaremodul einen Marker in
der Szene antrifft, versucht er ihn in einem mit der Kamera, mit der die Videoaufnahme gemacht
wird, fest verbundenen Bezugssystem zu positionieren, um ihn dann in Echtzeit durch Überlagerung
mit einem virtuellen 3D-Modell zu ersetzen, das von einer Modellierungssoftware realisiert wird.
Ziel dieses Artikels ist es, einen Überblick über den Stand der Erweiterten Realität zu geben und
dann eine Erprobung auf dem Gebiet der Kulturgüter zu zeigen.


Resumen

                                                                                                              Conservation Science in Cultural Heritage
Con el término “realidad aumentada” (en inglés augmented reality, abreviado en AR) se indican una
serie de tecnologías hardware y software que tienen por finalidad mezclar objetos virtuales tridi-
mensionales con tomas de vídeo efectuadas con una cámara. El resultado es una mezcla entre rea-
lidad real y realidad virtual. En el marco de los bienes culturales se comienza a experimentar esta
tecnología tanto en contexto de aprovechamiento y valorización como en contextos especializados
y en algunas fases del proceso diagnóstico.
La base tecnológica y algorítmica de la realidad aumentada parte del análisis de un flujo de vídeo
que recoge una escena real. En el marco de la misma escena se diseminan determinados elemen-
tos denominados “marker”. Cuando el módulo software sometido al análisis del flujo localiza un mar-
ker en la escena, trata de situarlo con respecto a un sistema de referencia unitario con la cámara
con la que se efectúa la filmación de vídeo, para después sustituirlo en tiempo real, por superposi-
ción, con un modelo 3D virtual realizado gracias a un software de modelación.
La finalidad de este artículo es hacer hincapié en el estado de evolución de la realidad aumentada
para después ver una experimentación en el campo de los bienes culturales.




                                                                                                            207
      L. Colizzi, A. Martini, F. Chionna - Augmented reality applied to the diagnostics and fruition...




208
                                                                                                          Htp>vt
MINERALOGICAL AND SPECTROSCOPIC CHARACTERIZATION OF SOME
PRODUCTS RESULTING FROM THE WEATHERING PROCESS ON THE
TOMB OF NAKHT-DJEHUTY (TT189), WESTERN THEBES, UPPER EGYPT
(colour figures)




                                                                                          Conservation Science in Cultural Heritage




Figure 2. Representative patterns of powder X-ray diffraction analysis (PXRD) showing
the mineralogical composition of the studied weathering products.

                                                                                        209
      Figure 3. Transmittance FTIR (KBr) spectra of: a): weathering products and Ca-oxalate
      film on the surface, b): a dark layer.




210
MICROCLIMATE MANAGEMENT FOR THE PRESERVATION
OF CULTURAL HERITAGE (colour figures)




                                                                        Conservation Science in Cultural Heritage




Figure 1. Outside view of the Castle of Chiaramonte of Favara (Ag).




                                                                      211
      Figure 2. Outside view of the Church of Saint Matthew (Pa).




212       Figure 4. Ground floor interior, exhibition hall.
        Figure 5. Piano nobile floor interior, conference room.




                                                                                      Conservation Science in Cultural Heritage




   a                                               b

Figure 6. Proposal for the installation of radiant floor heating in the Castle of
Chiaramonte: ground floor plan (a), piano nobile floor plan (b).
                                                                                    213
      Figure 7. Simulation of radiant floor heating and cooling system.




             Figure 8. The chosen grid form 3 3 3 m in the Church of Saint Matthew (Pa).


214
Figure 9. Change in maximum monthly temperature over the last three years in
Palermo.




                                                                                 Conservation Science in Cultural Heritage




Figure 10. Monthly minimum and maximum temperatures – Maximum relative
humidity for 2006/2007.




                                                                               215
      Figure 11. Material typology of the collection in the Church of Saint
      Matthew.




                  Figure 12. Chapel of the “Guardian Angel”.
216
Figure 13a. Mapping n. 1, Chapel of the “Guardian Angel” – 23 January 2007.




                                                                                Conservation Science in Cultural Heritage




Figure 13b. Mapping n. 1, Chapel of the “Guardian Angel” – 23 January 2007.




                                                                              217
      Figure 13c. Mapping n. 1, Chapel of the “Guardian Angel” – 2 June 2007.




      Figure 13d. Mapping n. 1, Chapel of the “Guardian Angel” – 2 June 2007.




218
                                                                                      Conservation Science in Cultural Heritage




Figure 16. Interior of Church of Saint Matthew: stone paving of the transept (a);
chequered stone floor of the sacristy (b); pattern of square slabs of the central
nave (c); pattern of square slabs and stone floor of the transept (d).



                                                                                    219
      Figure 17. Plan for radiant floor heat-    Figure 18. Structural diagram of a radiant
      ing and cooling system.                    floor.




                Figure 20. Air conditioning system.




220
Figure 21. Different types of heating systems.




                                                   Conservation Science in Cultural Heritage




Figure 22. Operating time of the system.




                                                 221
           Figure 25. Thermal performance of radiant floor in relation to floor
           surface temperature (room temperature 20°C).




      Figure 26. The UNI-EN-ISO 7730 regulation states that the surface temperature
      of the floor can vary between 19-26°C and that the project can be executed
      using a surface temperature of 29°C.


222
                                                  a




                                                                                            Conservation Science in Cultural Heritage



 b                                                c

Figure 27. Outside view of Castle: detail of the gallery overlooking the courtyard (a);
dome (b); entrance (c).




                                                                                          223
      Figure 28a. Inside of
      the Church of Saint
      Matthew: aisle.




                              Figure 28b. Inside of the
                              Church of Saint Matthew:
                              nave.
224
Figure 28c. Inside of the Church of Saint Matthew: detail
of the dome interior.




                                                              Conservation Science in Cultural Heritage




  Figura 30. Plan of the Church of Saint Matthew.


                                                            225
      LIMITS IN THE RESTORATION OF HISTORICAL ORGANS (colour figures)




            Figure 1. Antonino La Manna, 1756, Church of S. Maria della Pietà in
            Palermo. Wooden table with three spans with cusps.




226
                                                                        Conservation Science in Cultural Heritage




Figure 2. Salvatore Briulotta, 1856, Church of Carmine Maggiore in
Palermo. The instrument is constructed using the “Serassi” method.
The keyboard which is not original has 56 keys and a lectern pedal-
board with 12 short pedals.




                                                                      227
 Figure 3. The particular conformation of the
 console denotes the stylistic peculiarities of
 the Sicilian organ. It has one keyboard con-
 nected to one pedalboard in sixth, with very
 short sloping pedals of medieval ancestry, pro-
 truding from the base frame or frameless.
 Francesco La Grassa, 1832, Church of S.
 Michele Arcangelo in Sciacca (AG). The key-
 board consists of diatonic keys with covers in
 blackened beech and chromatic keys in
 spruce with covers in bone. The pedalboard
 consists of levers made of beech.




                 Figure 4. Detail of one of the two “lantern” bellows of the
                 organ by Antonino La Manna, 1756, Church of S. Ninfa
                 dei Padri Crociferi di Palermo. This model in which the
                 folds are held parallel when being pumped by means of
                 the metal pantograph guides, was introduced in the eigh-
                 teenth century. The restoration of the bellows was prob-
                 ably carried out during the last intervention in the fifties.

228
 Figure 5.                               Figure 6.




                                                               Figure 7.

Figures 5-6-7. Pipe organ of Raffaele la Valle, 1615, and reconstruction by Giacomo Andronico,
1772, Church of La Gancia in Palermo. Detail of tin pipes of the façade subject to deformation
near the mouths. Internal arrangement of metal rods supported by raised wooden sieve.
Repairs made during the last restoration are visible, and the new irregularity in the upper extrem-
ities of the body is evident. The wooden pipes, as is well-known in Sicilian models, are on the
back of the case. They are in wing formation with the mouths aligned. The good state of preser-
vation is due to measures taken during the last restoration.




                                                                                              229
 Figure 8. F. La Grassa, 1832, Church of S. Michele Arcangelo in Sciacca (AG). Example
 of case and wooden choir in white tempera and decorative elements in silver gilt in
 accordance with the decorations of the nave.




 Figure 9. A. La Valle, 1626, Church of S.
 Pietro in Collesano (PA). Example of
 carved and gilded wooden case.
 The choir instead serves as a dais and
 has twelve paintings on canvas depicting
 Christ and the Apostles.

230
COMBINED APPLICATION OF X-RAY AND NEUTRON IMAGING TECHNI-
QUES TO WOOD MATERIALS (colour figures)




Figure 2. Tomographic reconstruction of a find recovered from a sunken ship. General
view of the sample (left). Vertical cross section with shown dimensions (middle).
Extraction of the hidden object from the calcareous matrix by image processing tech-
nique (right).




Figure 3. Images a) through f) show an internal slice of samples of Pinus Silvestris
degraded by means of brown rot, obtained by means of XT (a, b, c) and NT (d, e, f)
respectively. Two histograms (g, h) are shown next to the corresponding images (c and
f). See text for details.
                                                                                        231
      OFF-LINE METHODS FOR DETERMINING AIR QUALITY IN MUSEUMS
      (colour figures)




      Figure 1. Positioning the reactive tag in the case storing L’Annunziata.




         Figure 5. SPME probe.                           Figure 6. The probe in Display
                                                         Hall No. VIII.
232
Figure 7. Chromatogram for Display Hall No. XII.




Figure 8. Chromatogram for Display Hall No. VIII.



                                                    233
      MICROSCOPY AND MOLECULAR BIOLOGY TECHNIQUES FOR THE
      STUDY OF BIOCENOSIS DIVERSITY IN SEMI-CONFINED ENVIRONMENTS
      (colour figures)




                Figure 1. Entrance to the Grotto of the Saints, Licodia Eubea, Sicily.




      Figure 2. Mural painting representing the Crucifixion of Jesus Christ inside the
      cave.
234
                                                                                  a




                                                                                             Conservation Science in Cultural Heritage




                                                                                  b

Figure 3. Micro-and macro biological systems colonizing the environments, showing:
Parietaria diffusa, Adiantum capellus-veneris in Figure 3a, and Bryophites in Figure 3b.


                                                                                           235
                                                     a




                                                     b

Figure 4. Sampling of different coloured biofilms.



236
Figure 5. Insects present on the walls of the cave, Diptera, Brachycera.




                                                                             Conservation Science in Cultural Heritage




         Figure 6. CLS micrograph, showing cyanobacteria and
         microalgae biofilm.


                                                                           237
      AUGMENTED REALITY APPLIED TO THE DIAGNOSTICS AND FRUITION
      OF CULTURAL HERITAGE (colour figures)




                Figure 3. Use case illustrating the use of integrated data
                through an AR technique.




          Figure 4. Use case illustrating the reconstruction and enhancing of cultur-
          al heritage.

238
