ELS ERRORS D'AVALUACIÓ I D'AVALUADORS
i altres incidències o recomanacions.
Com ja ho hem dit moltes vegades, avaluar cervesa o qualsevol producte gastronòmic és essencialment una activitat subjectiva que inclou l'objecte avaluat, l'avaluador i l'ambient en el que els dos primers es troben submergits.
En general, s'entén que l'exemplar a avaluar es troba en condicions òptimes de temperatura, de conservació, de presentació, etc.
El que voldria comentar en aquest post és la necessitat de reduir al màxim la subjectivitat de l'avaluador. I per això, cal adonar-se que l'ésser humà (que és el que fa l'avaluació) és eminentment influenciable. S'ha demostrat en experiments molt sofisticats que l'avaluador gairebé sempre troba en l'element avaluat el que volia trobar. I el que volia trobar pot ser influenciat o suggerit pel comentari d'un col·lega, pel color i la forma del que ha de tastar, pel seu humor i mil coses més. Avaluadors experts han estat capaços de trobar diferències en dues copes d'un vi sortit de la mateixa ampolla, de bona fe, simplement perquè els havien demanat de trobar les diferències. La forma mateixa com es fan les preguntes als avaluadors poden implicar una manipulació.
L'avaluador ha de ser conscient d'aquestes circumstàncies perquè al final del camí, ell és responsable de fins a quin punt la seva avaluació ha de ser seriosa i fins a quin punt és manipulable i com ha d'evitar aquesta mena d'esculls.
Hi ha una sèrie d'errors que cal conèixer i que és convenient intentar evitar.
1.- Error d'expectativa (expectation error)
Quan l'avaluador sap massa
coses sobre el que ha d'avaluar, es crea ell mateix unes expectatives
que pota acabar complint. Si sé que vaig a tastar una Baltic Porter,
m'espero un perfil de malt, de densitat i d'alcohol concrets, una
cosa molt complexa que, si no acaba de ser-ho del tot, la puc anar
fent complexa segons crec que ha de ser.
Alguna vegada, no he estat
capaç de trobar la mel en una cervesa amb mel. I en altres casos, he
trobat la mel perquè s'indicava a l'etiqueta. Un cop avisat,
honestament he trobat la mel, però si no m'ho diuen igual no descric
una cosa que d'altra banda era bastant evident.
En una situació realment
professional i compromesa, és important donar el mínim d'informació
al jutge, evitant fins i tot que vegi la cervesa. Els exemplars són
identificats per nombres de 3 o 4 xifres, atribuïts a l'atzar. Fins
i tot ens podem plantejar eliminar les xifres que comencin amb 0 o
amb 1 perquè això també pot influenciar la opinió d'un avaluador:
una cosa que duu un nombre que comença per 1 pot ser interpretada
com ser la primera d'alguna cosa. El fenomen és inconscient però
s'ha demostrat que passa.
2.- Error d'habituació (habituation error)
És la tendència a repetir la mateixa resposta quan els exemplars presenten poca diferència entre ells. En un control de qualitat, el jutge subjecte a aquest error no es dóna compte de l'evolució que hi pot haver entre diversos lots d'una mateixa cervesa.3.- Error d'estímul (stimulus error)
Aquest error apareix quan la presentació de l'exemplar influeix sobre l'avaluació. Una ampolla transparent, verda o marró impliquen una reacció en l'avaluador sigui pel color mateix o basada en idees preconcebudes sobre aquestes diferències. En alguns concursos s'evita expressament que l'avaluador pugui apreciar l'aspecte de la cervesa perquè se sap que la vista influeix enormement sobre la opinió que ens mereix una cervesa. Personalment, estic fastiguejat de demanar als brouaters artesanals que facin alguna cosa per que les seves cerveses no siguin completament tèrboles. La cervesa entra pels ulls també i per molt entrenats que estem i per molts coneixements sobre cervesa tinguem, no som lliures de l'atavisme que vol que un líquid poc transparent sigui poc de fiar.Un altre exemple que s'ha comprovat en laboratori més d'un cop és el de la diferència entre cervesa en llauna i en ampolla. Si es fa correctament i s'envasa el mateix lot en ampolla i en llauna, i si s'han tractat ambdós envasos de la mateixa manera, no hi ha d'haver diferència. Però si l'avaluador coneix l'envàs, gairebé segur que valora menys la cervesa presentada en llauna.
4.- Error lògic (logical error).
Aquest error intervé també de forma inconscient quan creiem que podem deduir unes característiques d'unes altres. Així, una cervesa fosca no te perquè ser més densa, ni més alcohòlica, ni més complexa que una cervesa clara. També és un atavisme que funciona prou bé i permet vendre com a complexes cerveses que ho són ben poc. Lògicament el suposat augment de qualitat implica un augment del preu que no es justifica en cap augment en les matèries primeres.
5.- Error de halo (halo effect).
Aquest error sol intervenir quan hem d'avaluar més d'una característica en un exemplar per exemple en una avaluació descriptiva. L'avaluador sobrevalora algun atribut i es crea una impressió general global que el condueix a valorar també favorablement les altres característiques. D'aquesta manera, en un entorn positiu, el defecte d'oxidació per exemple sol quedar infravalorat.
Al revés, en una cervesa amb un perfil mal acabat d'amargor sol veure com el seu perfil aromàtic és infravalorat.
6.- Error de suggestió mútua (mutual suggestion).
Error comú en la
circumstància en la que diversos avaluadors degusten el mateix
exemplar. Les actituds corporals dels altres avaluadors són
inevitablement llegides i influencien el judici tant com un comentari
emès en veu alta.
7.- Falta de motivació (lack of motivation).
Els avaluadors poden confondre la seva feina amb una festa i no acordar-li ni la concentració, ni l'atenció ni la seriositat que s'espera d'ells. És feina del director del concurs o de l'analista descartar-los (a menys que la feina consisteixi precisament muntar una festa. Però llavors no fa falta tanta parafernàlia...)
8.- Errors d'ordre de presentació
8.1.- Error per efecte de contrast (contrast effect).
També anomenat "exageració de diferències". Aquest fet és bastant freqüent. Apareix quan es degusten diverses cerveses en sèrie. Pot aparèixer un exemplar especialment bo i acte seguit un altre defectuós o mediocre. La tendència de l'avaluador és de procedir per comparació i penalitzar a vegades severament l'exemplar menys atractiu. Al revés, també passa: després d'un exemplar mediocre, dolent, defectuós o insuls, una cervesa de primera categoria sorprendrà favorablement i rebrà gairebé segur una puntuació "entusiasta".8.2.- Efecte de grup (group effect).
Imaginem un grup d'exemplars semblants i un altre exemplar moltdiferent barrejat entre els altres. El segon rebrà valoracions properes als primers. L'exemplar únic no serà avaluat com si s'hagués presentat sol. Un exemplar de perfil baix entre exemplars molt aromàtics serà considerat més aromàtic que el que és realment.8.3.- Error de tendència central (central tendency error).
Els exemplars presentats al principi o al final d'una sèrie no seran tan ben valorats com els que es troben al mig de la sèrie.8.4.- Error de patró (pattern error)
Els avaluadors solen ser actius buscant patrons que els permetin simplificar-se la feina o que els facin treballar amb més seguretat. Així que si hi ha un ordre de presentació, és fàcil que el detectin. Igualment, si els avaluadors coneixen per endavant el criteri de presentació dels exemplars (del més fluix al més fort, del menys amarg al més amarg, etc) adaptaran les seves avaluacions a aquest suposat ordre.8.5.- Error d'ordre temporal (time error)
L'actitud de l'avaluador canvia subtilment durant una sessió de degustació. És possible que els exemplars presentats al principi rebin millors apreciacions que els immediatament següents. En tests curts, els primers exemplars reben millors valoracions que les que els tocaria perquè pot ser que l'avaluador tingui set o perquè tingui alguna expectativa. En tests llargs, solen ser els darrers els preferits.9.- Errors per horari .
S'ha dit que la millor hora per a degustar coses és cap a les 11ºº del matí. En part és possible que sigui cert. En part no. Tot és relatiu. Hi ha gent que es lleva a les 6 del matí i, per tant, la seva hora predilecta de tastar pot ser a les 10ºº i, hi ha gent que es lleva a les 12ºº i per tant, la seva hora predilecta o més efectiva serà cap a les 16ºº. Jo em solc llevar d'hora però la meva hora predilecta sol moure's entre les 18ºº i les 19ºº. En principi però, la majoria de la gent te un màxim d'atenció possible pels volts de les 11ºº i queda clar que fora d'aquest horari, l'avaluació pot ser menys eficaç.En un concurs no es pot tenir en compte aquest fet però no se solen establir horaris impossibles.
10.- Caràcter, costums.
Hi ha
avaluadors expansius que solen atribuir valoracions extremes mentre
que hi ha avaluadors més tímids que solen mantenir-se prop dels
valors mitjans. En general però, els avaluadors experimentats solen
trobar-se entre aquests dos extrems. És convenient que els
avaluadors poc experts treballin un temps amb gent més bregada en
l'ofici per tal d'evitar ambdues exageracions. D'aquí l'oportunitat
d'assistir a cursos d'avaluació tècnica.
11.- Errors d'apreciació
11.1- Error d'objectiu
És important explicar al jutge amb precisió el que s'espera d'ell. Ha de tenir clar si ha de fer una degustació comparativa, completa, parcial, descriptiva, de defectes, etc. Bàsicament, no podem perdre temps i energia en digressions que, si bé poden ser divertides, instructives o edificants, no fan el cas que ens ocupa. En especial, el jutge no ens ha de demostrar els seus coneixements teòrics o pràctics sobre cervesa. Accessòriament se li poden demanar suggerències d'ordre tècnic però no és realment la seva feina. No se li demana que expliqui d'on venen els components sensorials que troba (si del malt del llúpol o d'on sigui), no se li demana cap informació històrica o anecdòtica addicional. Se li demana que estableixi comparacions o llistes d'elements que valorarà en funció dels criteris que se li hauran explicat.
D'altra banda, el jutge ha de ser atent a les preguntes que se li fan (per exemple en l'avaluació d'una característica en concret) i no divagar i estendre's sobre temes que no fan al cas. En l'avaluació, no s'hi val a fer literatura. No és que no sigui bonic però no és el que estem fent.
11.2.- Vaguetat
No serveix pràcticament de res dir que una cervesa fa olor de malt o de llúpol. Cal entrar en detall i explicar quines aromes estem trobant, en quines intensitats, en quin ordre, en quina qualitat, etc. I sobre tot, si trobem que una cervesa no dóna la talla, cal explicar detalladament quins aspectes sensorials ens condueixen a aquesta conclusió. Dir que una cervesa és "bona", "dolenta", "mediocre" o "poc interessant" és inútil si no s'explica detalladament perquè. En especial, no es pot dir que una cervesa és "defectuosa" sense detallar el o els defecte/s.11.3.- Desconsiderar.
Elaborar una cervesa i presentar-la al judici d'altri és un esforç, és una il·lusió, és una despesa i pot ser un projecte. Al marge doncs que una cervesa estigui "bé" o "malament", el jutge no podrà desconsiderar una cervesa. En concret, si es troba amb una cervesa defectuosa, no podrà descartar-la de cop. Haurà de seguir avaluant-la fins al final i argumentar la seva opinió. No s'hi val a posar una mala nota i passar a la següent. En qualsevol cas, l'elaborador vol saber el perquè de les valoracions dels jutges.
Elaborar cervesa, oferir-la a degustació o gaudiment i exposar-la a la venda, és el resultat de molts esforços psicològics, tècnics, econòmics i de més menes que no en sé fer la llista completa. Principalment, en matèria de cerveses artesanes, quan en tenim una al davant, estem davant del resultat de les il·lusions d'un elaborador. Això implica per part nostra la obligació d'emetre crítiques amb la màxima educació i amb el màxim tacte possible. Avaluar una cervesa és una cosa, i ofendre el brouater n'és una altra ben diferent. En el cas que una cervesa no ens satisfaci, hem d'escatir si no ens fa el pes per raons personals (en aquest cas no tenim el dret a expressar públicament el nostre possible rebuig) o per raons objectivables (en aquest cas, hem de descriure detalladament què ens sembla poc apropiat i com). En el cas que ens agradi, cal ser mesurat en l'expressió de l'entusiasme. Una sortida sempre molt adequada i apreciada consisteix en dur a terme una avaluació el més en detall possible per tal de donar al brouater el màxim d'indicacions possibles per que ell (o ella) tregui les seves pròpies conclusions sobre la qualitat de la cervesa i sobre com corregir eventuals problemes. Moltes vegades ho dic sincerament: jo no sóc mestre brouater, sóc avaluador. Això marca clarament els meus límits.
11.4.-Coherència
En la mateixa línia, és important que els comentaris o la descripció condueixin a una nota (si se'n posa una) que hi estigui en relació lògica. No podem estar trobant defectes per tot arreu i posar una bona nota i tampoc podem posar una mala nota a una cervesa de la que estem donant a entendre que està ben feta. La nota s'ha de justificar amb els comentaris i aquesta coherència només es pot donar si la descripció és detallada (punt 11).
11.5.- Presumpcions
En general, una avaluació ha de descriure detalladament una cervesa o alguns dels seus aspectes. Aquesta descripció ha de ser tan detallada com sigui possible per servir de guia a l'elaborador en la correcció dels defectes o equilibris detectats. Però l'avaluador no ha de presumir dels seus coneixements (si presumeix és que no en te tants) ni ha de fer cap proposta d'interpretació del seu propi escrit. Si l'avaluador troba que la cervesa és amarga, n'ha de descriure la intensitat, la persist'encia, la qualitat però no ha de donar per descomptat res i escriure que aquesta amargor procedeix del llúpol perquè realment NO SAP si aquesta amargor ve del llúpol o d'una altra cosa. Tampoc sap realment si aquell toc lleugerament mantegós i fruitat ve del malt (toc de malt caramel clar), de la fermentació (butirat d'etil) o d'una altra part de la fermentació (diacetil). L'avaluador ha de descriure. No ha de suposar, conjecturar, pressuposar, presumir ni suputar res. Això serà feina de l'elaborador.
11.6.- Pedanteria
És molt interessant i útil saber que la olor de cols en la cervesa és l'efecte sensorial de la presència de Sulfur de dimetil o que la olor de mantega és deguda al diacetil. I de fet, en una avaluació, les paraules diacetil i DMS així com algunes altres es fan servir correntment. Però per prudència i per no semblar pedants, si trobem olor de clau d'espècia, no escriurem ni direm 4-vinil-guaiacol ni parlarem de trans-2-nonenal si volem descriure una mala oxidació. I repeteixo que cal ser prudents perquè ningú és realment capaç de determinar sensorialment si la olor de paper, cartró i pols és deguda a la presència de Trans-2-nonenal, a la de Cis-2-nonenal, a la de Furfural o d'algun dels altres aldehids que hi ha en una cervesa mal oxidada.
Si trobem olor de pebre, no parlarem d'Eugenol, parlarem de pebre i prou. I ningú és realment capaç de definir si un aspecte floral és de Geraniol, d'Alcohol Fenetílic o del que sigui. És més correcte parlar de gerani, de rosa o de la flor que pugueu trobar que no pas dels compostos químics purs que suggereixen més estupidesa que perícia.
Cal tenir en compte que la llista de Meilgaard, que és una llista de descriptors, ofereix uns compostos químics de referència que permeten l'entrenament però mai ningú ha dit que aquests fossin els únics. En alguns casos seria cert, però en molts altres no ho és.
12.- Adaptació
L'adaptació és la modificació temporal de la sensibilitat en un òrgan sensorial en resposta a una estimulació contínua o repetida. Si s'elimina l'estímul, no hi ha recuperació completa de la sensibilitat després d'algun temps.
Aquest és un fenomen totalment fisiològic que es pot limitar per l'aplicació d'unes regles simples, com ara d'esperar uns minuts entre cada mostra i esbandir la boca.
Aquest és un fenomen totalment fisiològic que es pot limitar per l'aplicació d'unes regles simples, com ara d'esperar uns minuts entre cada mostra i esbandir la boca.
També es recomana establir pauses entre cada olfacció o gustació per una mateixa mostra. Aquestes pauses de recuperació (que serveixen per refer el "blanc" inicial de la degustació) poden durant entre 15 i 20 segons.
13.- Cansament.
És una forma d'adaptació sensorial per disminució de l'agudesa sensorial. En les sessions de més de 2 hores, el cansament apareix i el jutge, poc a poc ho va trobant tot igual i es va desmotivant. Cal instaurar pauses per evitar aquest fenomen completament normal. La durada de les sessions haurà d'anar minvant.
Cap comentari:
Publica un comentari a l'entrada