Avaluació - avaluació estadística

AVALUACIÓ EXPERIMENTAL

Bàsicament, la preocupació de l'avaluador seriós, quan estableix un perfil, és que sap que la seva feina és extremadament subjectiva. 

Com ja ho hem recalcat en altres ocasions, existeixen moltes formes de fugir d'aquesta subjectivitat. Però totes en són essencialment mitigacions més o menys eficaces. Cap ni una, ni tan sols la que volem exposar avui, redueix la subjectivitat a un nivell "negligible". No ens fem il·lusions. Cap. 

Però, en canvi, sí que es pot parlar de nivells diversos de temperar aquest defecte inherent a la degustació. Aquests darrers temps, en col·laboració amb l'equip tècnic de Art Cervesers, ens hem decantat per intentar desenvolupar un sistema estadístic. En efecte, si la degustació individual és molt subjectiva, les degustacions  múltiples serioses poden rebaixar aquesta subjectivitat. En altres termes, si 20 jutges sobre 20 consideren que es troba tal intensitat de tal descriptor, hi ha moltes probabilitats que aquest descriptor formi part de la cervesa i no només en la fèrtil imaginació del jutge. En canvi, si només 2 jutges de 20 identifiquen un element sensorial, sense que es pugui dir que aquest element descrit no es troba en la cervesa considerada, sí es pot dir que la seva observació és "menys representativa" que la primera.

Després de diverses proves, hem optat per un protocol relativament simple:

1.- Avaluació inicial

2.- Ordenació de dades

3.- Recollida i tractament de dades

Avaluació inicial

Primer, es tracta d'avaluar la cervesa com ho fem sempre, amb els criteris que ja coneixem, SOBRE UN FULL EN BLANC. Hem experimentat en moltes ocasions que l'ús de fulls preparats amb una llista tancada de descriptors és contraproduent. Es perd molt de temps buscant el descriptor que es vol citar, temps que es necessita per llistar ràpidament els altres descriptors. Dit d'una altra manera: mentre es busca on marcar un descriptor, se'n perden al menys tres o quatre altres que podrien perfectament ser significatius.

Quan dic full en blanc, em refereixo al fet que no hi ha d'haver una llista tancada de descriptors. Els fulls del BJCP o semblants, són bastant adequats. Adjunto la versió catalana d'aquest full consensuada amb el Scott Bickham.

El que he afegit en aquesta primera fase és la necessitat de valorar numèricament la intensitat dels descriptors. Sense nombres, no hi havia estadística.
Els jutges han d'indicar, entre parèntesi o en alguna altra forma, un valor numèric per a cada descriptor. Així, per exemple podran descriure: «Olor mitjanament intensa de crosta de pa» de la forma següent: «Olor mitjanament intensa (3) de crosta de pa». 

La pregunta és: d'on surt aquest (3)? 

Només això ens ha requerit un bon temps de reflexió i de recerca. Es tractava de trobar una escala que fos còmoda per al degustador i per a qui recolliria les dades. Ens hem basat sobre les feines prèvies de Meilgaard i Bickham. Però els dos autors proposen una gradació semàntica (en paraules). El primer la relaciona amb l'invent una mica incòmode de les unitats de flavor mentre que l'altre proposa una llista d'intensitats simple, clara i de molt fàcil utilització. 

En els nostres cursos, ens hem adonat que la valoració de la intensitat de les coses no és tan fàcil d'establir perquè cadascú té una sensibilitat diferent i una aprensió singular de les seves pròpies sensacions. I havíem trobat una manera d'ordenar individualment aquestes sensacions. Proposàvem el següent per a les aromes:

• a.- S'estableix una mitjana d'intensitat subjectiva que queda marcada quan un descriptor és còmodament percebut i identificat. És el valor mitjà de percepció. Així, quan en una cervesa distingirem còmodament, sense fixar-nos-hi gaire, un perfil de pa de barra, a aquest descriptor li haurem d'atribuir un valor i gual o superior al valor mitjà. En una escala de 0 a 6, aquest valor haurà de ser superior a 3. 
• b.- Per sota del valor mitjà, es poden donar dues circumstàncies: Es percep alguna cosa però no s'identifica o es percep i s'identifica amb dificultat. Si dividim la zona en dos espais iguals (per fer-ho fàcil) i seguint amb una escala de 0 a 6, direm que entre 0 i 1,5 percebem alguna cosa sense saber què és i que de 1,5 a 3, percebem alguna cosa i, si busquem, podem avançar un descriptor que és cada cop més segur a mesura que ens acostem a 3. 
•  c.- Per damunt de la mitjana, la intensitat va augmentant passant de la comoditat a la certesa en la identificació. Direm que fins a la meitat de la zona superior (4,5) la intensitat no implica cap valoració «en excés» mentre que a partir d'aquest límit, comencem a parlar de descriptors extrems, exagerats, massa forts, fins a arribar als extrems absurds del 6. Entre 5,5 i 6 es podrien situar les experiències sensorials de saturació o fins i tot doloroses. 

Vet'ací un resum:

En el sistema d'ordenació per llindars, podem dir que el llindar de percepció apareix immediatament per sobre de 0 (també és lògic, si no notes res, no puntuaràs res.). El llindar d'identificació es situaria a 2 i el llindar de saturació a 5,5.

Evidentment, tot és discutible... 

Nota sobre l'escala: 

Hem estat treballant amb escales diverses. La primera anava de 0 a 10. Vam veure que gairebé ningú passava dels 5 en cap avaluació. És un fenomen habitual. La segona que hem provat anava de 0 a 5 i sembla que els assistents s'hi trobaven més còmodes tot i que altre cop, molt poques vegades emetien valoracions per damunt de la meitat. Al final estic mirant si una gradació de 0 a 6 va millor essent que el terme mitjà és enter. 

Bé, ara tenim un sistema que transforma les valoracions semàntiques en números. Tornem a l'avaluació: Ara hem descrit la cervesa. Si som poca gent, recomano que fem al menys dues voltes cadascú de manera que si per exemple, som 3 tastadors, fem dues vegades l'experiment, semblarà que som 6, tenint en compte que dos tasts no són mai iguals ni tan sols quan els repeteix la mateixa persona. 

Ordenació de dades

Un cop acabat el tast a fons, amb la cervesa a la ma, omplirem el full d'ordenació de dades. Això ho ha de fer el mateix avaluador amb la cervesa al davant perquè és qui recorda millor la fase precedent. L'avaluador podrà així completar l'avaluació amb els valors que haurà pogut oblidar. Aquest full de recollida de dades (o d'ordenació) va començar amb una llista inacabable de descriptors recollits en la literatura i en experiments previs que hem dut a terme i que ja explicaré en una altra ocasió. Aquesta llista era un galimaties i una bogeria. Només en perfils de malts i de mosts, teníem una llista de 130 descriptors (reals!, no inventats). Bé, hem aconseguit una llista més manejable que cal que descriguem una mica: 

Sembla que no sigui completa i així és. Però veuran que hem marcat uns descriptors amb un asterisc. Aquests descriptors són genèrics. Per exemple, «afruitat» és genèric, «especiat» també. 

En la mesura que sigui possible, entrarem en detall en l'espai previst a aquest efecte. Lògicament, si trobem un «especiat» que no som capaços d'identificar, la seva valoració en intensitat es trobarà per sota de 2 mentre que, al contrari, si es pot identificar, es trobarà per sobre de 2 a l'escala esmentada. (M'estic convertint en el senyor Richter de la degustació... no sé si és bon senyal). 

He de reconèixer que he inclòs descriptors «per defecte» com l'aspecte o conceptes generals per motius pràctics, però em queda clar que encara no estan resolts tots els defectes d'aquesta valoració. Concretament, per al color, he previst un espai més gran en el que escriurem el color sense entrar en SRM, ºL o EBC (cosa que es podria fer però que veig poc adequada... una cosa és avaluar seriosament i l'altra és quan ens convertim en cagamandúrries consumats...). 

Tractament de dades

Finalment, hem desenvolupat un sistema informàtic de tractament de dades que ens ha de permetre un munt de coses (estic descobrint que els fulls de càlcul donen per molt). 

1. En primer lloc i prèvies correccions degudes al nombre de jutges o al nombre de valoracions de cada descriptor (així com a efectes de desviació), podem establir una llista completa de descriptors generals amb la seva intensitat en funció de tants jutges com hi hagi. 
2. En segon lloc, podem establir una llista de descriptors significatius en funció de la mitjana d'intensitats o en funció del que ens interessi analitzar. 
3. Podem generar una figuració gràfica del perfil aromàtic general, un altre sobre gustos i altres sobre la còrpora o conceptes addicionals 
4. I finalment, podem generar un retorn sobre el jutges que els permeti valorar les seves pròpies competències respecte a les competències generals del grup de jutges sobre un exemplar de cervesa en concret. 

Aquest full de càlcul, no el publico perquè encara hi he de treballar. En acabat, he de dir que totes aquestes recerques han estat possibles gràcies a l'oportunitat que m'ha donat Art Cervesers de treballar-hi amb la col·laboració tot el seu equip de producció. Per això, en breu, publicarem una avaluació d'una de les seves cerveses (Orus) amb els resultats de l'ús de tot el que acabem de descriure aquí.