Art. 02 – Vol.23 – Nr. 1 – 2013

Cornel Lepădatu
cornel_lepadatu@biblacad.ro

Academia Română Bucureşti, Biblioteca Academiei Române

Rezumat: Explorarea datelor este un ansamblu de metode destinate descrierii şi analizei datelor multidimensionale şi utilizate în orice domeniu, atunci când datele sunt mult prea multe pentru a mai putea fi înţelese de o minte omenească. Unele dintre metode, ajută la evidenţierea relaţiilor care pot exista între diferite date şi elaborează informaţii statistice care permit o descriere mai succintă a informaţiei conţinute în aceste date. Altele, permit regrupări ale datelor în scopul de a face să apară clar ceea ce le face omogene şi astfel de a le înţelege şi de a le defini mai bine.

Metodele exploratorii multidimensionale sunt metode descriptive, în cea mai mare parte geometrice, al căror instrument matematic major este algebra matricială şi care se exprimă fără să presupună à priori un model probabilist. Aceste metode permit,  în special,  prelucrarea şi sinteza informaţiei din tabelele de date de mari dimensiuni pe baza estimării corelaţiilor dintre variabilele studiate, instrumentele statistice utilizate fiind matricea corelaţiilor sau matricea de varianţă-covarianţă.

Un demers exploratoriu îi permite prospectorului de date să abordeze unul dintre principalele obiective ale „data mining” şi anume explorarea multidimensională a datelor sau reducerea de dimensiune: reprezentarea grafică, deducerea unei submulţimi de variabile reprezentative sau a unei mulţimi de componente prealabile pentru alte metode.

Din anii 1980 capacitatea de a stoca informaţii s-a dublat aproximativ la fiecare 40 de luni [10]. Începând cu 2012 au fost create [11], în fiecare zi, 2.5 quintilioane (2,5 × 10¹⁸) octeţi de date, iar limitarea la ordinul exabyţilor, privind dimensiunile seturilor de date procesabile într-un timp rezonabil [7, 16], constituie deja un subiect de preocupare sistematică a oamenilor de ştiinţă pentru domenii precum meteorologia, genomica, connectomica, simularea fenomenelor fizice complexe, cercetările biologice şi de mediu şi chiar căutarea pe internet, finanţele şi informatica decizională.

Cuvinte-cheie: analiza canonică, analiza corespondenţelor multiple, analiza corespondenţelor simple, analiza factorială discriminantă, analiza în componente principale.

Introducere: Explorarea datelor este un ansamblu de metode care se ocupă cu descrierea şi analiza datelor multidimensionale. Unele dintre metode, ajută la evidențierea relaţiilor care pot exista între diferite date şi elaborează informaţii statistice care permit o descriere mai succintă a informaţiei conţinute în aceste date. Altele, permit regrupări ale datelor în scopul de a face să apară clar ceea ce le face omogene şi astfel de a le înţelege şi de a le defini mai bine.

Explorarea datelor permite prelucrarea unui număr mare de date şi identificarea celor mai interesante aspecte ale structurii acestora, computerele fiind acelea care au făcut aceste metode operaţionale şi care le-au permis o utilizare foarte extinsă. Succesul din ultimii ani al acestora se datorează în mare măsură reprezentărilor grafice oferite. Aceste reprezentări pot evidenţia relaţii dificil de sesizat de o analiză directă a datelor dar, mai important şi în contrast cu metodele statistice clasice, aceste reprezentări nu sunt legate de nicio ipoteză privind legile fenomenelor analizate.

Explorarea datelor se bazează pe un set de metode descriptive, în cea mai mare parte geometrice, al căror instrument matematic major este algebra matricială şi care se exprimă fără să presupună à priori un model probabilist. Aceste metode permit, în special, prelucrarea şi sinteza informaţiei din tabelele de date de mari dimensiuni pe baza estimării corelaţiilor dintre variabilele studiate, instrumentele statistice utilizate fiind matricea corelaţiilor sau matricea de varianţă-covarianţă.

Fundamentele matematice ale explorării datelor au început să se dezvolte la începutul secolului al XX-lea dar tehnici de bază privind analiza datelor erau deja cunoscute cu mult înainte. Tabelele de contingenţă, de exemplu, sunt prezente [4] încă din 1588, când Alvarez Paz Salas descrie „Invincibila Armada” sub forma unui tabel în care rândurile reprezintă flote de nave, iar coloanele diverse caracteristici ale navelor cum ar fi tonajul, numărul de soldaţi, etc. sau din 1696, când Nicolas Lamoignon Basville, intendent al regelui Ludovic al XIV-lea, enumeră şi caracterizează mânăstiri şi biserici din regiunea Languedoc. Printre fondatorii metodelor moderne de analiză a datelor se regăsesc Jean-Paul Benzécri, Louis Guttman, Chikio Hayashi, Douglas Carroll şi R.N. Shepard [2].

Într-un proces de explorare a datelor şi descoperire a cunoştinţelor („data mining”) un prim demers, inevitabil, constă în efectuarea unei explorări a acestor date: alura distribuţiilor, prezenţa datelor atipice, corelaţii şi coerenţă, transformări eventuale ale datelor. Demersul descriptiv şi exploratoriu permite realizarea de rezumate şi grafice mai mult sau mai puţin elaborate, descrierea mulţimilor de date şi stabilirea de relaţii între variabile, fără a acorda un rol privilegiat vreunei variabile şi care, folosite în mod adecvat, se pot dovedi extrem de utile pentru numeroase probleme şi situaţii din domeniul decizional [5, 6, 12]. Concluziile obţinute privesc doar datele studiate, fără a fi generalizate la o populaţie mai largă. Demersul exploratoriu se sprijină, în mod esenţial, pe noţiuni elementare (medie şi dispersie), pe reprezentări grafice şi pe tehnici descriptive multidimensionale. Metodele exploratorii determină subspaţii de reprezentare (sau factoriale), de dimensiuni mici, care aproximează cel mai bine norii de puncte-indivizi sau de puncte-variabile, astfel încât vecinătăţile măsurate în aceste spaţii să reflecte cât mai exact proximităţile reale.

Demesul exploratoriu îi permite deci prospectorului de date să abordeze unul dintre principalele obiective ale „data mining” şi anume explorarea multidimensională a datelor sau reducerea de dimensiune: reprezentarea grafică, deducerea unei submulţimi de variabile reprezentative sau a unei mulţimi de componente prealabile pentru alte metode. Cele mai frecvent utilizate metode, în funcţie de tipurile variabilelor, sunt [1, 3, 8, 13, 17]: analiza în componente principale (ACP), analiza factorială discriminantă (AFD), analiza corespondenţelor simple (ACS), analiza corespondenţelor multiple (ACM) şi analiza canonică (AC).

Concluzii: Explorarea datelor este utilizată în orice domeniu, atunci când datele sunt mult prea multe pentru a mai putea fi înțelese de o minte omenească. În studiile care vizează un număr important de variabile, respectiv indivizi reprezentabili în spaţii de mari dimensiuni, o dificultate majoră o constituie obţinerea unei reprezentări grafice adecvate a cărei vizualizare şi interpretare să faciliteze înţelegerea structurii datelor analizate. Analiza în componente principale are un rol esenţial fiind metoda care serveşte drept fundament teoretic şi pentru celelalte metode de explorare multidimensională numite factoriale. Obiectivele realizate de analiza în componente principale permit utilizarea prealabilă a acestei metode în cazul altor metode care preferă, fie variabile ortogonale (regresia liniară), fie un număr redus de intrări (reţelele neuronale). Analiza discriminantă este una dintre tehnicile de analiză multidimensională cele mai folosite în practică: diagnostic automat, controlul calităţii, previziunea riscului, recunoaşterea formelor.

Vizualizează articolul complet