Documente online.
Zona de administrare documente. Fisierele tale
Am uitat parola x Creaza cont nou
 HomeExploreaza
upload
Upload




Evaluarea programelor in administratia publica

administratie


UNIVERSITATEA BABEȘ-BOLYAI, CLUJ-NAPOCA

Facultatea de Științe Politice, Administrative și ale Comunicării

Specializarea: ADMINISTRAȚIE PUBLICĂ





Evaluarea programelor în administrația publică

- Suport de curs pentru învățământ la distanță -



Conf. univ. dr. Călin HINȚEA

Tutore curs drd. Raluca Gârboan




Anul III



SEMESTRUL II






Cluj-Napoca








CUPRINS




Modulul 1. Noțiuni de bază

Unitatea 1 Definiții, concepte, clasificări   

Unitatea 2 Evaluarea bazată pe teorie

Modulul 2. Noțiuni practice

Unitatea 1 Evaluarea nevoilor

Unitatea 2 Indicatorii programului



Modulul 1. Noțiuni de bază


Obiectivele de bază sunt:

Evaluarea s-a născut odată cu apariția și proliferarea programelor guvernamentale. Pe măsură ce administrația s-a extins și a preluat tot mai multe activități, nevoia de evaluare a crescut. Anul 1965, a însemnat startul masiv în Statele Unite a unor programe destinate combaterii sărăciei (War on Poverty - război împotriva sărăciei, denumirea generală a setului de programe). În același timp, s-a adoptat și sistemul de bugetare Planning-Programming Budgeting System (PPBS), care încuraja evaluările programelor. În aceste condiții evaluarea a cunoscut un adevărat boom, numărul celor care se ocupă de așa ceva crescând spectaculos.

Evaluarea este legată de măsurarea performanței, cel mai des a performanței unei instituții. Măsurarea performanței este un proces prin care se stabilește cât de aproape suntem de scopurile anunțate, incluzând informații despre eficiența cheltuielii resurselor, rezultatele obținute, calitatea acestora și eficacitatea operațiunilor. Există mai multe motive pentru care se dorește măsurarea performanțelor. Robert Behn identifică 8:[1]1. pentru a evalua modul în care funcționează o instituție, 2. pentru a controla modul în care lucrează angajații, 3. pentru ușurarea modului de alocare bugetară, 4. pentru motivarea angajaților, 5. pentru reclamă, 6. pentru a sărbători, 7. pentru a învăța ce funcționează și ce nu, 8. pentru îmbunătă 11211m123l țirea performanței.

Indicatorii de performanță se construiesc pe următoarele aspecte:

Considerații financiare;

Satisfacția clienților;

Operații interne;

Satisfacția angajaților;

Satisfacția comunității.

Performanța în sine reprezintă doar un pas, legat de îndeplinirea sau nu a obiectivelor de performanță. Important este și să o judecăm într-o manieră comparativă, procedură cunoscută sub numele de benchmarking. Putem raporta performanța la anii precedenți sau la competitorii noștri. În cazul instituțiilor publice, unde nu avem concurență, ne putem raporta la instituții similare dar din alte localități sau pe alte domenii.

Relația între măsurarea performanței și evaluare se referă la metodologia care este specifică celei din urmă și la faptul că rezultatele măsurării performanței pot fi incluse în evaluarea unor programe. Evaluarea este totuși mai complexă, cuprinzând mai mult decât o evaluare cantitativă. Atunci când intervine comportamentul uman este preferabil să folosim și o abordare calitativă. Evaluarea privește analiza modului de funcționare a programului, avantajele și dezavantajele acestuia, ne sugerează îmbunătățirile necesare pentru dezvoltarea programului.

Pe măsură ce importanța evaluării a crescut, s-a petrecut și o democratizare a acesteia, devenind dintr-o disciplină esoterică una populară. Numărul celor care fac evaluări a crescut în permanență și s-a diversificat și poziția lor. Dacă la început găseam analiști în aparatul administrației doar în servicii specializate, apropiate de structurile de putere, acum îi putem găsi mult mai aproape de nivelul la care se efectuează munca propriu-zisă.

Tipurile de evaluare variază în funcție de problemele analizate. Există mai multe modele de evaluare, fiecare având avantaje și dezavantaje. Dintr-un punct de vedere general, putem distinge două mari abordări:

Evaluarea sumativă, care analizează rezultatele la un anumit moment de la începerea programului cu scopul de a stabili performanța programului și de a estima valoarea sa;

Evaluarea formativă se face de obicei în timpul implementării (este o evaluare intermediară) cu scopul de a analiza situația și de a ușura îmbunătățirea programului.

Un alt tip de evaluare este cel de monitorizare sau de rutină și se referă la colectarea continuă de date despre activitățile și outputurile unui program. Printr-o astfel de monitorizare managerii programului primesc feedback despre îndeplinirea funcțiilor programului, dacă sunt atinse populațiile țintă și/sau se produc efectele dorite. O astfel de monitorizare denotă preocuparea pentru menținerea calității programului, urmărirea proceselor acestuia și a rezultatelor obținute la nivel operațional, reprezentând un factor necesar menținerii unor servicii publice de calitate.


Evaluarea programelor trebuie legată de efectele pe care și le propune sa le măsoare și de obiectivele propuse. O schemă a legăturii dintre diferitele nivele ale efectelor și obiectivelor este:[2]


Putem vedea că în pentru fiecare tip de obiectiv avem un alt tip de efecte și, în consecință, putem avea un alt tip de evaluare. Uneori dorim să urmărim obiectivele globale (sau strategice) și, în consecință, vom evalua impactul. Dacă ne interesează mersul de zi cu zi vom lucra la nivelul obiectivelor operaționale, evaluând rezultatele. Se mai pot evalua și obiectivele specifice, măsurând outputurile. De asemenea, mai putem evalua și modul în care se desfășoară operațiunile programului.


Scop

Practic

Sporirea cunoștințelor

Problematică

Stabilită de cel care va lua decizia, nu de evaluator

Stabilită de cercetător

Judecată

Comparația a ceea ce este cu ceea ce ar trebui să fie

Studiază ceea ce este

Priorități

Programul, nu evaluarea

Cercetarea, nu ceea ce se studiază

Posibile conflicte

Între evaluator și cei care desfășoară programul

Eventual cu sponsorul

Publicare

În general nu, dar rezultatele se împărtășesc celor care iau decizii, într-o formă sau alta

Esențială

Datoria

Către cel care plătește, societate, profesie

Față de sine

Motivația

Îmbunătățirea situației

Dezvoltarea de teorii, sporirea înțelegerii

Audiența (mică în ambele cazuri)

Cei care iau decizii

Alți cercetători

Autonomie

Limitată

Relativ mare

Posibilități de generalizare

Orientată spre situații specifice

Interesată de generalizare în timp, spațiu, în diferite situații

Tehnici folosite

Toate, dar folosite pentru evaluarea nevoilor, analiza cost-beneficiu și cu accent pe descriptiv

Toate, cu accent pe metodologia preferată a cercetătorului

Criterii de evaluare

Este important pentru cei care iau decizii? Sunt rezultatele credibile? Există o influență asupra programelor?

Subiectul este relevant? Există validitate internă și externă? Deschide calea spre alte cercetări?


Evaluatorii au nevoie de cunoștințe despre cercetare, în special cele legate de testarea ipotezelor. Dar abilitățile unui evaluator trebuie să fie mai multe decât cele necesare pentru cercetarea în științele sociale. Doar în ceea ce privește analiza, un evaluator trebuie să identifice diferitele aspecte (tehnice, juridice, științifice) care influențează un program, precum și posibilele efecte secundare ale programului.

După ce am identificat posibilele relații și cauze trebuie să identificăm modul în care acestea interacționează și să integrăm diferitele concluzii la care putem ajunge, adică să facem apel la sinteză. Gândirea sintetică este cea care ajută cel mai mult pentru a avea o evaluare corectă.

Mai mult, datorită faptului că evaluarea se desfășoară într-un cadru politic și organizațional, ea solicită abilități referitoare la munca în grupuri, abilitate politică, atenție față de multiplii posibili beneficiari, diferite alte abilități sociale.

Pentru a ușura relația cu mediul a apărut evaluarea participativă, o formă de evaluare în care participă toate părțile implicate în program (beneficiarii programului, organizația care a implementat programul, partenerii și finanțatorii programului).

Diferențele dintre evaluarea participativă și cea tradițională pot fi rezumate astfel:

Evaluare participativă

Evaluare tradițională

Accent pe participanți;

Gamă largă de beneficiari care participă;

Scopul este învățarea;

Design flexibil;

Metode de apreciere rapidă;

Participanții din exterior vin în calitate de facilitatori.

Accent pe finanțator;

Deseori beneficiarii nu participă;

Scopul este responsabilitatea;

Design prestabilit;

Metode formale;

Participanții din exterior sunt evaluatorii.


Modul în care se desfășoară o evaluare diferă de la program la program. Etapele unei evaluări seamănă cu etapele unei cercetări științifice, doar că aici suntem mai interesați de relația cu beneficiarii. Acestea pot fi rezumate astfel:

Identificarea scopului evaluării și a beneficiarilor acesteia;

Revizuirea scopurilor împreună cu beneficiarii programului;

Identificarea datelor necesare;

Alegerea metodelor de culegere a datelor;

Construirea eșantionului;

Construirea instrumentelor;

Culegerea datelor;



Analiza datelor;

Prezentarea rezultatelor.

Unitatea 2 Evaluarea bazată pe teorie

Obiective:

Cutia neagră este acel spațiu în care programul nu specifică ce ar trebui să se întâmple și de ce, astfel încât și evaluarea trebuie să-l ignore. În consecință evaluarea se concentrează asupra outputului și încearcă să compenseze lipsa teoriei prin elaborarea de metode sofisticate.

Astfel de evaluări au scopuri neclare, măsurile propuse sunt nepotrivite producând "în cel mai bun caz studii de contabilitate socială care numără clienții, descriu programul și uneori numără rezultatele"[4].

Totuși, un program poate reuși și fără a avea o teorie. De ce se întâmplă acest lucru? Mulți susțin că nu se poate să nu avem nici o teorie. Fără să existe în mod explicit, în spatele unui program poate exista o teorie (sau chiar mai multe), sarcina evaluatorului fiind să identifice care este aceasta.

Teoriile schimbării produse de un program au două componente: teoria implementării (sau teoria procesului), în care sunt descriși pașii care trebuie întreprinși în implementarea programului și teoria programatică (teoria impactului sau a rezultatelor), bazată pe mecanismele care fac lucrurile să se întâmple, în care "mecanismul schimbării nu este constituit din activitățile programului în sine, ci de răspunsul generat de aceste activități".[5]Aceste două tipuri de teorii corespund în linii mari celor două tipuri de evaluări, formativă și sumativă.

Evaluările bazate pe teorie au următoarele caracteristici principale:[6]

Evaluarea se bazează pe o prognoză a ceea ce se poate întâmpla, așa cum a fost făcută de cei care au conceput programul și/sau cum a fost înțeleasă de evaluatori;

Programele sunt considerate în contextul lor, incluzând mediul organizațional, cultura și comportamentul administrației publice;

Utilizează toate metodele potrivite, fără a favoriza vreuna și fără a depinde de ele;

Deși caută cauzele, evaluările permit comparații între diferite situații.


Teoria poate fi reprezentată cel mai simplu sub forma unor lanțuri cauzale de tip cauză-efect. De exemplu, pentru un program de reconversie profesională a șomerilor, lanțul cauzal ar putea fi de forma:

Exprimat în alți termeni, cursurile de instruire organizate duc la dobândirea unei noi calificări, pe baza căreia șomerul va ajunge să-și găsească un nou loc de muncă.

Un program poate avea o teorie mult mai stufoasă, în care relațiile să fie mult mai complexe. De exemplu, pentru calitatea unui serviciu sau produs, avem următoarea diagramă cauzală:[7]




Câteva observații:

Activitățile 1, 2, 3 (sau mai multe) se referă la principalele activități legate de organizația publică în cauză, acestea fiind legate de misiunea sau misiunile acesteia. Fiecare dintre aceste activități cuprind sau sunt legate de anumite atribute determinante pentru clienți în stabilirea nivelului de satisfacție;

Așteptările clienților influențează satisfacția atât direct, cât și prin intermediul percepției asupra calității;

În sectorul public rezultatele se măsoară în acest caz prin încrederea în instituții;

Reclamațiile, atât prin numărul lor cât și prin modul în care sunt rezolvate, pot să ne dea în sine o măsură a gradului de satisfacție a clientului: scăderea numărului de reclamații sau de reclamații în care clientul are dreptate indică o creștere a satisfacției (aceasta în cazul în care nu există o politică de descurajare a reclamațiilor).

Problema teoriei programului poate fi pusă și în termenii sistemelor dinamice. Fiecare sistem evoluează în permanență, starea lui în momentul actual fiind influențată de starea în momentul anterior și de evenimentele petrecute între cele două momente de timp.

În cazul în care vrem să evaluăm calitatea unui serviciu (vezi diagrama cauzală de mai jos), trebuie să știm de unde începem. Cel mai bun punct de pornire este reputația serviciului. Reputația serviciului influențează pozitiv cererea din partea publicului (de unde și semnul + din dreptul legăturii cauzale). Pe măsură ce sunt mai multe cereri, calitatea serviciului va scădea (în condițiile în care nu se dezvoltă). Pe măsură ce scade calitatea va apărea o discrepanță între calitate și standardele de calitate, ceea ce va duce la scăderea reputației. Ciclul se reia: scăzând reputația scade și cererea, care duce la creșterea calității, care va ajunge să depășească din nou standardele, ceea ce duce la creșterea reputației, ș.a.m.d.

În această teorie cererea din partea publicului va oscila în permanență, atunci când este mai mare decât posibilitățile de furnizare a serviciului va începe să scadă (dar nu imediat, pentru că discrepanța va ajunge să fie sesizată în reputație doar după un anumit timp), iar după ce atinge minimumul va începe din nou să crească.

În general, în orice evaluare un prim pas va fi să vedem în ce măsură teoria (explicită sau implicită) impactului programului este adevărată sau nu. Este greu să ajungi la un rezultat bun pornind de la o teorie eronată. După aceea urmează să vedem care este impactul programului și să verificăm dacă impactul asupra beneficiarilor se datorează într-adevăr programului sau altor factori.

De exemplu, pentru programele de reconversie profesională putem presupune că teoria este adevărată, dar poate incompletă: nu doar lipsa unei calificări adecvate duce la lipsa unui loc de muncă: există factori economici la nivel național, la nivel local, există factori demografici (cum ar fi vârsta și sexul), etc. Acești factori trebuie identificați pentru a ști dacă instruirea este o posibilă soluție la problema lipsei locurilor de muncă. În caz că da, evaluarea se va putea concentra asupra impactului programului de instruire.

În principal vom privi la procentajul persoanelor care s-au angajat după ce au urmat un astfel de curs de pregătire. Este instruirea cauza principală a angajării, sau au existat și alți factori care au determinat acest lucru? (cum ar fi o îmbunătățire a mediului economic sau pur și simplu respectivii și-ar fi găsit un loc de muncă și fără pregătirea suplimentară). Pentru a verifica un astfel de lucru trebuie mers pe logica unui experiment: din punct de vedere al ratei de angajare, cum stau cei care au urmat cursuri de instruire față de cei care nu au urmat astfel de cursuri? Dacă rata este aproximativ aceeași este sigur că programul nu a avut nici un impact. Chiar dacă este simțitor diferită, s-ar putea ca respectivii cursanți să fi fost aleși să participe la aceste cursuri tocmai pentru că aveau din start cele mai mari șanse să-și găsească un loc de muncă mai repede (factori cum ar fi educația, calificarea, vârsta, comportamentul activ de căutare a unui loc de muncă, ș.a.). Acești factori trebuie analizați corect pentru a identifica adevăratele rezultate ale programului.

După ce am aflat că programul respectiv a fost eficace trebuie să vedem și cât de eficient a fost. Dacă pentru a angaja o persoană costul a fost mai mare decât beneficiile pe care le primește societatea, programul este în pericol.

Un program se poate evalua și din punct de vedere al teoriei procesului. Fiecare program are un anumit plan de desfășurare, în care avem pașii care au fost și vor fi întreprinși, precum și un plan de utilizare a resurselor. Procesul de implementare al programului (realizat sau propus) poate fi evaluat din punct de vedere al corectitudinii pașilor (dacă sunt cei corecți și dacă secvențialitatea este cea mai bună) și al alocării resurselor: dacă acestea sunt alocate cât trebuie și când trebuie.

Să luăm cazul unui program de pregătire a funcționarilor publici. Procesul va cuprinde pașii următori:

identificarea nevoilor: de ce cursuri este nevoie, de câți participanți/absolvenți este nevoie, ce fel de instructori și câți sunt necesari, ce condiții tehnico-materiale trebuie îndeplinite: spații, echipamente, materiale;

găsirea de parteneri (trebuie analizat ce este mai bine: să desfășori activitatea respectivă în cadrul organizației sau să găsești parteneri);

recrutarea și selectarea participanților;

desfășurarea propriu-zisă a cursurilor (schema este mult simplificată în cazul în care sunt externalizate cursurile de pregătire);

evaluarea cursurilor.

Dacă se sare peste primul pas, programul are șanse mari de a eșua: facem cursuri fără a ști dacă este nevoie de ele și nu avem condiții de performanță pe baza cărora să facem selectarea partenerilor și evaluarea. Dacă omitem partea de evaluare, în momentul în care începe o nouă serie de cursuri avem mari șanse să repetăm erorile care s-au putut întâmpla în prima serie.

Modul de alocare a resurselor este și el important: ce resurse se cheltuiesc la fiecare pas și cum? Numai dacă ne gândim la modul de plată a partenerilor (a celor care fac propriu-zis instruirea): ce plătim - o sumă/participant sau o sumă/curs oferit unui grup de participanți?, când plătim (eșalonarea plăților: înainte, în timpul sau la încheierea cursului?), ne putem da seama că există multe posibilități, unele mai bune, altele mai proaste.

Un evaluator trebuie să ia în calcul toate aceste aspecte pentru a putea să întreprindă o evaluare corectă a programului și a putea recomanda cele mai bune căi de acțiune pentru remedierea eventualelor neajunsuri. Uneori este suficient să introduci un pas nou în plan pentru a obține o îmbunătățire a rezultatelor programului.

EXERCIȚII:

Obiectivele de bază sunt:

Prezentarea evaluării nevoilor;

Prezentarea metodelor de culegere a datelor;

Prezentarea diferiților indicatori ai unui program.

Ghid de studiu: Modulul prezintă noțiuni și metode privitoare la evaluare. Este foarte important să se înțeleagă importanța evaluării nevoilor, ce metode de aflare a acestora avem, cum putem folosi diferiții indicatori ai programului în evaluare.

Totuși, este preferabil ca problemele să fie anticipate, sau dacă nu se reușește, să fie analizate pe bază rațională de tipul evaluării, care poate contribui la o descriere corectă a naturii problemei, poate identifica cele mai bune căi de soluționare a acesteia și care ar fi șansele de succes în fiecare caz.

În acest context apare, ca o etapă distinctă în procesul de evaluare a programelor, evaluarea nevoilor (needs assessment). Analiza problemelor reprezintă un studiu de evaluare a condițiilor în care un program poate fi construit, răspunzând și la întrebări legate de necesitatea unui anumit program și permite comparații între necesitatea implementării unui program sau a altuia, deci și ierarhizarea acestora.

Întrebarea de bază care se pune în cazul oricărui program este "în ce măsură avem nevoie de acesta?". Răspunsul nu trebuie să pornească de la programul în sine, ci de la problema pe care respectivul program își propune să o rezolve.

Termenul de nevoie se referă la o discrepanță între starea actuală (ce este) și o stare dorită (ce ar trebui să fie). Vom afla nevoile prin compararea stării de fapt actuale cu cea dorită. Identificarea a ceea ce ar trebui să fie este în sine o problemă complicată, depinzând de idealurile societale, dar și de posibilitățile efective. Este important să nu uităm de cadrul de referință al societății în care trăim și să nu încercăm să ducem starea de lucru dorită la nivelul idealului absolut sau al utopicului. De exemplu, care ar fi rostul să încercăm să comparăm venitul românilor cu cel al americanilor? Dintr-o astfel de comparație ar rezulta o uriașă nevoie, dar este aceasta cu adevărat o nevoie?

Tipurile de nevoi care vor fi luate în considerare într-o evaluare pot fi personale, organizaționale sau societale.

De asemenea, datorită comparației cu un stadiu dorit (ce ar trebui să fie), dar și prin includerea în calcul a unor posibile noi evoluții nevoile sunt nu numai cele conștientizate, care pot fi deja articulate sub formă de cereri, dar și nevoi latente, care pot apărea în viitor și trebuie luate în calcul și acestea.

Nevoile pot fi evaluate la trei niveluri, fiecare dintre ele influențându-l pe celălalt:

Nivelul 1 (primar), cel al beneficiarilor programelor: fie cetățenii în general, fie anumite grupe socio-profesionale: tinerii sau persoanele în vârstă, cei care muncesc într-o anumită ramură sau pensionarii, elevii sau studenții, patronii sau angajații, etc.;

Nivelul 2 (secundar), cel al celor care decid asupra programelor sau le implementează: politicieni, funcționari publici de conducere sau execuție, profesori, membri ai unor ONG-uri, etc.

Nivelul 3 (terțiar), al soluțiilor sau al resurselor: clădiri, echipamente, tehnologii, bani, condiții de muncă, etc.

Cel mai important nivel este cel primar, el fiind rațiunea pentru care un program poate exista, de aceea evaluarea nevoilor se concentrează cel mai des la acest nivel, corespunzător scopurilor societății și ale organizațiilor. Nu trebuie uitat însă că fără sprijinul celor de la nivelul secundar programele nu s-ar putea realiza și că pentru a implementa corect un program pot apărea și aici nevoi (de exemplu, un nou program ar putea impune necesități de instruire pentru anumiți membri ai instituției care va desfășura programul). Evaluările desfășurate la nivelul terțiar tind deseori să confunde nevoile cu soluțiile. De exemplu, dacă spunem că instituțiile au nevoie de mai multe calculatoare, greșim: calculatorul poate fi o soluție pentru anumite probleme: stocarea, prelucrarea și regăsirea informației, comunicații, etc.

O corectă evaluare a nevoilor ar trebui să meargă astfel: știm că cetățenii au nevoie de servicii publice mai eficiente (nevoie de NIVEL 1). Pentru ca acest lucru să se întâmple, instituțiile au nevoie de stocarea, prelucrarea și regăsirea mai rapidă a informației, comunicații, poate și de alte lucruri (NIVEL 2). Putem realiza acest lucru prin introducerea de noi calculatoare (soluție, dar și nevoie de NIVEL 3). Prin parcurgerea acestor pași ne asigurăm că urmărim asigurarea nevoilor primare, dar și că nu am omis soluții alternative care ar fi putut să apară la nivelul 2 (poate că alte soluții ar fi fost mai utile - poate că introducerea unui sistem de recompense mai motivant ar putea duce la o creștere mai spectaculoasă a calității serviciului public) sau la nivelul 3 (pot fi găsite alte surse de comunicații, informația poate fi prelucrată de alte instituții sau fără ajutorul unor calculatoare).


Pașii care trebuie întreprinși în fiecare evaluare a nevoilor cuprind:[8]

Fiecare fază presupune îndeplinirea mai multor activități. Astfel:

Identificarea beneficiarilor și a beneficiilor: beneficiarii sunt cei care vor acționa pe baza evaluării nevoilor, precum și cei care pot fi afectați de aceasta. Este recomandabil ca toți aceștia să fie implicați, într-o formă sau alta, în evaluarea efectuată. Este important să se știe și ce potențiale beneficii sunt vizate de cei care vor să acționeze asupra unei probleme, astfel încât soluțiile care vor fi propuse să se concentreze asupra acestor beneficii, nu asupra altora.

Descrierea populației țintă și a mediului acesteia: orice problemă se referă la o anumită populație (care poate fi definită în termeni geografici, economici sau sociali) și la mediul în care trăiește. Este important să știm cât mai multe despre acești oameni, despre condițiile în care trăiesc, despre condițiile în care anumite servicii le sunt deja oferite și în care li se pot oferi altele.

Identificarea nevoilor: în această fază se descriu problemele populației vizate și posibilele soluții. Identificarea trebuie să conțină informații despre stadiul actual și despre rezultatele vizate, dar și despre eficacitatea și fezabilitatea soluțiilor.

Analiza nevoilor: după ce am identificat problemele și soluțiile, acestea trebuie integrate, astfel încât să putem recomanda anumite acțiuni.

Comunicarea: după ce am încheiat analiza, rezultatele trebuie să fie comunicate. Destinatarii nu trebuie să includă doar pe cei care iau decizia și pe cei care o implementează, ci și populația țintă și alte părți interesate, astfel încât toți să poată contribui la rezolvarea problemei.

Datele necesare pentru evaluarea nevoilor pot fi colectate în mai multe feluri. Există trei categorii de bază: analiza documentelor, metode bazate pe comunicare non-interactivă și metode bazate pe comunicare interactivă.


Analiza documentelor


Trebuie menționat rolul foarte important al analizei documentelor în special în faza identificării problemelor.

Documentele care pot fi analizate cuprind:

Date de la recensământ sau din raportările statistice (Comisia Națională de Statistică sau Direcțiile Județene). Aici se găsesc date referitoare la geografie și mediu, populație, forță de muncă, veniturile, cheltuielile și consumul populației, protecție socială, sănătate, educație, activități economice, prețuri, finanțe, etc. Pe baza unor astfel de date am putea afla multe despre populație în general, sau despre anumite comunități teritoriale.

Arhivele și bazele de date ale instituțiilor publice. Fiecare instituție păstrează date despre clienții săi, despre activitățile desfășurate, etc. Astfel de date pot fi foarte utile pentru cei care lucrează cu grupuri țintă care constituie clientela unor instituții. De exemplu, dacă vrem să identificăm nevoile pensionarilor dintr-o localitate, sursa cea mai bună pentru început ar fi Casa de Pensii și Asigurări Sociale.

Datele din altă evaluare a nevoilor sau ale unor cercetări cu un scop mai general. Este important ca datele respective să fie de actualitate și cât mai apropiate de necesitățile noastre. Chiar dacă nu vom găsi prea multe evaluări, mai există și alte cercetări cum ar fi sondajele de opinie publică a căror rezultate sunt publice sau ale căror date brute pot fi obținute.

Un exemplu ar putea fi dat de Barometrul Opiniei Publice realizat de Fundația pentru o Societate Deschisă, sondaj în cazul căruia se pot găsi pe Internet, la adresa www.osf.ro bazele de date ale anchetelor realizate din 1994 încoace.

Pe baza acestor date putem afla, de exemplu, care sunt principalele temeri ale românilor (care sunt o indicație prețioasă a nevoilor românilor):[9]

Principalele temeri ale românilor


Boala


Prețurile


Un război în zonă


Viitorul copiilor


Șomaj


Criminalitate


Tulburări sociale



Metode bazate pe comunicare non-interactivă

Metodele bazate pe comunicare non-interactivă sunt: sondajul de opinie, metoda surselor cheie, tehnica incidentului critic și grupul Delphi.

Sondajul de opinie: este cea mai des întâlnită metodă de colectare a datelor în toate cercetările din științele socio-umane, am prezentat-o pe larg în capitolul 4, Metode de colectare a datelor.

Metoda surselor cheie: Poate cea mai ușoară metodă de a afla care este dimensiunea unei probleme este de a cere estimări din partea persoanelor care sunt cele mai avizate. Mai ales în probleme în care nu avem date oficiale, trebuie să apelăm sursele cele mai avizate, chiar dacă estimările lor nu sunt întotdeauna exacte.

De exemplu, dacă vrem să estimăm numărul de copii ai străzii dintr-un oraș, o posibilitate este să identificăm persoanele care au anumite cunoștințe despre fenomen (fie de la Poliție, de la Direcția de Protecție a Copilului, de la Primărie, de la diferite ONG-uri care lucrează cu copiii străzii, etc.) și să le cerem părerea. Cifrele obținute pot varia foarte mult, oferindu-ne mai multe posibilități: ori prezentăm limita inferioară și cea superioară, ori încercăm să facem o medie, ori încercăm să găsim varianta cea mai credibilă. Trebuie avut în vedere că în diferitele estimări funcționează anumite influențe generate de mediul organizatoric al surselor noastre. Astfel, autoritățile s-ar putea să ofere cifre mai conservatoare, dat fiind faptul că informațiile respective pot fi o măsură a performanței lor instituționale, iar ONG-urile cifre mai ridicate, mai ales din dorința de a arăta importanța muncii pe care o depun.

Tehnica incidentului critic: este legat de observarea și raportarea unor comportamente care au legătură cu performanța unei anumite instituții. Procedura constă în chestionarea ori a angajaților ori a beneficiarilor anumitor servicii despre evenimente pozitive sau negative remarcate în ultima perioadă. În general se cere o descriere a evenimentului, circumstanțele în care s-a întâmplat, finalitatea. După ce acestea au fost colectate, se încearcă gruparea lor pe domenii de activitate, pe posibile cauze, încercând să se identifice ce merge bine, ce prost, în ce domeniu și de ce. O astfel de metodă poate obține rezultate bune mai ales în colaborare cu alte metode.

Grupul Delphi: se referă la aplicarea în mod repetat a unui sondaj asupra aceluiași grup (un astfel de grup se mai numește panel). Numele metodei vine de la cunoscutul oracol de la Delfi, și a fost folosit în același fel, pentru a face prognoze asupra viitorului. În timpul acestei proceduri se urmărește și să aflăm în ce măsură un membru al grupului este de acord cu părerea generală și ce motive are. În final se urmărește atingerea unui consens.

Pașii care trebuie întreprinși sunt:

După ce colectăm răspunsurile vom încerca să analizăm rezultatele. În funcție de numărul de soluții propuse putem să le grupăm în categorii mai restrânse (de exemplu, dacă primim 50 de soluții de îmbunătățire a programului putem să le împărțim pe arii). Unele soluții propuse se resping, fie pentru că nu sunt considerate corespunzătoare, fie pentru că din diferite considerente nu pot fi aplicate. După aceea soluțiile rămase sunt trimise participanților, cu rugămintea ca aceștia să le evalueze, fie alegând cele mai importante trei, fie ierarhizând preferințele, etc.

După ce am primit răspunsurile, le analizăm și le retrimitem participanților sub forma celui de-al treilea chestionar. Presupunând că avem 40 de membri ai grupului, 5 soluții propuse de îmbunătățire a programului într-un anumit domeniu, soluții care au fost deja ierarhizate, chestionarul poate arăta sub forma unui tabel în care să avem rezultatele obținute după sondajul 2 și spațiu pentru o nouă apreciere. O posibilitate ar fi:


Soluția

Număr de membri care au ales soluția pe o anumită poziție

Total puncte

Locul ocupat

Numărul celor care au ales soluția în primele 3 locuri

Apreciere

Poziția






Puncte





















































Pe coloana soluție avem trecut numărul sub care apărea respectiva soluție în chestionarul 2. Se trece pentru fiecare numărul de membri care au ales soluția pe poziția 1, 2, 3, 4 sau 5, numărul de puncte obținute și poziția actuală în preferințe. Coloana "Numărul celor care au ales soluția în primele trei locuri" este un indicator de împrăștiere a răspunsurilor. Ultima coloană ne permite re-evaluarea sau re-ierarhizarea soluției, astfel încât să se ajungă la un consens. Se mai poate adăuga o coloană pentru explicații, care sunt date în momentul în care ierarhizarea propusă de cel care răspunde diferă simțitor de rezultatul grupului. De exemplu, dacă pentru soluția 4, care este cea mai bine cotată, se propune locul 4 sau 5 ar fi bine să aflăm de ce.

Există și o variantă modificată a acestei proceduri. În varianta propusă se desfășoară lucrurile prin poștă, ceea ce presupune un timp mai îndelungat și poate duce la o scădere a numărului participanților (dacă am avut 50 la primul sondaj s-ar putea să avem 30 la al doilea și doar 20 la al treilea, ceea ce scade mult din calitatea cercetării).

Dacă reușim să reunim grupul lucrurile merg mult mai bine. Acest lucru se poate întâmpla ori cu grupurile care se reunesc periodic (cum ar fi ședințe de lucru, cursuri, etc.), caz în care putem desfășura cercetarea în trei întâlniri, sau în cazul în care avem o singură reuniune. De exemplu, în cazul unui masterat putem convoca o conferință de evaluare la finalul primului an. Vom trimite primul chestionar participanților înainte de întâlnire, iar celelalte două se vor desfășura pe parcursul conferinței.


Metode bazate pe comunicare interactivă

Între aceste metode menționăm forumul cetățenilor (sau audierile), tehnica grupului nominal și focus grupul. Principala caracteristică a acestor metode este că pe parcursul desfășurării lor membrii grupurilor interacționează. Această interacțiune poate fi un factor major de modificare a opiniilor și a preferințelor membrilor grupului, fiecare putând fi influențat de opiniile și preferințele exprimate de ceilalți.


Forumul cetățenilor

Deseori este bine ca despre probleme să fie întrebați chiar cei direct interesați: cetățenii. Acest lucru se poate întâmpla în cadrul unor întruniri publice, numite și audieri, în cadrul cărora cetățenii se pot pronunța asupra nevoilor comunității, asupra calității serviciilor primite, pot furniza informații asupra comunității și problemelor sale.

Un forum funcționează cel mai bine în condițiile în care numărul participanților este în jur de 50, dar în anumite cazuri, în anumite comunități și în anumite probleme audiența poate fi mult mai mare. Pentru grupuri largi este absolut necesar ca aceste audieri să fie bine conduse: participanții trebuie să fie informați (preferabil în scris) asupra problematicii generale și asupra liniilor directoare ale întrunirii, trebuie să fie evitate divagațiile, ca nici o intervenție din public să nu dureze prea mult timp.

Rezultatele pot fi: idei asupra a ceea ce este necesar pentru comunitate, o mai bună înțelegere a acesteia, eventual se poate dobândi sprijinul participanților pentru un program sau altul.

Forumurile electronice au o eficiență mult redusă. Cauzele sunt mai multe: datorită anonimității participanților pot apărea opinii extreme, este greu de canalizat discuția spre temele cu adevărat importante, discuția poate fi perturbată de polemici personale între diferiți membri ai forumului, participanții în sine s-ar putea să nu fie suficient de reprezentativi.

Experiența făcută cu Forumul Constituțional în 2003, în care s-a încercat discutarea pe cale electronică a propunerilor de revizuire a Constituției, ne arată că discuțiile purtate acolo au fost de nivel coborât (uneori chiar foarte coborât), audiența a fost în general redusă, ca urmare a discuțiilor nu au rezultat nici propuneri noi, nici argumente noi, nici susținerea nu a crescut.


Tehnica grupului nominal

În acest caz, 6 până la 10 persoane care au cunoștințe despre problema în cauză sunt reunite într-un grup care urmărește să găsească cât mai multe soluții într-un interval de timp cât mai scurt.

În mod tipic, o astfel de ședință începe prin anunțarea regulilor și a problemei. O posibilă enunțare a problemei ar fi:

"Ne-am adunat astăzi aici să aflăm cum s-ar putea îmbunătăți activitatea la programul nostru de masterat. Pentru aceasta vă rugăm pe fiecare să notați pe o foaie de hârtie 4 sau 5 sugestii, exprimate într-o formă cât mai condensată."

După o perioadă de 10-15 minute se trece la faza de colectare a răspunsurilor. Trebuie menționat că dorim să obținem o listă cu posibile soluții, nu să le și discutăm (din acest punct de vedere, această primă parte este similară cu procedura brainstormingului). Fiecare idee este trecută pe listă și se întreabă dacă și alți participanți au avut aceeași idee sau una similară. Dacă da, se numără câți au emis o astfel de idee și participanții sunt instruiți să taie de pe foile lor de hârtie soluția respectivă.

După ce am întocmit lista cu soluții, trebuie să o găsim pe cea mai bună. Pentru a ierarhiza aceste propuneri, există mai multe posibilități:

Fiecare participant alege o variantă preferată punând un X în dreptul ei. Se numără preferințele pentru fiecare soluție și cea care are cele mai multe câștigă (o variantă ar fi ca în cazul în care nu există peste 50% pentru o soluție, primele două clasate să intre în turul II);

Fiecare participant poate alege câte soluții dorește. Se numără preferințele pentru fiecare și cea mai bine clasată câștigă (există și varianta intrării în turul II);

Fiecare participant își ierarhizează preferințele. Dacă avem 10 soluții, pentru clasarea pe locul 1 se acordă 10 puncte, pentru locul 2 9 puncte,..., pentru locul 10 doar un punct. Se adună punctele obținute și soluția care adună cele mai multe puncte câștigă;

Fiecare participant are la dispoziție 100 de puncte pe care le distribuie cum dorește între cele 10 soluții. Se adună punctajele și soluția cu cele mai multe puncte este adoptată;

Se dau note de la 1 la 10 pentru fiecare soluție. Facem media și soluția cu cea mai bună notă finală câștigă.

Procedura în sine poate fi cea care decide câștigătorul. Încă din 1785 Marchizul de Condorcet a emis Teorema Juriului, prin care demonstra că modul de alegere poate influența rezultatul. Problema agregării preferințelor unui grup de persoane se pune cel mai pregnant în cazul alegerilor parlamentare, în care discuțiile pe baza sistemului electoral se învârt în general în jurul beneficiilor pe care fiecare sistem le poate aduce unui partid sau candidat.

Modul în care se alege soluția cea mai bună trebuie să aibă în vedere compoziția grupului care face alegerea. În condițiile existenței unei obiectivități mari se poate apela la metoda 5, a notării, astfel încât fiecare soluție este evaluată și este aleasă soluția cu cele mai mari merite. În condițiile în care se dorește câștigarea sprijinului membrilor grupului se poate apela la variantele 1 sau 2 cu un tur II, astfel încât soluția adoptată să dobândească în cele din urmă sprijinul majorității membrilor grupului.


Focus - grupul

Această metodă este o sub-specie a interviului, anume interviul de grup concentrat asupra unei probleme (de aici provine și denumirea de focus grup).

Metoda s-a folosit inițial în studiile de marketing. Scopul este de a obține informații cât mai în profunzime despre problema studiată. Nu se pune aici problema atingerii unui consens.

Dimensiunea grupului este între 8 și 12 membri, durata recomandată este de circa două ore. Interacțiunile sunt în general între conducătorul grupului și fiecare membru în parte, dar și ceilalți membri mai pot interveni.

În evaluarea nevoilor metoda poate fi folosită în următoarele scopuri:

Conducerea grupului este o mare problemă. O astfel de întâlnire de grup presupune un set de probleme care trebuie atinse, dar altfel desfășurarea este destul de liberă. Conducătorul grupului trebuie să fie un bun ascultător, să-i sprijine pe participanți să-și exprime opiniile, dar în același timp trebuie să aibă o bună capacitate de analiză astfel încât să-și dea seama pe care curs al discuției să-l încurajeze și pe care să-l oprească, ce idei noi apar și cum pot fi aprofundate, să înțeleagă nu doar vorbele participanților, dar și elementele de comunicare non-verbală. În plus, trebuie evitată cu orice preț influențarea membrilor grupului într-o direcție sau alta. În momentul în care conducătorul grupului lasă să se înțeleagă că are anumite opinii despre o anumită problemă, membrii grupului vor fi tentați să-i ofere ce dorește acesta să audă.

Metodele de colectare a informației cel mai des întâlnite în cazul evaluării nevoilor, precum și tipul de informații obținute pot fi descrise astfel:[10]

Surse de date

Descriere

Informații obținute

Arhive:

Recensământ

Indicatori statistici

Baze de date ale instituțiilor

Alte cercetări

Date deja existente aflate în arhivele instituțiilor publice sau private

Date cantitative care ne ajută să aflăm care este starea actuală de fapt; pot apărea și indicații ale unor anumite nevoi

Comunicare non-interactivă:

Sondaje de opinie

Surse cheie

Tehnica incidentului critic

Grup Delphi

Aceste tehnici utilizează forme sau protocoale structurate, o varietate de scale și de modalități de răspuns

Date calitative: valori, percepții, opinii, observații, judecăți de valoare

Comunicare interactivă:

Forumuri cetățenești

Tehnica grupului nominal

Focus grupuri

Aceste tehnici presupun un număr mai mic sau mai mare de persoane implicate în diferite grade de interacțiune

Date în principal calitative: opinii, judecăți ca expert;

percepții și perspective de grup, valori și importanță a nevoilor;

Consens asupra scopurilor sau acțiunilor;

Informație asupra cauzelor;

Decizii asupra priorităților


În practică se folosesc cel mai des sondajele de opinie în rândul beneficiarilor, acestea fiind percepute ca fiind mai profesionale și mai ușor de administrat. Din păcate instrumentul folosit, chestionarul, este lipsit de finețe și rezultatele obținute nu sunt întotdeauna cele mai bune. De asemenea, este greu să surprinzi nevoile latente (care nu au fost conștientizate încă) printr-un sondaj.

De aceea este preferabil ca în limita timpului, a banilor și a personalului pe care le avem la dispoziție să încercăm să îmbinăm cât mai bine cât mai multe dintre metodele menționate mai sus.

După ce am reușit să identificăm nevoile, le-am analizat, am reușit să ierarhizăm soluțiile, acestea ar trebui să și fie puse în practică. Evaluarea nevoilor se încheie prin faza în care se comunică rezultatele. Aceasta se face de obicei printr-un raport scris care trebuie să cuprindă într-o formă cât mai inteligibilă toate rezultatele evaluării, incluzând și recomandări de acțiune. Acest raport trebuie prezentat tuturor celor interesați. Este bine ca raportul să fie și discutat cu cei care vor decide și cei care vor implementa soluțiile, astfel încât aceștia să fie direct implicați în forma finală a raportului și să se poată simți implicați în evaluare și în recomandările de acțiune.

Lipsa unei bune comunicări poate duce la eșec. O evaluare a nevoilor poate fi oricât de bună, dar dacă recomandările nu sunt urmate rămâne un exercițiu inutil.

Unitatea 2 Indicatorii programului

Obiective:

Indicatori simpli

Indicatorii unui program pot fi definiți drept orice valori care pot fi calculate sau măsurate și care ne pot da informații despre gradul de succes al îndeplinirii obiectivelor unui program.

Obiectivele sunt așteptări exprimate în termeni cantitativi (de exemplu, se așteaptă o creștere economică anuală de 5%) iar indicatorii sunt măsurători reale, (indicatorul creștere economică se măsoară la trecerea unui an de la anunțarea obiectivului; dacă este mai mare sau egal cu 5%, obiectivul a fost îndeplinit). Pot exista mai mulți indicatori pentru fiecare obiectiv și de aceea este foarte important ca indicatorii propuși să fie cu adevărat cele mai bune măsuri ale îndeplinirii obiectivelor.

Indicatorii pot fi grupați în șapte mari categorii: beneficii sociale (BS), costuri sociale (CS), rezultate (R), beneficiile programului (BP), costurile programului (CP), outputuri (O) și inputuri (I).

Indicatori sociali

Un indicator social cum ar fi beneficiile sociale sau costurile sociale se referă la societatea ca întreg, nu doar la organizația sau instituția care desfășoară programul. În general, efectele oricărui program se regăsesc la nivelul întregii societăți, nu doar la nivelul celor direct implicați. De exemplu, un program de construcție a unei autostrăzi Cluj-Oradea va avea efecte nu doar în domeniul transporturilor și nu doar pentru cei care vor beneficia de noua construcție. Efectul se va regăsi și în domeniul dezvoltării economice (cu toate consecințele sale) pe ruta autostrăzii și, posibil, într-o scădere economică în zona vechii căi de acces dintre cele două orașe.

În domeniul indicatorilor sociali trebuie să avem o relație cauză-efect clară între programul în sine și beneficiile și costurile sociale. De exemplu, dacă după construcția autostrăzii respective, în zonă se înregistrează o creștere economică de 8%, suntem siguri că se datorează doar autostrăzii? Trebuie luate în calcul și alte elemente: nivelul creșterii economice generale, poate că există alte programe publice sau private care duc la creșterea economică, poate că vremea mai bună a contribuit la creșterea recoltei, poate că s-au descoperit în zonă zăcăminte de petrol, etc.

Pentru a determina beneficiile sociale avem nevoie de măsurarea creșterii veniturilor sau averilor personale sau publice care s-a realizat datorită programului respectiv precum și determinarea posibilelor economii (publice sau private) datorită acelui program.

Costurile sociale cuprind resursele consumate în timpul desfășurării programului, plus scăderea veniturilor sau averilor și cheltuielile suplimentare care apar datorită programului.

În momentul în care beneficiile sociale depășesc costurile sociale respectivul program se justifică și organizația care-l desfășoară are o contribuție pozitivă pentru societate.

În principiu acesta ar trebui să fie modul cel mai potrivit de evaluare a programelor din domeniul public; în realitate, datorită dificultății măsurării acestor indicatori, utilitatea practică este încă îndoielnică.

Rezultatul

Rezultatul (outcome) unui program este diferit de cel al unei firme private. Pentru aceasta din urmă scopul principal este profitul și rezultatul oricărei activități ar trebui să se traducă în profit. Pentru sfera publică se preferă exprimarea rezultatelor dorite într-o formă non-financiară.

De exemplu, pentru un program de învățământ superior (cum ar fi un program de masterat) scopul este de a oferi un serviciu educațional. Înțelesul cuvântului educație este extrem de larg, mergând de la sensurile cele mai largi până la unele restrânse.

În sensul cel mai restrâns (prea des întâlnit în mentalitatea unor studenți și nu numai) educația se referă doar la obținerea diplomei. Avem astfel un prim indicator: Numărul de absolvenți.

Educația presupune și faptul că pregătim forță de muncă, astfel că un alt indicator este Numărul de studenți care și-au găsit slujbe conforme pregătirii lor.

Un proces de învățământ poate presupune și trezirea sau creșterea interesului pentru cunoaștere, și de aceea Numărul studenților care își continuă studiile poate fi un bun indicator.

Acești indicatori sunt indicatori de bază, relativ ușor de măsurat. Mai greu de măsurat sunt indicatorii care reflectă mai fidel valoarea programului educațional cum ar fi:

Creșterea nivelului de cunoștințe pe parcursul studiilor;

Succesul profesional pe care-l înregistrează după terminarea studiilor, măsurat pe mai mulți ani;

Valoarea respectivelor studii, după opinia absolvenților, la fel, măsurată pe mai mulți ani.

Trebuie să fim foarte atenți în momentul în care alegem indicatorii. Pentru o universitate este important să aibă mulți studenți la fiecare program de învățământ, dar acesta nu este un indicator absolut al succesului. Acest număr mare poate proveni dintr-un număr mare de locuri scoase la concurs (mai ales dacă acestea sunt locuri finanțate de la buget), din valoarea taxei de studii (la 1000 de euro/an vor veni mai puțini candidați decât la 600), etc. Acest indicator poate deveni cu adevărat relevant doar în momentul în care este pus în relație cu alții.

Beneficiile programului

Indicatorul Beneficiile programului (BP) este măsura financiară a rezultatului programului. Beneficiile sunt direct măsurabile și se referă la resursele sau veniturile generate de program.

Revenind la exemplul unei instituții de învățământ, beneficiile unui program pot include:

Taxele de școlarizare;

Alocații bugetare - chiar dacă din punctul de vedere al guvernului ar putea fi considerate costuri;

Granturi, sponsorizări, donații.

Chiar dacă scopul unei universități (mai ales al uneia de stat) nu este acela de a genera beneficii, acestea nu pot fi neglijate, pentru că doar pe baza acestora se poate desfășura activitatea de bază - educația. În general, toate instituțiile încearcă să obțină venituri proprii și să se bazeze cât mai puțin pe alocațiile sau transferurile bugetare. Gradul în care se reușește (în condițiile în care legislația permite) poate constitui un indicator de succes.

Costurile programului

Costurile programului (CP) sunt măsura financiară a resurselor consumate pentru desfășurarea programului. Cele mai des întâlnite costuri sunt:

Cheltuielile de personal - salariile personalului;

Cheltuieli administrative;

Cheltuieli de capital sau investiții.

Cheltuielile programului sunt foarte ușor de calculat, în general putând fiind luate din cifrele contabile. Doar în măsura în care aceeași resursă este folosită de mai multe programe trebuie găsit un mod de împărțire a cheltuielilor aferente (de exemplu, dacă în aceeași clădire funcționează două programe de învățământ, cheltuielile administrative de genul încălzire, apă, electricitate pot fi împărțite ori în funcție de numărul de studenți, ori în funcție de suprafața pe care o ocupă fiecare facultate sau program de învățământ).

Outputul

Outputul este o măsură non-financiară a activităților întreprinse. În cazul universității ar putea exista următorii indicatori:

Numărul de studenți;

Numărul de ore de curs predate;

Numărul de studenți care au apelat la Serviciul de Orientare Profesională.

Trebuie făcută diferența între output și rezultat. Numărul de studenți (indicator de output) ne spune cât de mare este activitatea universității; numărul de absolvenți (indicator al rezultatului) ne spune care este rezultatul acelei activități.

Între output, rezultat și scopul programului relația poate fi reprezentată astfel:



Inputul

Indicatorii de input sunt măsuri non-financiare ale resurselor consumate în desfășurarea programului. În același exemplu, al unei universități, la capitolul input putem avea indicatori cum ar fi:

Numărul de cadre didactice;

Spațiile de învățământ;

Numărul de calculatoare;

Numărul de cărți din bibliotecă;

Numărul de cadre auxiliare și personal administrativ;

Etc.

Trebuie spus că o parte din indicatorii de mai sus sunt indicatori de bază după care Comisia Națională de Evaluare Academică și Acreditare acordă autorizări și acreditări pentru programele de învățământ.

O presupunere destul de des întâlnită este că fiecare creștere a inputului se va regăsi într-o creștere a outputului (și mai încolo în rezultate și în îndeplinirea scopului). Acest lucru este în general adevărat, dar nu întotdeauna și nu trebuie generalizat sub forma: "unica posibilitate să obținem rezultate este să mărim inputurile".

Toți acești indicatori de mai sus pot fi rezumați astfel:

Un indicator de eficacitate este o măsură a performanței exprimate în termenii rezultatelor. Performanța este o măsură a progresului înspre îndeplinirea unor obiective măsurabile. Indicatorii de eficiență sunt măsuri ale activităților întreprinse într-un program, încercând să ne răspundă la întrebarea dacă resursele au fost cheltuite în mod corect.

Pentru fiecare indicator este posibil să se construiască ținte de performanță. Pentru exemplul nostru, vom construi câteva obiective de performanță.


Beneficii/Costuri Sociale(BS/CS), care constituie cel mai bun indicator al eficacității societale a unui program;

Beneficii/Costuri (BP/CP) ne permite măsurarea financiară a beneficiilor în raport cu costurile;

Rezultate/Output (R/O) este o măsură non-financiară care ne permite să măsurăm rata de succes a programului;

Rezultate/Cost (R/CP) ne permite să aflăm costul eficacității;

Outputuri/Inputuri (O/I) este un indicator de utilizare a resurselor;

Outputuri/Costuri (O/CP) ne furnizează costul cu care obținem o unitate de output;

Inputuri/Costuri (I/CP) ne arată care sunt costurile obținerii resurselor.

Indicatorii Beneficii/Costuri constituie baza a ceea ce se numește analiza cost-beneficiu.


Analiza cost-beneficiu și analiza cost-eficiență

În momentul în care trebuie decis ce program să fie pus în aplicare, sau trebuie evaluat modul în care funcționează programele deja existente trebuie să vedem ce beneficii aduc sau pot aduce acestea și cu ce costuri.

Două metode de a măsura eficiența unui program sunt analiza cost-beneficiu (ACB) și analiza cost-eficiență (ACE). Diferența dintre cele două metode provine din modul în care exprimăm rezultatele programului. În ACB acestea sunt reprezentate în termeni bănești, iar în ACE în termeni concreți. De exemplu, pentru un program de reducere a numărului de fumători, analiza cost-beneficiu se va concentra asupra diferenței dintre banii cheltuiți pe programul anti-fumat și beneficiile provenite din reducerea costurilor medicale asociate bolilor datorate fumatului, câtă vreme analiza cost-eficiență se va referi la suma cheltuită pentru fiecare fumător care s-a lăsat.

Respectivele metode sunt folosite de multă vreme, începând în SUA prin Flood Act Control (1937), ulterior găsindu-și aplicarea în tot mai multe arii, de la Planning, Programming and Budgeting System, sistem de construire al bugetelor aplicat din anii '60, la programe finanțate de Banca Mondială ș.a.

O primă problemă legată de metodologia analizelor de eficiență se referă la măsurarea costurilor și beneficiilor.

Trebuie spus că există mai multe puncte de vedere din care putem calcula costurile și beneficiile unui program. Să luăm cazul unui program de învățământ (un masterat cu durata de 1 an): avem trei părți implicate: studenții, statul și organizația care-l desfășoară, o universitate (cifrele sunt imaginare, reprezentând costurile și beneficiile pentru 1 student, de obicei se preferă folosirea cifrelor totale). Evaluarea se poate face din punctul de vedere al fiecărei părți implicate.


Studenți


Statul


Universitatea


Beneficii

Câștiguri după absolvire


Creșterea încasărilor din taxe pe venit


Alocația bugetară





Scăderea ajutoarelor de șomaj




Total B







Costuri

Cazare, transport


Alocația bugetară


Personal







Administrative


Total C







B/C







B-C








Analizând rezultatele vedem că același program are rezultate diferite din punctul de vedere al diferitelor părți interesate. Pentru studenți există mai multe beneficii decât costuri, universitatea cheltuiește tot ce câștigă, iar statul, sponsorul programului, pierde. În momentul în care un program se dovedește ineficient din punct de vedere economic, acesta trebuie regândit.

Statul are mai multe posibilități: ori să reducă alocația bugetară pentru fiecare student (ceea ce în linii mari se și întâmplă, fie direct - ceea ce afectează beneficiile universității, fie indirect - prin limitarea numărului de studenți bugetați, ceea ce duce spre un număr tot mai mare de studenți cu taxă - împingând costurile pe seama studenților), ori să mărească încasările din taxele pe venit (ceea ce e mai greu: nu se pot mări impozitele, dar nici absolvenții nu prea au cum să obțină slujbe mai bune).

Se poate observa că este mai greu să calculăm beneficiile și costurile pentru nivelul social (sau al statului): este greu de aflat cu cât ar câștiga mai mult un absolvent de masterat, dacă nu am măsurat acest lucru pe mai mulți ani; la fel stăm și cu estimarea scăderii alocației de șomaj primite: nu știm dacă după terminarea unei facultăți un absolvent își va petrece o anumită perioadă de timp în șomaj, deci nici ce sumă economisește statul dacă acesta se înscrie la un masterat.

Este greu de calculat cum se traduc anumite rezultate în termeni bănești. Problema este cea mai spinoasă când vorbim de valoarea unei vieți omenești. Putem să facem anumite calcule, cum ar fi impozitele pe care le plătește un om în toată viața lui, deci și ce valoare se pierde dacă acesta moare cu 10 ani înainte de a-și încheia "activitatea" de contribuabil, dar nici un program nu-și poate propune să cheltuiască doar o anumită sumă pentru o viață umană. Există alte programe pentru care este iarăși greu de transformat beneficiile în bani. Să luăm exemplul unui program de alfabetizare desfășurat într-o comunitate de rromi. Cum stabilim valoarea atașată alfabetizării unei persoane? Este practic imposibil să aflăm. Rezultatele se pot converti în bani pe mai multe criterii:

pe baza valorii de piață a serviciului/produsului oferit, lucru realizabil doar în condițiile în care pe piață există astfel de programe (ar fi valabil pentru training, învățământ, servicii sanitare, în general acolo unde statul nu deține monopolul);

pe baza deciziilor politice luate până atunci: dacă raportăm beneficiile la un cost mediu al programelor aprobate deja în domeniul studiat. Apare problema instabilității criteriilor care au stat la baza aprobărilor date;

pe baza dorinței de a plăti o anumită sumă pentru un anumit serviciu (în engleză Willingness to Pay - WTP). Acest lucru se poate constata pe baza unui sondaj de opinie prin care să aflăm cât ar fi dispuși să plătească posibilii beneficiari ai unui astfel de serviciu.

O altă problemă apare în momentul în care un program se desfășoară pe mai mulți ani: cea a deprecierii valorii, a diferenței între banul pe care-l ai astăzi și banul pe care-l vei obține mâine. 1 miliard de lei înseamnă mai mult astăzi decât va însemna mâine și mai puțin decât a însemnat ieri. În plus, banul de astăzi va reprezenta mai mult peste o anumită perioadă chiar dacă-l ținem doar în bancă (datorită dobânzilor). Pentru a aduce valoarea la un numitor comun trebuie introdus un factor de depreciere anuală, care este, din punct de vedere conceptual, inversul dobânzii. Pentru programele federale din SUA acesta este fix, de 7%. În România ar fi mai greu de calculat, pentru că inflația a fost diferită în fiecare an și în plus mai există această depreciere. Probabil că o soluție ar fi ori raportarea la dobânda stabilită de BNR (incluzând și deprecierea), ori, pentru programele deja desfășurate, convertirea în dolari și aplicarea deprecierii anuale de 7%. Acest factor de depreciere poate influența mult ACB, pentru că multe programe încep prin cheltuieli masive la început (pentru construcția sau achiziția de clădiri, echipamente, ș.a.), iar beneficiile încep să apară după câțiva ani.

Valoarea prezentă a beneficiului de peste n ani în condițiile unei deprecieri d se poate calcula astfel:

Pentru o depreciere de 10% în 5 ani valoarea prezentă va fi de doar 62% din suma corespunzătoare beneficiului.

Un alt element care intră în calcul este cel al costurilor de oportunitate. Costul de oportunitate reprezintă valoarea beneficiilor care s-ar fi realizat dacă banii ar fi fost cheltuiți în alt fel. Este destul de clar că banii respectivi puteau fi cheltuiți pe alt program, care ar fi putut aduce beneficii. Aceste beneficii nerealizate trebuie incluse în analiza noastră la capitolul costuri. O altă posibilitate ar fi ca banii respectivi să fi fost transferați de la un alt program. Să presupunem că ar fi transferați din bugetul programului transportului în comun. În consecință s-ar putea să fie amânată cumpărarea de noi autobuze, deci și scoaterea din funcțiune a unor autobuze învechite, ceea ce presupune costuri suplimentare pentru întreținerea și repararea lor. Această sumă suplimentară ar trebui luată în calcul ca și cost al programului nostru.


Evaluarea multi-atribut

Evaluarea multi-atribut (Multiattribute Utility Technology - MAUT) este o tehnică aplicată în procesele de luare a deciziei pentru stabilirea celei mai bune alternative în condițiile existenței unor criterii diferite.

MAUT poate fi folosită și în evaluare, atât în evaluarea programelor viitoare, cât și în cea a celor deja existente. Avantajul este că putem include în analiză mai multe tipuri de rezultate (știm că un program dă de obicei mai mult de un singur rezultat, voit sau nu) și să obținem la sfârșit o singură evaluare.

Pentru a ajunge la acest lucru se întocmește o listă de rezultate, pentru fiecare având stabilit un minimum și un maximum. Rezultatele se trec în funcție de distanța la care se află de minimum și de maximum, astfel încât să avem o scală comună și realizând o estimare a rezultatului. După aceea se trece la acordarea unei importanțe fiecărui rezultat (de exemplu un rezultat poate avea o importanță de la 1 la 10). Prin înmulțirea importanței cu estimările rezultatelor obținem cifrele finale.

Să presupunem că avem două programe de învățământ.

Programul A are 400 de absolvenți, dintre care și-au găsit locuri de muncă în specialitatea lor în proporție de 50%. Programul B a avut 200 de absolvenți, s-au angajat în specialitatea lor în proporție de 75%. Care program este mai bun?

Observăm că avem două rezultate diferite: număr de absolvenți și angajare în specialitate.

În cazul procentului angajării putem spune că minimum este 0 și maximum 100%, deci lăsăm cifrele așa cum sunt.

Numărul minim sau maxim de absolvenți ar putea fi calculat în mai multe feluri. Cel mai simplu este să luăm 0 ca minim și 400 ca maxim. Programul A va avea 100%, iar programul B 200/400X100%=50%.

Obținem următorul tabel cu rezultate exprimate în aceeași unitate de măsură (%).


A

B

Număr de absolvenți



Angajare în specialitate




Urmează să ne stabilim prioritățile. Aici există un proces destul de sensibil. Fiecare organizație își are setul său propriu de valori, propriile obiective. S-ar putea ca organizația A să pună accentul pe numărul mare de absolvenți în dauna calității, iar organizația B să prefere calitatea. Evaluatorii s-ar putea să aibă un set de valori diferit, fie propriu, fie influențat de beneficiarii evaluării.

Presupunând că se ajunge la un consens asupra acordării unei importanțe de 2 numărului de absolvenți și de 3 procentului de angajări (deci preferând într-o oarecare măsură calitatea asupra numărului).


A

B

Număr de absolvenți*2



Angajare în specialitate*3



Total




Programul B, care a totalizat 385 de puncte va fi mai bun decât programul A, care are doar 350.

EXERCIȚII

Robert D. Behn, Why measure performance? Different purposes require different measures Public Administration Review, 2003, Nr. 5 vol. 63, p. 588

***, Working Paper 3, Indicators for Monitoring and Evaluation: an Indicative Methodology, European Commission, DGXVI

Adaptare după Belle Ruth Witkin, James W. Altschuld, Planning and Conducting Needs Assessments. A Pratical Guide, Sage Publications, 1995, p. 62

H. Chen, P. Rossi., Issues in the theory-driven perspective, în Evaluation and program planning, vol. 12, n. 4, 1989, p. 299

Carol Weiss,Where Politics and Evaluation Research Meet, în D. Palumbo (ed.), The politics of program evaluation, Sage, 1987, p. 46

Nicoletta Stame, Why a movement for theory in evaluation? European Evaluation Society Fifth Conference, Seville, 10-12 October 2002, p. 7

Indicele Satisfacției Consumatorului American. Sursa: www.theacsi.org/model.htm

Adaptare după Jack McKillip, Need Analysis: Process and techniques, în L. Bickman, D. J. Rog (editori), Handbook of Applied Social Research Methods, Sage, 1998, p. 261-284

Fundația pentru o Societate Deschisă, Barometrul Opiniei Publice, Octombrie 2003, www.osf.ro

Adaptare după Belle Ruth Witkin, James W. Altschuld, op cit p. 48




Document Info


Accesari: 1129
Apreciat: hand-up

Comenteaza documentul:

Nu esti inregistrat
Trebuie sa fii utilizator inregistrat pentru a putea comenta


Creaza cont nou

A fost util?

Daca documentul a fost util si crezi ca merita
sa adaugi un link catre el la tine in site


in pagina web a site-ului tau.




eCoduri.com - coduri postale, contabile, CAEN sau bancare

Politica de confidentialitate | Termenii si conditii de utilizare




Copyright © Contact (SCRIGROUP Int. 2025 )