Nr 28

Laadi alla

Jaga

Prindi

Tulemuseelarvestamise mõjud ja ohud *

  • Ringa Raudla

    Ringa Raudla

    Tallinna Tehnikaülikooli Ragnar Nurkse innovatsiooni ja valitsemise instituudi fiskaalse valitsemise professor

Tulemuste mõõtmise süsteemi kujundades tuleb põhimõtteliselt otsustada, kumb eesmärk on olulisem, kas vastutuse suurendamine või tulemuste sisuline parandamine.

Tulemuseelarvestamine (performance budgeting, performance-based budgeting) on suhteliselt lai mõiste, mille alla võib paigutada mitmeid lähenemisi, kuidas tulemusi ja eelarvestamist omavahel tihedalt seostada (Curristine 2005a,b; OECD 2005; Schick 2003, 2007). Kõige kitsama ja rangema definitsiooni järgi mõistetakse selle all eelarvestamise protsessi, kus asutustele või tegevustele ettenähtud eelarveeraldiste suurus on otse seotud planeeritavate või saavutatud tulemustega (kõige äärmuslikumal juhul on eraldise suurus pandud sõltuvusse matemaatilisest valemist, mis arvestab mõõdetavate tulemuste saavutamist). Kõige laiema definitsiooni kohaselt mõistetakse tulemuseelarvestamise all tulemusinfo lisamist eelarvetaotlustele ja eelarveseadusele (presentational performance budgeting), ilma et see tingimata mõjutaks eelarveotsuste tegemist. Tulemusinfo võib kätkeda teavet poliitikate lõplike mõjude ja tulemuste, aga ka väljundite, tegevuste ja töökoormuse kohta.

Nende kahe variandi vahele jääb tulemustest informeeritud eelarvestamine (performance-informed budgeting), mille puhul tulemusinfot kasutatakse süstemaatiliselt eelarveotsuste tegemisel, aga tulemusinfo ei määra üheselt eelarveeraldiste suurust, vaid on üks tegureid eelarveotsuste tegemisel.

Tulemuseelarvestamise rakendamine kitsa definitsiooni kohaselt tähendab eelarveliigenduse muutmist (ja eraldiste tegemist väljund- või lõpptulemuste alusel), nii-öelda pehmemate variantide puhul on tulemuseelarvestamise ideed võimalik rakendada ka eelarveformaati muutmata. Laia definitsiooni järgi on tulemuseelarvestamine kasutusel paljudes OECD riikides; kitsa järgi vaid vähestes (ja nendeski ainult mõnes poliitikavaldkonnas).

Eestis on tulemusinfo eelarvedokumentatsioonile lisatud 2003. aastast alates. 2002. aastal tehtud riigieelarve raamseaduse muudatuste kohaselt peavad ministeeriumid esitama koos eelarvetaotlusega rahandusministeeriumile valitsemisala tegevuskava, mis toob välja järgmiseks aastaks seatud eesmärgid ja tegevused. Tegevuskavades esitatud informatsioon on harilikult välja toodud riigieelarve eelnõu seletuskirjas (või seletuskirja lisas). Ka riigieelarve strateegiates on viimastel aastatel välja toodud järjest rohkem tulemusinfot. Seega võib väita, et Eestis juba rakendatakse tulemuseelarvestamist selle kõige laiemas tähenduses, mille kohaselt tulemuseelarvestamine võib viidata ka süsteemile, kus tulemusinfo lisatakse tavapärasele sisendipõhisele eelarvedokumentatsioonile.

Siiski on rahandusministeerium võtnud eesmärgi arendada tulemuseelarvestamise reformi Eestis edasi ning liikuda süsteemi poole, kus eelarveressursid oleksid selgelt ja otse seostatud saavutatud või saavutatavate tulemustega. Rahandusministeeriumil valmis 2007. aastal „Riigi finantsjuhtimise arendamise kontseptsioon”, kus muude reformide hulgas pakuti välja üleminekut tulemuspõhisele eelarvestamisele, mis tooks kaasa eelarveformaadi (s.t eelarveseaduse liigenduse) muutmise tulemuspõhiseks. Reformiplaani tutvustati valitsuskabinetile 2008. aasta jaanuaris, kuid see ei leidnud esitatud kujul heakskiitu (Riigikontroll 2012, 3). Vahemikus 2009–2012 tellis rahandusministeerium tulemuseelarvestamise reformi kujundamiseks analüüse ja viis läbi pilootprojekte (Raudla 2013a). Riigikontrolli auditiraport (Riigikontroll 2012, 4–5) märgib, et valitsuselt selget suunist saamata on rahandusministeeriumi tegevus finantsjuhtimise arendamisel olnud „eesmärgistamata ja heitlik”.

Artikli eesmärk on anda panus arutellu tulemuseelarvestamise mõttekuse ja vajalikkuse üle Eesti kontekstis ning tuua välja teemapunkte, mis diskussioonides on kõrvale jäänud või vähem tähelepanu saanud (Raudla 2013b).Rahandusministeeriumi tehtud ja tellitud analüüsid on keskendunud peamiselt tulemuseelarvestamise eelistele, reformi võimalikud varjupooled on jäänud pigem tagaplaanile. Artikkel püüab seda lünka täita ning anda teaduskirjanduse põhjal − mis suures osas tugineb teiste riikide kogemusele − ülevaate tulemuseelarvestamise kui süsteemiga kaasnevatest mõjudest, probleemidest ja ohtudest, mida tasuks edasise tulemuseelarvestamise reformi planeerimisel Eestis silmas pidada. Tulemuseelarvestamise juhtivaks riigiks peetakse Uus-Meremaad, kus sellega hakati katsetama 1980. aastatel, järgnesid 1990. aastatel Austraalia, Kanada, Taani, Soome, Holland, Rootsi, Suurbritannia ja Ameerika Ühendriigid.

Tulemuseelarvestamine võib kaasa tuua probleeme

Tulemuseelarvestamise reformi idee on mõneti paradoksaalses olukorras. Ühelt poolt on seda kiitnud (ja kiidavad) rahvusvahelised organisatsioonid, juhtimiskonsultandid ja mõned teoreetikud. Teisalt on suur osa akadeemilisi uuringuid väga kriitilised. Seniste kogemuste põhjal väidab näiteks üks ­mõjukaid eelarveprotsesside uurijaid Allen Schick (2007, 121), et tulemuseelarvestamine on eri riikides eri ajal mitu korda läbi kukkunud. Seega tuleks reformi kaalumisel, kujundamisel ja elluviimisel olla ettevaatlik, sest nagu muudegi haldusreformide moevoolude puhul võib tulemuseelarvestamine tuua kaasa probleeme ja negatiivseid tagajärgi, mida järgnevalt käsitletakse.

Kas tulemusinfo on üldse kasulik sisend eelarveotsuste tegemiseks?

Tulemuseelarvestamise pooldajad väidavad, et eelarvestamine peaks olema ratsionaalne ja eelarveprotsess järgima ratsionaalse otsustamise mudeli etappe. Paljud eelarvestamise uurijad on rõhutanud, et eelarvestamine on paratamatult poliitiline protsess ja naiivsed katsetused seda protsessi üliratsionaalseks teha on määratud läbikukkumisele (Joyce 1993, 2008; Wildavsky 1966, 1969, 1978, 1992). Suur hulk uuringuid, mis on analüüsinud, kas ja mil määral eelarveprotsessi osalised tulemusinfot eelarveotsuste tegemisel arvesse võtavad, on järeldanud, et tulemus­infol on eelarveotsuste mõjutamisel ainult piiratud (või lausa olematu) roll (Andrews 2004; Andrews, Hill 2003; Cunningham, Harris 2005; Curristine 2005a,b; 2007a,b; De Lancer Julnes 2006; Gomez, Willoughby 2008; Jordan, Hackbart 1999; Joyce 2008; Kelly, Wanna 2004; Melkers, Willoughby 2001; Moynihan 2006; Rubin 1988; Scheers et al 2005; Sterck 2007; Sterck, Scheers 2006; Ter Bogt 2004; Willoughby, Melkers 2000; Zaltsman 2009).

Theresa Curristine (2007a, 127) mainib, et ka nendes riikides, kus tulemuseelarvestamist on pikka aega katsetatud, on tulemusinfo tegelik kasutamine eelarveotsuste tegemisel puudulik. Ka Allen Schick (2007, 114, 119) on mitme riigi kogemuste põhjal väitnud, et üleminekul tulemuspõhisele eelarvestamisele arvestatakse senised eelarveread ümber programmi-, tegevus- või väljundipõhiseks, ilma et tehtaks sisulisi muudatusi ressursside tegelikus jaotuses. Eriti selgelt on tulemusinfo piiratud kasutamise probleem välja tulnud keskvalitsuse
tasandil. Uuringud on leidnud, et eriti piiratult kasutavad tulemusinfot eelarvestamises poliitikud (Curristine 2007a,b; Moynihan 2006; Sterck 2007; Ter Bogt 2004), samal ajal kui tulemusinfo võib vähemalt mingil määral mängida rolli riigiasutuste siseste otsuste tegemisel (Curristine 2007b; OECD 2005); rahandusministeeriumid jäävad eelarveläbirääkimistel tulemusinfo kasutamise sageduselt nende kahe vahele (Curristine 2007b).

Eesti kontekstis tehtud analüüsid kinnitavad paljuski teiste riikide kohta tehtud uuringutes leitut. Ringa Raudla (2012) uuringus intervjueeriti Riigikogu rahanduskomisjoni liikmeid; vastustest selgus, et täidesaatva võimu pakutav tulemusinfo ei mõjuta Riigikogu riigieelarvearutelude käigus tehtavaid otsuseid. Riigikontrolli (2012) tehtud audit „Vabariigi Valitsuse tegevus oma töö mõjude hindamisel ja tulemustest aruandmisel” tõi välja, et tulemusinfot kasutatakse piiratult ka rahandusministeeriumi ja teiste ministeeriumite vahelistel eelarveläbirääkimistel.

Miks on tulemusinfo kasutamine jäänud piiratuks?

Nende empiiriliste uuringute tulemuste puhul on õigustatud küsimus: miks on tulemusinfo kasutamine eelarveotsuste tegemisel jäänud nii piiratuks? Kirjanduses on sellele erinevad (ja üksteist täiendavad) vastused.

Esiteks, eelarvestamine on olemuselt poliitiline protsess. Seega on paratamatu, et poliitikud võtavad eelarveotsuste tegemisel arvesse muid tegureid peale tulemusinfo (nt soovi saada tagasi valitud, ideoloogilisi kaalutlusi, valijatele antud lubadusi, sümboolseid argumente, ühiskondlikke väärtusi, vajadust tagada kontroll ja läbipaistvus jne) (Bourdeaux 2008; Cunningham, Harris 2005; Joyce 1996; Rubin 1993; Ter Bogt 2004; Wildavsky 1966, 1969, 1978, 1992; Gomez, Willoughby 2008). Tulemusinfo võib nende tegurite kõrval küll rolli mängida, kuid oleks naiivne loota, et demokraatliku riigikorra puhul saaks tulemus­info eelarveotsuste tegemisel domineerivaks (Wildavsky 1966, 1979, 1992).

Teiseks, paljud kulutused riigieelarves on nii-öelda kohustuslikud kulud (s.t määratud seadustega), mistõttu eelarveeraldiste muutmine tulemusinfo kohaselt võib olla raskendatud (Pitsvada, LoStracco 2002).

Kolmandaks, eelarveprotsessi iseloomustab see, et suhteliselt lühikese aja jooksul tuleb otsusetegijail läbi töötada väga palju informatsiooni ja jõuda perioodi lõpuks konkreetse dokumendini (Hatry 2002). Kuna tulemusinfot on raske ja kulukas koguda, analüüsida ja tõlgendada, võib tulemusinfo lülitamine eelarveotsuste tegemisse käia protsessi osalistel üle jõu piiratud või puuduvate inim-, aja-, raha- ja analüütiliste ressursside tõttu (Andrews 2004; Andrews, Hill 2003; Caiden 1998; Frank, D’Souza 2004; Grizzle, Pettijohn 2002; Rivenbark, Kelly 2000; Van Dooren 2011).

Neljandaks, kui püüda tulemusinfot eelarve­eraldiste puhul arvesse võtta, siis on otsusetegijad vastamisi järgmise dilemmaga: kui mingi asutus pole seatud eesmärki saavutanud (seega on selle tulemuslikkus olnud puudulik), siis kas see tähendab, et asutusele antavaid rahalisi ressursse tuleks kärpida või pigem neile raha juurde anda (Caiden 1998)? Võib-olla ei saavutatud tulemusi just seetõttu, et asutusel nappis vahendeid ja tulemuste parandamiseks oleks neid juurde vaja. Tulemusinfo üksi (eriti kui see on esitatud hetkeseisu jäädvustavate indikaatoritena) sellele küsimusele enamasti vastust ei anna; pigem oleks küsimusele vastamiseks vaja teha põhjalikke hindamisi ja süvaanalüüsi. Veelgi enam, riigi tegevused mõjutavad ühiskondlikke tulemusi ainult osaliselt, seega oleks ebaõiglane panna asutuse juht vastutama nende tulemuste eest ning seada rahaeraldised seosesse saavutatud tulemustega (Kong 2005; Mayne 2007, 98; Pollitt 2001, 15). Paljud poliitilised eesmärgid (nt vaesuse leevendamine, kuritegevuse vähendamine, majanduse arendamine jms) on nii-öelda igavesed ning kui mingil aastal riigiasutused neid eesmärke ei saavuta, ei tähenda see, et nende tegevuseks antavaid ressursse tuleks kärpida (Caiden 1998, 15, 23; Curristine 2007a, 133).

Viiendaks, avaliku sektori kontekstis on raske välja tuua lihtsaid ja lineaarseid seoseid valdkonnale või tegevusele antavate ressursside ja tulemuste vahel, mida nende vahenditega saavutatakse. Näiteks kui koolilõunatele eraldatavat rahasummat suurendada, on üsna raske hinnata, kui palju see täpselt mõjutas õpilaste tervisenäitajaid, sest põhjuslikud seosed pole siin tingimata lihtsad ja ühesed − tervisenäitajaid mõjutavad peale koolilõuna ka muud tegurid. Või kui näiteks narkoennetusele suunatavat rahasummat kahekordistada, võib olla üsna raske hinnata, kuidas see täpselt narkootikumide tarbimise näitajaid mõjutab. Selliste seoste kindlakstegemine nõuab põhjalikke sotsiaalteaduslikke uuringuid, mis on aja- ja ressursimahukad, ning oleks ebarealistlik eeldada, et ministeeriumid suudaksid pingelise eelarvetsükli käigus iga eelarverea mõju saavutatavatele tulemustele adekvaatselt hinnata.

Kuuendaks, mitmed uuringud on välja toonud, et eri taseme otsusetegijate infovajadus on erinev ning seetõttu ei saa loota, et toodetud tulemusinfo rahuldab kõigi osaliste infovajadusi eelarveprotsessis (Bromberg 2009; Brun, Siegel 2006; Cunningham, Harris 2005; Curristine 2007a; Frank, D’Souza 2004; Taylor 2009). Näiteks huvitab poliitikuid keskkonna komplekssuse ja ebakindluse tõttu rikkalikum, sügavam informatsioon ning mitte formaalsed dokumendid ja hetke jäädvustavad tulemusindikaatorid (Ter Bogt 2004).

Probleemid eelarve liigenduse muutmisel tulemuspõhiseks

Nagu eespool mainitud, ei tähenda tulemuseelarvestamise rakendamine tingimata seda, et tuleb muuta eelarveformaati ja võtta sisendipõhise liigenduse asemel kasutusele tulemuspõhine jaotus. Nende riikide kogemuste põhjal, kus eelarveformaati on tulemuseelarvestamise rakendamisega seoses muudetud (nt Austraalias, Rootsis, Uus-Meremaal ja Hollandis), on uuringud välja toonud probleeme ja ohtusid, mis on kaasnenud üleminekuga tulemuspõhisele eelarveformaadile.

Esiteks, eelarves välja toodud tulemuseesmärgid kipuvad olema üldised ja abstraktsed, seepärast on raske hinnata, kas need on saavutatud (ning seega ka hinnata, kas eelarveressursse on eesmärgipäraselt kasutatud). Nagu Austraalia kogemus tulemuseelarvestamisega aastatel 1996–2007 näitas: kui liigendada eelarve tulemuseesmärkide kaupa, võivad ministeeriumid seada nii üldisi ja abstraktseid eesmärke, et nende puhul ei pruugi isegi olla võimalik öelda, kas ja mis ulatuses on need saavutatud (Mackay 2011, 22). Kui Eesti riigieelarvet hakataks struktureerima selliste strateegiliste ja tulemusvaldkondade kaupa, nagu on välja toodud Praxise koostatud analüüsis (Praxis 2010), siis võib ennustada, et sarnased probleemid korduksid ka Eestis. Praxis pakkus välja, et riigil võiks olla viis strateegilist valdkonda: väärtuslik elukeskkond, edukas majandus ja tegusad inimesed, elujõuline rahvas ja kultuuriruum, püsiv julgeolek, kodanikukeskne riik.

Teiseks, tulemuspõhisele formaadile üleminek viib enamasti selleni, et eelarve kuluartiklite arv väheneb ja eelarveeraldiste agregeerituse tase tõuseb. See aga võib tugevasti vähendada parlamendi rolli eelarveprotsessis ning seadusandliku kogu suutlikkust hinnata ja kontrollida maksumaksjate raha kasutamise legitiimsust. Kui eelarveeraldised tehtaks väga laiade poliitikavaldkondade (või strateegiliste valdkondade või tulemusvaldkondade) kaupa, võib seadusandliku kogu liikmetele jääda arusaamatuks, kui palju avaliku sektori organisatsioonid konkreetselt raha saavad ja kuidas iga organisatsioon tulemuste saavutamisse panustab. Mitme riigi kogemus on näidanud, et tulemuspõhine eelarvestamine on tunduvalt vähendanud parlamendi rolli eelarveprotsessis, eelarve on neile muutunud vähem läbipaistvaks ja järelkontroll palju keerukamaks (Mackay 2011; Robinson 2002; Scheers et al 2005; Sterck 2007; Webber 2004).

Kolmandaks, eelarveformaadi muutmisega tulemuspõhiseks võib kaasneda eelarveliigenduse muutumine aasta-aastalt, sest eesmärgid ja tulemused, mida tahetakse saavutada ning millele raha eraldatakse, võivad muutuda. Selle tagajärjel võib eelarvete võrdlus aastate lõikes osutuda keerulisemaks, mis omakorda võib vähendada eelarvestamise läbipaistvust ning teha rahaeraldiste muutumise aja jooksul vähem hoomatavaks nii avalikkusele kui ka parlamendile (Webber 2004; Mackay 2011). Teiste riikide kogemus (Suurbritannia, Austraalia) on näidanud, et tulemuspõhine formaat on toonud kaasa eelarve liigenduse ebastabiilsuse ja pideva muutumise, mis on vähendanud eelarvestamise läbipaistvust ning parlamendi kontrolli eelarve üle (Robinson 2002; Scheers et al 2005; Van Dooren, Sterck 2006).

Neljandaks, tulemuseelarvestamine võib õõnestada juhtide vastutust avalikus sektoris. Tulemuseelarvestamise alusideid on, et juhte pannakse vastutama tulemuste, mitte konkreetsete sisendikombinatsioonide kasutamise eest (nagu see on traditsioonilises eelarvestamise süsteemis). Kuna juhtide vastutusele võtmine lõplike tulemuste ja mõjude eest on avalikus sektoris problemaatiline, võib tulemuseelarvestamise juurutamine tegelikult nõrgendada vastutusmehhanisme avalikus sektoris. Kuigi põhimõtteliselt saaks avaliku sektori organisatsioonide juhte panna vastutama konkreetsete väljundite saavutamise eest, võib see omakorda kaasa tuua juhtide käitumise moonutamise negatiivses suunas.

Ohud tulemuste seostamisel rahaeraldistega

Presentatsioonilise tulemuseelarvestamise (mõiste viitab tulemuseelarvestamise vormile, kus tulemusinfot küll lisatakse eelarvedokumentatsioonile, kuid seda ei kasutata süstemaatiliselt eelarveotsuste tegemisel) kriitikud on väitnud, et kui ametnikud teavad, et tulemusinfot ei võeta eelarve otsuste tegemisel arvesse, pole neil motivatsiooni tulemustele keskenduda.

Seetõttu soovitavad nad siduda tulemuste saavutamine tugevamalt eelarveliste vahenditega ja ühendada omavahel tihedamalt tulemusjuhtimise ja eelarvestamise süsteemid. Kui tulemuste saavutamine seotakse otsesemalt eelarvevahendite jaotusega, võib see kaasa tuua negatiivseid tagajärgi. Hans De Bruijn ja Jan Van Helden (2007) isegi argumenteerivad, et mida rangemalt on tulemuste saavutamine seotud konkreetsete ajenditega, seda vähem efektiivne süsteem kokkuvõttes on. Mida tugevamad ajendid tulemuste saavutamisega seotud on, seda suurem on risk, et tulemuseelarvestamise reform viib negatiivsete tagajärgedeni (De Brujin 2002). Tulemuste ja eelarveeraldiste tihedama seostamise korral võivad üles kerkida järgmised probleemid.

  1. Ühiskondlike tulemuste saavutamine ei sõltu alati otse asutuste või konkreetsete ametnike pingutustest, seetõttu võib tulevaste eelarveeraldiste sidumine konkreetsete indikaatorite saavutamisega minevikus tekitada ebaõiglustunnet ja tuua kaasa motivatsiooni languse (Mayne 2007; Kong 2005; Pollitt 2001).
  2. Kui tulemuste saavutamine on seotud konkreetsete ajenditega eelarveeraldiste kujul, tekib oht, et asutused ja ametnikud hakkavad süsteemiga mängima (gaming) ning kokkuvõttes võivad moonutused käitumises viia halvemate tulemusteni, kui oleks saavutatud tulemuseelarvestamise süsteemita (Bevan, Hood 2006; Hood 2006). Kui rahaeraldisi eelarves seotakse selgelt saavutatud tulemustega, võib see anda ametnikele liiga tugevad ajendid keskenduda ainult nende tulemuste saavutamisele, mis eelarves on välja toodud, ja jätta teised tegevused (mis ühiskonna seisukohalt võivad siiski olulised olla) lohakile (Bohte, MCeier 2000; Perrin 1998; Smith 1995; Van Thiel, Leeuw 2002) või viia lausa selleni, et tehakse valesid tegevusi (De Lancer Julnes 2006; Heinrich 2007; Mayne 2007). Gloria Grizzle (2002) toob näite töötutele suunatud koolitusprogrammist, mille puhul raha andmine pannakse sõltuma saavutatud edust, mida defineeritakse kui „protsenti koolituse läbinuist, kes leiavad pärast koolitust töö”. Nagu kogemus näitab, võib säärane rahastamismehhanism viia selleni, et programmi koordinaatorid valivad koolitustele ainult haritumad ja motiveeritumad töötud, kelle puhul tööle saamise tõenäosus oleks võimalikult kõrge. Christopher Hood (2006) demonstreeris, kuidas Suurbritannia haiglates viisid ootamisaegade lühendamisele suunatud tulemusindikaatorid selleni, et patsientidele anti käsk oodata järjekorras väljaspool haigla ust (tagamaks, et neid suudetakse vastu võtta ettenähtud aja jooksul, mida kasutati tulemusindikaatorina).
  3. Mitmed analüütikud on välja toonud, et sidudes tulemuste saavutamise tugevalt rahaliste ajenditega, võib väheneda kogutava tulemusinfo kvaliteet (Curristine 2007a,b; Joyce 1993; Grizzle 2002; Heinrich 2007; Hood 2006; Perrin 1998; Smith 1999). Gloria Grizzle (2002) toob näiteid USA-st, kus politseijaoskondades kogutavat tulemusinfot hakati moonutama (nt raskeid kuritegusid kategoriseeriti kergema kategooria kuritegudeks). Kui asutused teavad, et tulemusinfot kasutatakse eelarve kärpimiseks, on neil ajendid esitada ilustatud või moonutatud infot või hakata indikaatoreid oma kasuks ümber defineerima. Kui näiteks töötutele suunatud koolitusprogrammi edukust hinnatakse selle alusel, mitu koolituse läbijat tööle sai, võib administraatoritel olla ajend defineerida tööle saamist võimalikult laialt (nt ka oma ettevõtte alustamine; osalise ajaga või ajutise töö saamine) (Perrin 1998, 371).
  4. Kui tulemuste saavutamine on tihedalt seostatud asutustele antavate eelarve­eraldistega (ning asutused teavad, et nad võivad eelarveressursse kaotada, kui nad ettemääratud tulemusi ei saavuta), võib see viia selleni, et tulemusinfot kasutatakse eelkõige vastutusmehhanismina ning see kahandab info rolli asutusesiseses õppimisprotsessis. Mitmed autorid on rõhutanud, et tulemuste mõõtmise süsteemi arendamisel tuleb silmas pidada, et selline süsteem, mis teenib eelkõige vastutuse (accountability) ­suurendamise eesmärki, võib vastu töötada paremate tulemuste saavutamise eesmärgile (Halachmi 2002, 2005; Hatry 2002). Kui tulemusinfo süsteem teenib vastutuse eesmärki, keskendub see küsimusele, kas püstitatud eesmärk on saavutatud (ja kes kellele selle kohta aru annab ning mis on vastavad sanktsioonid). Kui tulemusi mõõdetakse aga tulemuste parandamiseks, on rõhuasetus avastamisel, kogemusest õppimisel, innovatsioonil ja muutustel. Tulemuste parandamine eeldab enesehindamist ning sisemist teadmiste otsimist, samal ajal kui vastutus tähendab välist kontrolli ja jäigemate standardite kasutamist (Halachmi 2002, 2005).

Seega tulemuste mõõtmise süsteemi kujundades peaksime põhimõtteliselt otsustama, kumb eesmärk on olulisem − kas vastutuse suurendamine või tulemuste sisuline parandamine –, sest kahte eesmärki korraga on raske (kui mitte võimatu) saavutada. Kui tulemuste mõõtmise peamine eesmärk on suurendada vastutust, võib see teha raskemaks tulemuste täiendava parandamise, sest vastutusele keskenduva süsteemi puhul on ametnikel ajendid mitte kalduda kõrvale paika pandud eesmärkidest ja plaanidest, isegi kui selline kõrvalekaldumine oleks tegelikult avalikes huvides. Vastutusele orienteeritud süsteem võib takistada ametnikke paindlikult reageerimast ja situatsioonile vajalikke kohandusi tegemast, eriti kiiresti muutuvas keskkonnas (Halachmi 2002, 363; Van Dooren 2011, 427).

Soovitused Eestile

Eestis on endiselt kasutusel tulemuseelarvestamise vorm, mille puhul eelarveprotsessis esitatakse tulemusinfot ja püütakse seda (vähemalt mingil määral) ka eelarveotsuste tegemisel arvesse võtta. OECD 2011. aastal valminud raport ja Riigikontrolli audit (2012) märgivad, et toodetud tulemusinfo kasutamine eelarveotsuse tegemisel on seni olnud pigem piiratud. Nagu on välja toodud Ringa Raudla (2013a) uuringus, on rahandus­ministeerium probleemi lahendamiseks püüdnud 2007. aastast alates koostada reformikava, mis suurendaks tulemusinfo kasutamist eelarveotsuste tegemisel. Aastail 2008–2012 domineeris reformiplaanide tegemisel arusaam, et tulemusinfo ulatuslikumaks kasutamiseks tuleks muuta eelarveformaat tulemuspõhiseks ja koostada tulemusinfo kogumise ja esitlemise metodoloogia, mis oleks kõigile ministeeriumitele ühtne ja kohustuslik. Uue riigieelarveseaduse eelnõu kirjutamisel on 2013. aastal märgata mõningat taganemist nendest ambitsioonikatest eesmärkidest, kuid kuna eelnõu on endiselt valmimisjärgus, on 2013. aasta sügisel veel raske hinnata, millise sisu see kokkuvõttes saab.

Arvestades teiste riikide kogemust tulemuseelarvestamise reformiga ning teaduskirjanduses toodud analüüse, võiks edasiste reformide planeerimisel silmas pidada järgmisi soovitusi.

  1. Ülalt alla lähenemise asemel, mille puhul rahandusministeeriumi roll on kõigile riigi­asutustele ühtse mudeli kohustuslikuks tegemine (tulemusinfo kogumisel ja esitamisel), tuleks kaaluda pigem alt üles lähenemist tulemuseelarvestamise initsiatiivide arendamisel ja rakendamisel. Kuna riigitegevuse eri valdkondades on tulemus­info vajadus erinev, võiks kaaluda pigem detsentraliseeritumat lähenemist. Alt üles lähenemise järgi võiks riigi­asutusi julgustada (ja kui võimalik abistada analüütilise kompetentsiga) koguma sellist tulemusinfot, mis neile tegevuste planeerimiseks ja parandamiseks kasulik oleks. Niisuguse lähenemise puhul ei kulutataks ressursse tulemusinfo kogumiseks ainult seetõttu, et rahandus­ministeerium nõuab, vaid asutused saaksid info kogumisel ja analüüsimisel lähtuda eelkõige valdkondlikest vajadustest. Kuna senisel kujul toodetud tulemusinfot ei ole rahandusministeerium ega teised ministeeriumid ulatuslikult kasutanud, võimaldaks detsentraliseeritud ja ministeeriumite endi vajaduste põhine ­lähenemine tulemus­info kogumisele säästa ressursse ja vältida tarbetu info kogumist.
  2. Rahandusministeeriumil tasuks koos teiste ministeeriumitega kaaluda, millistes valdkondades on Eestis mõttekas kasutada regulaarseid väljund- ja mõjuindikaatoreid ning millistes tugineda perioodilistele poliitikaanalüüsidele. Arvestades raskusi, mis tekivad väljund- ja mõjuindikaatoreid kasutades otsuste tegemisel avalikus sektoris, toovad uuringud välja, et suure hulga nii-öelda hetkejäädvustusindikaatorite tootmise asemel tuleks riigi tegevuste hindamiseks kasutada süstemaatilisi hindamisi ja poliitikaanalüüse. Tulemusindikaatorite nõrkus on, et need püüavad taandada keeruka poliitika või programmi paariks mõõdikuks ja ignoreerivad ühiskondlike nähtuste mitmetahulisust. Veelgi enam, lihtsalt tulemuste ja väljundite väljatoomine ei anna otsustajatele piisavalt sügavat arusaamist, miks selliste tulemuste või väljunditeni jõuti ning millised põhjuslikud mehhanismid täpsemalt aset leidsid. Sügavamat mõistmist suudab pakkuda ainult süstemaatiline ja põhjalik hindamine, mistõttu võib neist ka ressursside jaotuse üle otsustamisel olla palju rohkem kasu kui eraldiseisvatel üksikindikaatoritel.
  3. Enne edasiste sammude tegemist tulemuseelarvestamise reformi planeerimisel peaksid nii Riigikogu, valitsus kui ka ministeeriumid kokku leppima, millised on tulemuseelarvestamise reformi konkreetsed eesmärgid Eestis. Tuleb teadvustada, et üks süsteem ei saa korraga täita mitmeid vastukäivaid eesmärke. Nagu teiste riikide kogemus on näidanud, on tulemusinfo süsteemid, mis on keskendunud indikaatorite mõõdetavusele ja nende kasutamisele, et juhte rohkem vastutama panna, töötanud vastu sellele, et tulemus­infot kogutaks õppimise, arengu ja oma tegevuste sisulise parandamise eesmärgil. Seega, kui tulemuseelarvestamise ja tulemusjuhtimise reformidega edasi minna, tuleks otsustada, kas eesmärk on, et Eestis loodud süsteem viiks riigi tegevuste tulemuste tegeliku parandamiseni või on reformil mingid muud eesmärgid.
  4. Tulemusinfo pakkumisel tuleks rohkem arvesse võtta potentsiaalsete kasutajate infovajadusi. Paljud uuringud on rõhutanud, et eri taseme otsusetegijate infovajadus on erinev ning seetõttu ei saa loota, et pakutav tulemusinfo rahuldab kõigi osaliste infovajadusi eelarveprotsessis. Selle asemel, et pakkuda Riigikogu liikmetele tulemusinfot praegusel kujul (mitusada lehekülge tabeleid riigieelarve eelnõu lisas), võiks rahandusministeerium seadusandjailt uurida, millises vormis ja millist tüüpi tulemusinfot neil oma tegevuses vaja oleks ning kohandada pakutav tulemusinfo vorm saadikute infovajadustele. Näiteks 2011. aastal tehtud uuringus tuli välja, et Riigikogu liikmed sooviksid tulemusinfot vormis, mis oleks kompaktsem, paremini visualiseeritud ning pakuks paremat võrdlust aastate lõikes (Raudla 2012).
  5. Üleminekut tulemuspõhisele eelarveformaadile tuleks kaaluda erilise ettevaatusega. Artikli autor seda Eesti puhul ei soovita, arvestades puudulikke ressursse tulemusinfo kogumiseks, analüüsimiseks ja tõlgendamiseks. Isegi kui tulemuspõhist formaati pidada põhimõtteliselt heaks ideeks, võib väita, et Eesti ei ole reformiks valmis. Tulemuspõhise eelarvestamise kasutuselevõtt ja rakendamine nii-öelda juhtivates reformiriikides on olnud võimalik tänu eri tingimustele ja halduskultuurile, kuid isegi neis on see olnud keerukas ja problemaatiline (Scheers et al 2005). Nendes riikides on halduskultuur rohkem tulemustele orienteeritud ning asutuste juhid on äärmiselt võimekad. Eestis sellist halduskultuuri, võimekust ja teadmisi veel piisavalt pole. Oluline vastuargument on ka see, et reform võib vähendada eelarve läbipaistvust. Teiste riikide kogemus on näidanud, et eelarveformaadi muutmise tulemusena on eelarves vähem eelarveridu ning liigendus on tekitanud seadusandliku kogu liikmetes segadust, mis omakorda on viinud selleni, et seadusandjad pole loodud formaadiga rahul, sest nende arvates tulemuspõhine formaat vähendab eelarve läbipaistvust ning võimalusi kontrolliks ja vastutuse tagamiseks. Arvestades Eesti tingimusi, kus parlamendi kontroll täidesaatva võimu üle on eelarveprotsessis aastatega järjest vähenenud, tuleks selline muutus kindlasti kahjuks demokraatlike institutsioonide arendamisele. Kui rahandusministeerium otsustab tulemuseelarvestamise reformi(de)ga edasi minna, tuleks reformi edasisse kavandamisse kindlasti ulatuslikumalt kaasata valitsuse ja Riigikogu poliitikuid. Poliitikute kaasamise vajadust rõhutas ka OECD raport valitsemise kohta Eestis (OECD 2011). Seni on Eesti poliitikud reformi kavadest suhteliselt piiratult informeeritud. Nagu teiste riikide reformikogemus on näidanud, on poliitikute toetuseta tulemuspõhise eelarvestamise reformid läbi kukkunud.

Kokkuvõte

Nii mõnedki tulemuseelarvestamist analüüsinud autorid on väitnud, et reformile on raske vastu vaielda, sest see on retooriliselt veenev ja kõlab hästi (Brunsson 2002; Kelly 2002; Moynihan 2005): kes ei tahaks, et riik toimiks tulemuslikumalt ja saavutaks seatud eesmärke kiiremini ja odavamalt? Tulemuseelarvestamise reform ei pruugi aga olla sünonüümne tulemuslikkusega või toimivusega ning võib endaga kaasa tuua pigem ohtusid ja kulusid. Seepärast tuleks enne reformi ulatuslikumat rakendamist pragmaatiliselt kaaluda, kas selle sümboolne ja praktiline kasu kaalub üles reaalsed kulud ning milline tulemuseelarvestamise vorm sobiks konkreetsesse konteksti.

Artikkel on kirjutatud Euroopa Sotsiaalfondist rahastatava Tarkade Otsuste Fondi projekti „Tulemus-eelarvestamise võimalused ja ohud Eesti avaliku sektori eelarvestamise süsteemis” raames (prioriteetne suund „Suurem haldusvõimekus”, meede „Riigi, kohalike omavalitsuste ja mittetulundusühingute strateegilise juhtimissuutlikkuse tõstmine”, alameede „Valitsusvälise analüüsisuutlikkuse kasvatamine”, projekt nr 19-3.2/09-04819-4).

Autor tänab Riin Savi, Kaide Tammelit, Rainer Kattelit ja Külli Sarapuud käsikirja kohta tehtud kasulike märkuste ja kommentaaride eest.

Kasutatud kirjandus

  • Andrews, M. (2004). Authority, Acceptance, Ability and Performance-Based Budgeting Reforms. − International Journal of Public Sector Management, vol 17, issue 4, pp 332–344.
  • Andrews, M., Hill, H. (2003). The Impact of Traditional Budgeting Systems on the Effectiveness of Performance-Based Budgeting: A Different Viewpoint on Recent Findings. − International Journal of Public Administration, vol 26, no 2, pp 135–155.
  • Bevan, G., Hood, C. (2006). What’s Measured is What Matters: Targets and Gaming in the English Public Health Care System. − Public Administration, vol 84, no 3, pp 517–538.
  • Bohte, J., Meier, K. (2000). Goal Displacement: Assessing the Motivation for Organizational Cheating. − Public Administration Review, vol 60, no 2, pp 173–182.
  • Bourdeaux, C. (2008). The Problem with Programs: Multiple Perspectives on Program Structures in Program-Based Performance-Oriented Budgets. − Public Budgeting & Finance, vol 28, no 2, pp 20–39.
  • Bromberg, D. (2009). Performance Measurement. A System with a Purpose or a Purposeless System? − Public Performance & Management Review, vol 33, no 2, pp 214–221.
  • Brun, M. E., Siegel, J. P. (2006). What Does Appropriate Performance Reporting for Political Decision Makers Require? Empirical Evidence from Switzerland. − International Journal of Productivity and Performance Management, vol 55, no 6, pp 480–497.
  • Brunsson, K. H. (2002). Management or Politics – or Both? How Management by Objectives May Be Managed: A Swedish Example. − Financial Accountability and Management, vol 18, no 2, pp 189–209.
  • Caiden, N. (1998). Public Service Professionalism for Performance Measurement and Evaluation. − Public Budgeting & Finance, vol 18, no 2, pp 35–52.
  • Cunningham, G. M., Harris, J. E. (2005). Toward a Theory of Performance Reporting to Achieve Public Sector Accountability: A Field Study. − Public Budgeting & Finance, vol 25, no 2, pp 15–42.
  • Curristine, T. (2005a). Government Performance: Lessons and Challenges. − OECD Journal on Budgeting, vol 5, no 1, pp 127–151.
  • Curristine, T. (2005b). Performance Information in the Budget Process: Results of the OECD 2005 Questionnaire. − OECD Journal on Budgeting, vol 5, no 2, pp 87–131.
  • Curristine, T. (2007a). Experience of OECD Countries with Performance Budgeting. − M. Robinson (ed). Performance Budgeting: Linking Funding and Results. Washington, DC: IMF.
  • Curristine, T. (2007b). Performance Budgeting in OECD Countries. OECD Publishing.
  • De Bruijn, H. (2002). Managing Performance in the Public Sector. London: Routledge.
  • De Bruijn, H., Van Helden, G. J. (2007). A Plea for Dialogue Driven Performance-Based Management Systems: Evidence from the Dutch Public Sector. − Financial Accountability & Management, vol 22, no 4, pp 405–423.
  • De Lancer Julnes, P. (2006). Performance Measurement: An Effective Tool for Government Accountability? The Debate Goes on. − Evaluation, vol 12, no 2, pp 219–235.
  • Frank, H. A., D’Souza, J. (2004). Twelve Years into the Performance Measurement Revolution: Where We Need to Go in Implementation Research. − International Journal of Public Administration, vol 27, no 8–9, pp 701–718.
  • Gomez, J. L., Willoughby K. G. (2008). Performance Informed Budgeting in U.S. State Governments. − Presupuesto y Gasto Público, vol 51, pp 287–303.
  • Grizzle, G. A. (2002). Performance Measurement and Dysfunction. − Public Performance & Management Review, vol 25, no 4, pp 363–369.
  • Grizzle, G. A., Pettijohn, C. D. (2002). Implementing Performance-Based Program Budgeting: A System-Dynamics Perspective. − Public Administration Review, vol 62, no 1, pp 51–62.
  • Halachmi, A. (2002). Performance Measurement, Accountability, and Improved Performance. − Public Performance & Management Review, vol 25, no 4, pp 370–374.
  • Halachmi, A. (2005). Performance Measurement: Test the Water Before You Dive in. − International Review of Administrative Sciences, vol 71, no 2, pp 255–266.
  • Hatry, H. P. (2002). Performance Measurement: Fashions and Fallacies. − Public Performance and Management Review, vol 26, no 4, pp 352–358.
  • Heinrich, C. J. (2007). Evidence-Based Policy and Performance Management: Challenges and Prospects. − The American Review of Public Administration, vol 37, no 3, pp 255–277.
  • Hood, C. H. (2006). Gaming in Targetworld: The Targets Approach to Managing British Public Services. − Public Administration Review, vol 66, no 4, pp 515–521.
  • Jordan, M. M., Hackbart, M. M. (1999). Performance Budgeting and Performance Funding in the States: A States Assessment. − Public Budgeting & Finance, vol 19, pp 68–88.
  • Joyce, P. G. (1993). Using Performance Measures for Federal Budgeting: Proposals and Prospects. − Public Budgeting & Finance, vol 13, no 4, pp 3–17.
  • Joyce, P. G. (1996). Appraising Budget Appraisal: Can You Take Politics Out of Budgeting? − Public Budgeting & Finance, vol 16, no 4, pp 21–25.
  • Joyce, P. G. (2008). Does More (or Even Better) Information Lead to Better Budgeting? A New Perspective. – Journal of Policy Analysis and Management, vol 27, no 4, pp 945–960.
  • Kelly, J. M. (2002). Why We Should Take Performance Measurement on Faith (Facts Being Hard to Come by and not Terribly Important). − Public Performance & Management Review, vol 25, no 4, pp 375–380.
  • Kelly, J., Wanna, J. (2004). Crashing through with Accrual-Output Price Budgeting in Australia: Technical Adjustment or a New Way of Doing Business? − The American Review of Public Administration, vol 34, no 1, pp 94–111.
  • Kong, D. (2005). Performance-Based Budgeting: The US Experience. − Public Organization Review, vol 5, no 2, pp 91–107.
  • Mackay, K. (2011). The Performance Framework of the Australian Government, 1987 to 2011. − OECD Journal on Budgeting, vol 11, no 3, pp 1–48.
  • Mayne, J. (2007). Challenges and Lessons in Implementing Results-Based Management. − Evaluation, vol 13, no 1, pp 87–109.
  • Melkers, J. E., Willoughby, K. G. (2001). Budgeters’ Views of State Performance-Budgeting Systems: Distinctions across Branches. − Public Administration Review, vol 61, no 1, pp 54–64.
  • Moynihan, D. P. (2005). Why and How Do State Governments Adopt and Implement „Managing for Results” Reforms? − Journal of Public Administration Research and Theory, vol 15, no 2, pp 219–243.
  • Moynihan, D. P. (2006). Managing for Results in State Government: Evaluating a Decade of Reform. − Public Administration Review, vol 66, no 1, pp 77–89.
  • OECD (2005). Modernising Government: The Way Forward. Paris: OECD Publishing.
  • OECD (2011). OECD Public Governance Reviews. Estonia: Towards a Single Government Approach. Paris: OECD. − http://valitsus.ee/UserFiles/valitsus/et/riigikantselei/uldinfo/dokumendiregister/Uuringud/OECD_Public%20Governance%20Review_Estonia_full%20report.pdf
  • Perrin, B. (1998). Effective Use and Misuse of Performance Measurement. − American Journal of Evaluation, vol 19, no 3, pp 367–380.
  • Pitsvada, B., LoStracco, F. (2002). Performance Budgeting − the Next Budgetary Answer. But What Is the Question? − Journal of Public Budgeting, Accounting and Financial Management, vol 14, pp 53–74.
  • Pollitt, C. (2001). Integrating Financial Management and Performance Management. − OECD Journal on Budgeting, vol 1, no 2, pp 7–37.
  • Praxis (2010). Riigi tulemusvaldkondade määratlemine. Lõpparuanne. − http://www.praxis.ee/index.php?id=919
  • Raudla, R. (2012). The Use of Performance Information in Budgetary Decision-Making by Legislators: Is Estonia Any Different? − Public Administration, vol 90, no 4, pp 1000–1015.
  • Raudla, R. (2013a). Pitfalls of Contracting for Policy Advice: Preparing Performance Budgeting Reform in Estonia. − Governance: An International Journal of Policy, Administration, and Institutions, vol 26, no 4, pp 605–629.
  • Raudla, R. (2013b). Tulemus-eelarvestamise ohud ja võimalused Eesti avalikus sektoris. Poliitikaanalüüs. − http://valitsus.ee/UserFiles/valitsus/et/riigikantselei/strateegia/poliitika-analuusid-ja-uuringud/tarkade-otsuste-fondi-noorteadlaste-alameetme/Tulemuseelarvestamise%20ohud%20ja%20v%C3%B5imalused%20Eesti%20avalikus%20sektoris.pdf
  • Riigikontroll (2012). Vabariigi Valitsuse tegevus oma töö mõjude hindamisel ja tulemustest aruandmisel: Kas Vabariigi Valitsus juhib enda seatud eesmärkide saavutamist? Riigikontrolli aruanne Riigikogule. Tallinn, 18. sept.
  • Rivenbark, W. C., Kelly, J. M. (2000). Performance Measurement: A Local Government Response. − Journal of Public Budgeting, Accounting, and Financial Management, vol 12, no 1, pp 74–78.
  • Robinson, M. (2002). Financial Control in Australian Government Budgeting. − Public Budgeting and Finance, vol 22, no 1, pp 80–93.
  • Rubin, I. S. (1988). New Directions in Budget Theory. Albany: State University of New York Press.
  • Rubin, I. S. (1993). The Politics of Public Budgeting. 2nd ed. Chatham, NJ: Chatham House Publishers.
  • Scheers, B., Sterck, M., Bouckaert, G. (2005). Lessons from Australian and British Reforms in Results-Oriented Financial Management. − OECD Journal on Budgeting, vol 5, no 2, pp 133–162.
  • Schick, A. (2003). The Performing State: Reflection on an Idea whose Time Has Come but Whose Implementation Has Not. − OECD Journal on Budgeting, vol 3, no 2, pp 71–103.
  • Schick, A. (2007). Performance Budgeting and Accrual Budgeting: Decision Rules or Analytic Tools? − OECD Journal on Budgeting, vol 7, no 2, pp 109–138.
  • Smith, J. F. (1999). The Benefits and Threats of PBB: An Assessment of Modern Reform. − Public Budgeting & Finance, vol 19, no 3, pp 3–15.
  • Smith, P. (1995). On the Unintended Consequences of Publishing Performance Data in the Public Sector. − International Journal of Public Administration, vol 18, no 2–3, pp 277–310.
  • Sterck, M. (2007). The Impact of Performance Budgeting on the Role of the Legislature: A Four-Country Study. − International Review of Administrative Sciences, vol 73, no 2, pp 189–203.
  • Sterck, M., Scheers, B. (2006). Trends in Performance Budgeting in Seven OECD Countries. − Public Performance and Management Review, vol 30, no 1, pp 47–72.
  • Zaltsman, A. (2009). The Effects of Performance Information on Public Resource Allocations: A Study of Chile’s Performance-Based Budgeting System. − International Public Management Journal, vol 12, no 4, pp 450–483.
  • Taylor, J. (2009). Strengthening the Link Between Performance Measurmeent and Decision Making. − Public Administration, vol 87, no 4, pp 853–871.
  • Ter Bogt, H. J. (2004). Politicians in Search of Performance Information? Survey Research on Dutch Aldermen’s Use of Performance Information. − Financial Accountability & Management, vol 20, no 3, pp 221–252.
  • Van Dooren, W. (2011). Better Performance Management. − Public Performance & Management Review, vol 34, no 3, pp 420–433.
  • Van Dooren, W., Sterck, M. (2006). Financial Management Reforms after a Political Shift: A Transformative Perspective. − International Journal of Productivity and Performance Management, vol 55, no 6, pp 498–514.
  • Van Thiel, S., Leeuw, F. L. (2002). The Performance Paradox in the Public Sector. − Public Performance & Management Review, vol 25, no 3, pp 267–281.
  • Webber, D. (2004). Managing the Public’s Money: From Outputs to Outcomes − and Beyond. − OECD Journal on Budgeting, vol 4, no 2, pp 101–121.
  • Wildavsky, A. (1966). The Political Economy of Efficiency: Cost-Benefit Analysis, Systems Analysis, and Program Budgeting. − Public Administration Review, vol 26, no 4, pp 292–310.
  • Wildavsky, A. (1969). Rescuing Policy Analysis from PPBS. − Public Administration Review, vol 29, no 2, pp 189–202.
  • Wildavsky, A. (1978). A Budget for All Seasons? Why The Traditional Budget Lasts. − Public Administration Review, vol 38, no 6, pp 501–509.
  • Wildavsky, A. (1979). Speaking Truth to Power: the Art and Craft of Policy Analysis. Boston: Little, Brown and Co.
  • Wildavsky, A. (1992). The New Politics of Budgetary Reform. Glenview: Scott, Foresman.
  • Willoughby, K. G., Melkers, J. E. (2000). Implementing PBB: Conflicting Views of Success. − Public Budgeting and Finance, vol 20, no 1, pp 105–120.

1 Eelretsenseeritud artikkel.

Tagasiside