HIPPA-hankkeessa on aloitettu ulkoinen arviointityö. Arvioijat eivät kuitenkaan tyydy lukemaan pelkkiä palautelomakkeita vaan auttavat hanketiimiä selkiyttämään toimintaa ja pysymään oikeassa suunnassa. Tämä lisää hankkeen vaikuttavuutta. 

HIPPA-hankkeen arvioinnin toteuttavat yhteistyössä arviointialan konsultit, KM Marja Kiijärvi-Pihkala sekä KL Anu Raappana. 

“Hipan etu arvioinnin suhteen on se, että sitä tehdään hankkeen aikana. Usein arviointi on hankkeen päätyttyä tehtävä toiminnan kuvaus. Ei siinäkään vikaa ole, mutta se ei auta hankkeen suuntaamisessa”, Raappana sanoo.

“Tässä on juuri ne haasteet, mitkä tämän kokoluokan projektissa tavallisesti on. On mielenkiintoista seurata, miten tekeminen, tavoitteet ja tulokset pysyvät erillään ja selkeinä, kun on kuitenkin niin paljon sitä kaikkea. Riski kun on, että siinä projektin tuoksinassa tekijöillä rupeavat asiat rönsyilemään”, Kiijärvi-Pihkala kertoo.

“Koska hankkeen idea ja suunnitelma ovat hyviä, niin nyt pitää vain pitää katse pallossa”, Kiijärvi-Pihkala muistuttaa.

HIPPA-hankkeen ulkoinen arviointi toteutetaan jatkuvana arviointina, ja se toimii hanketoimijoiden konsultatiivisena tukena hankkeen toteutuksen ajan. Arvioinnin eri vaiheet tuottavat tietoa, jonka avulla toimijat voivat tehdä hankkeen aikanatarvittavia korjausliikkeitä toimenpiteisiin. Tavoitteena on arvioinnin avulla vahvistaa ohjelman toteuttamista sekä hankkeen vaikuttavuutta empowerment evaluation -viitekehyksen hengessä.

Mitä arvioidaan ja miten?

HIPPA-hankkeen arvioinnilla on kolme kohdetta: hankeprosessi, hankkeen tulokset ja sen vaikutukset. Hankeprosessia arvioidaan sen loogisuuden ja toteutustavan suhteen. Aluksi arvioijat tutustuvat rahoitushakemukseen ja hankesuunnitelmaan ja haastattelevat hanketiimiä ryhmänä. 

Kyselyitäkin tehdään tarpeen vaatiessa, mutta keskeisin väline prosessin arvioinnissa on Terveyden edistämiskeskuksen (nykyinen SOSTE) kehittämä Suunta-työkalu, jonka kirjoittamisessa Kiijärvi-Pihkala on ollut mukana. Suunta-työkalun taustalla on Pirjo Koskinen-Ollonqvistin tekemä työ. Koskinen-Ollonqvist työsti EU:n hanketoimijoille suosittelemasta Logical Framework-työkalusta yksinkertaistetun version pienten järjestöprojektien käyttöön.

Innokylän määritelmän mukaan Suunta-työkalun tarkoituksena on rakentaa looginen, arvioitu ja oletuksiltaan kestävä, kohta kohdalta rakentuva oman  toiminnan suunnitelma. Suunnitelmasta laaditaan johdonmukaisesti etenevä kokonaisuus, jossa eri osa-alueet ja -toiminnot ovat loogisessa suhteessa keskenään ja niiden syy-seuraus-suhteet on mietitty.

Suunta-työkalussa on kaksi vaihetta: suunnitelman kirjoittaminen ja arviointi. Suunnitelman kirjoittamisessa pilkotaan toiminta kokonaisuudessaan siten, että toiminnan looginen kokonaisuus hahmottuu. Arviointiosuus sisältää sekä suunnitellun toiminnan arvioinnin eli perustellut päätelmät toiminnasta sekä itse arviointisuunnitelman laatimisen. 

“Ensin tarkistetaan, että suunnitelma on looginen, jotta se voi onnistua, ja sitten toisen kerran käytetään seurannan miettimisessä. Mietitään, että mitä tietoa ja missä kohdassa me kerättäisiin mistäkin prosessista. Kerätäänkö kaikista vai vain jostakin vai riittääkö se, että kokoonnutaan ja todetaan, että näin tämä etenee”, Kiijärvi-Pihkala selittää.

Suunnitelmaa kirjoittaessa määritellään ensin hankkeen tarve ja asetetaan sen pohjalta hankkeelle päämäärä. Tavoitteet täsmennetään ja valitaan keinot ja prosessit niiden saavuttamiseksi.Tavoitteet pitää muotoilla niin, että on mahdollista todeta onko tavoite toteutunut, onko se toteutunut osin tai onko se jäänyt toteutumatta. Prosessit paloitellaan työtehtäviksi, jotta voidaan tehdä työnjako ja aikataulutus. Tuotokset ja tulokset kuvataan, jotta hahmotetaan, mitä on tarkoitus saada aikaiseksi ja millaisia muutoksia toiminnassa/hankkeessa odotetaan tapahtuvan. Lopuksi määritetään toiminnan onnistumisen kriteerit, jotta tiedetään, millainen toiminta on tämän hankkeen lähtökohdan ja tarpeen kannalta riittävän hyvää: mistä tiedetään onnistuttiinko vai ei?

“Kun ne asiat laitetaan siihen taulukkoon ja samalle paperille, niin ne pystytään osoittamaan tavoitetta kohti. Monesti siinä sitten yhtäkkiä huomataan, että eihän tuo yksi asia liity tähän tavoitteeseen, että pitää olla kaksi tavoitetta. Tai jos me saadaan kaikki nää toteutettua, niin sitten meidän pitää tehdä myös tämä”, Kiijärvi-Pihkala sanoo.

Onnistuimmeko vai emme?

“Sitten kun haluamme tietää, että onnistuimmeko me, pitää katsoa saammeko me tietää sen suoraan. Esimerkiksi jos meillä on hanke, jossa on tavoitteena rakentaa talo, niin sittenhän me näemme, että tässä se on sitten se talo. Mutta jos meillä on tavoitteena vaikkapa arjenhallintataidon paraneminen, pitääkin ruveta miettimään, mistä me näemme, paraniko se. Mikä on indikaattori paranemiselle? Keneltä me kysymme tai miten havainnoimme?”

“Usein hyvinvointipuolella tyydytään siihen, että kun se ihminen kokee että arki on sujuvampaa niin sitten ollaan tyytyväisiä. Mutta ei ehkä hankitakaan tietoa vaikkapa siitä, vähenevätkö sairaspoissaolot. Pitää miettiä että mitkä ovat ne mittarit, joiden perusteella voimme sanoa, että nyt meillä meni hyvin tai huonosti.”

HIPPA-hankkeen vaikutusten arviointikriteereinä ovat monialaisen yhteistyöverkoston kokema hyöty ja lisäarvo. Aineistoa aiotaan kerätä yhteistyöverkostolta lomakekyselyllä ja kolmessa kaupungissa toteutettavilla ryhmähaastatteluilla. Arvioijat ovat mukana mm. kehittäjäklubifoorumeissa ja kysyvät arvioita myös ohjausryhmältä. 

Arvioinnilla lisätään myös hankkeen vaikuttavuutta. Tulosten odotettavissa olevia vaikutuksia tarkastellaan lopullisten hyödynsaajien eli yritysten ja tuotteiden ja palveluiden käyttäjien kannalta. Huomion kohteena ovat mm. viestintä, monialaisuuden toteutuminen ja kehittämismallin juurrutustoimenpiteiden eteneminen. Avainhenkilöiltä kysytään, mitä he ajattelevat hankkeen kyvystä vaikuttaa ja aikaansaada tavoitteiden suuntaisia muutoksia.

“Käytämme tietysti niitä perinteisiä lomakekyselyitä ja haastatteluita. Koska me olemme nyt erityisesti kiinnostuneita siitä hyödystä, minkä se yritys saa, niin tärkeää on kuitenkin valita sellaiset tiedonhankintatavat, jotka ovat tarpeeksi kevyitä. Emme voi käyttää kovin paljon yrittäjän aikaa, minkä vuoksi pitää miettiä, mitkä ovat ne olennaiset kysymykset. Että jos me kysymme, että “oliks tää kivaa” niin sitten he vastaavat, että “joo oli kivaa”. Pitää keksiä joku fiksumpi kysymys”, Kiijärvi-Pihkala suunnittelee.

Päätelmiä näytön perusteella

“Arviointi on näyttöön perustuvia päätelmiä kohteen arvosta”, Kiijärvi-Pihkala kiteyttää.

“Jotta me voimme puhua arvioinnista, meillä pitää ensinnäkin olla joku kohde. Se ei voi olla mikään niin epämääräinen kuin vaikka Projekti X. Se voi olla sen projektin prosessit tai asiakastyytyväisyys tai vaikutukset. Yhden projektin sisällä arviointikohteita voi toki olla useita. Ja jotta voimme sanoa siitä asiasta jotain, meidän pitää kerätä näyttö. Ei voi olla vain, että joku vaan pohdiskelee, vaan pitää olla näyttö, mikä voi antaa meille tietoa siitä kohteesta. Mutta sekään ei vielä riitä, että kerätään joku näyttö, vaan sitten täytyy tehdä siitä päätelmiä. Jos me teemme jonkun kyselyn ja toteamme, että 15 % oli tätä mieltä ja 15 % oli tuota mieltä, niin se ei ole se vastaus. Meidän pitää katsoa sitä asiaa ja pohtia, onko tämä hyvä vai huono tulos”, Kiijärvi-Pihkala selittää. 

“Ja se, mikä tekee siitä itse arvioinnista hyvää tai huonoa, on se, millaisia ovat ne kriteerit millä perusteella se arvostus tehdään. Laadukkainta tai varminta on tietysti se, että kriteerit tulevat tutkimuksesta, missä on selkeästi sanottu, mitä elementtejä tuloksessa pitää olla, jotta se on hyvä.” 

HIPPA-hankkeen arvioinnissa tuloksia peilataan suoraan sen tavoitteisiin. Tulosten osuvuus rahoituksen toimintalinjaan ja erityistavoitteisiin sekä 6Aika –ohjelman tavoitteisiin on myös tärkeää selvittää. Aineistona käytetään hanketoimijoiden keräämää hankedokumentaatiota.

“Hipassa syntyy paljon dokumentoitua aineistoa. Haasteeksi voi muodostua se, että kaikkea hankkeen aikana luotua hyvää ei saada näkyviin. Tähän voidaan vaikuttaa myös arvioinnin avulla”, Raappana sanoo.  

“Yksi sudenkuoppa arvioinnin kannalta on tavallisesti se, ettei arvioinnin kohteen pohtimiseen ole ollut aikaa tai sitä ei ole osattu tehdä tarpeeksi täsmällisesti. Se johtaa sitten siihen, että kerätään seuranta-aineistoa paljon, mutta se arviointi ja sen aineiston katsominen suhteessa tavoitteisiin jää vähemmälle. Sitten päädytään siihen tilanteeseen, että hankkeen lopussa on kansiotolkulla palautelomakkeita ja sitten ihmetellään että mikäs tämä lopputulema sitten on. HIPPA-hankkeessa koen palkitsevana sen, että voin auttaa selkiyttämään, miten joku asia nyt menikään ja liittyykö tämä tähän asiaan vai ei”, Kiijärvi-Pihkala kertoo.

“Arviointi on ihan maalaisjärkistä hommaa, se kannattaa aina”, Kiijärvi-Pihkala sanoo. “Niinkuin elämässä aina, me arvioimme, mikä on järkevää ja mikä ei. Sitten kun ruvetaan tekemään sitä jossain työkontekstissa, niin tehdään tiettyjä valintojaja pidetään niistä kiinni. Projektityö on luonteeltaan sellaista että kun se etenee, tutustutaan muihin hanketoimijoihin siltä alalta ja tulee uudenlaisia avauksia. Mielellään niihin lähtisi mukaan. Mutta on tosi tärkeää, että joku hankesuunnitelman tiivistelmä lukee jossain läppärin kannessa, että kun tulee eteen joku uusi, kiinnostava idea, niin voi katsoa esimerkiksi sitä Suuntaa, että viekö tähän ideaan mukaan lähteminen jotain näitä prosesseja eteenpäin ja jos ei vie niin silloin se ei kuulu tähän hankkeeseen. Siitä uudesta avauksesta voi sitten kirjoittaa vaikka uuden hankkeen.”

Kirjoittaja: Minna Kilpeläinen, FM, KM, freelancer-toimittaja, projektiasiantuntija, HIPPA-hanke