Vertaisarviointi arvioijan näkökulmasta

Vertiasarvioinnin 5 vaihetta

Vaihe 1, etukäteisvalmistelut

Arvioija sopii tulevansa kys. vertaisarviointiin.

Vaihe 2, Perehdytys

Vertaisarvioijien ja havainnoijien tehtävät

Varaa riittävästi aikaa kalenterista vertaisarviointiin ennen vertaisarviointia sekä itse vertaisarviointipäivään/päiviin
Perehdy toimitettuun materiaaliin:
- itsearviointi sekä muu toimitettu materiaali
- aikataulutus ja ohjeet
- palauteraporttipohja

Vertaisarviointiin valmistautuminen yhdessä koordinaattorin ja vertaisarvioijien kanssa

Kokoonnutaan yhdessä tavaten/ACP:n välityksellä/pareittain sovitun aikataulun mukaisesti
Havainnoijat voivat halutessaan osallistua kysymysten työstämiseen
Käydään läpi vertaisarviointipäivän aikataulutus
Kysymyset tehdään seuraavan ohjeen mukaan:
- Haastatteluparien valitseminen
- n. 5-10 kysymystä/45 minuutin haastatteluryhmä
- n. 10-15 kysymystä/45 minuutin yksilöhaastattelu
- Kysytään, mitä ei tiedetä – ei kysytä sitä, mikä jo varmaksi tiedetään itsearvioinnin pohjalta, ellei ole perusteltua syytä kysyä tiedettyä asiaa (Perusteltu syy voi olla esimerkiksi haasteiden esille tuominen sekä mallintamisen, jalkauttamisen ja kehittämisen edistäminen kysymysten avulla eri toimijoille, kuten organisaation johdolle)
- Kysymysten muokkaaminen siten, että ne ovat haastateltavalle sopivia ja ymmärrettäviä
- Lopuksi kultakin haastateltavalta ryhmältä on hyvä kysyä, mitä hyvää ja mitä kehitettävää arvioitavassa toiminnassa heidän mielestään on
- Googledocsia voidaan hyödyntää kysymysten muokkaamisessa
  - Kaikki näkevät, missä vaiheessa kysymysten työstäminen on
  - Googledocsin luomisen ohjeistus

Sovitaan, kumpi pareista toimii pääasiallisena haastattelija ja kumpi kirjaa vertaisarviointipäivänä
- Koordinaattori merkkaa tämän sähköiselle alustalle, jossa on vertaisarvioinnin aikataulutus

Itsearvioinnin hyödyntäminen ennen arviointia

Vertaisarvioijat kokoavat kysymyksiä tehdessään raporttipohjaan valmiiksi jo tiedetyt asiat
- ”Itsearvioinnin mukaan…”

Vaihe 3, vertaisarviointipäivät

Muistilista vertaisarviointipäiviin

Ota mukaan:

Itsearviointimateriaali ja muu materiaali
Aikataulutus
Kysymys- ja vastauspohjat
Raporttipohja (koordinaattorilta saatu)
Kannettava tietokone, jossa nettiyhteys

Arviointipäivän kulku

Katso esimerkki arviointipäivän aikataulusta:

Orientoinnin sisältö:

Arviointikohteen alkupuheenvuoro ja organisaation esittely
- Alustavat tarvittavat kysymykset organisaation ja hankkeen edustajille
  - Esimerkiksi: ketkä ovat osallistuneet itsearvioinnin tekemiseen
(Koordinaattori muistuttaa, että vertaisarvioinnissa on kyse vertaisoppimisesta ja että vertaisarvioijat tekevät arvioinnin etukäteismateriaalin ja haastattelujen perusteella – eivätkä mitenkään oleta kykenevänsä arvioimaan koko kokonaisuutta syvällisesti. Koordinaattori pyrkii luomaan tässä vaiheessa kannustavaa, rohkaisevaa ja hyvää ilmapiiriä arvioijille ja arvioinnin kohteelle)
Vertaisarvioijat esittelevät itsensä

Haastattelut pareittain

Haastattelun alussa haastateltaville kerrotaan lyhyesti:
- mistä vertaisarvioinnista on kyse
- ketä on paikalla ja millaiset roolit vertaisarvioijilla on.
- ettei kenenkään nimiä ja tunnistettavia tietoja (nimi ja työpaikka) kirjata lopulliseen raporttiin
Toinen vertaisarvioijista haastattelee pääasiallisesti keskittyen vuorovaikutukseen
Toinen vertaisarvioija kirjaa ylös tietokoneella saatavat vastaukset valmiille pohjalle
Havainnoija(t) seuraa haastattelua ja tekee halutessaan muistiinpanoja
Lopuksi kirjaajana toiminut vertaisarvioija ja havainnoija(t) esittävät tarvittavat unohtuneet tärkeät tai tarkentavat kysymykset

Raportin kirjoittaminen

Jotta raportti saadaan kirjoitetuksi mahdollisimman hyvin, kannattaa raportin kirjoittamista organisoida kulloistenkin tarpeiden mukaan
Raporttipohja kannattaa laittaa googledocsiin (koordinaattorin tehtävä), sillä sen myötä sen kirjoittaminen on huomattavasti helpompaa. Mikäli tämä ei jostain syystä ole mahdolista, työstetään raporttipohjaa muistitikkujen avulla.
- Googledocsin luomisen ohjeistuksia

http://www.youtube.com/watch?v=gq4ZmruVSbs&feature=related

http://www.youtube.com/watch?v=pJmVsaXmC6M

Raportin kirjoittamisessa keskitytään kirjaamaan ne asiat, joista arvioitava kohde on pyytänyt vertaisarviointia. Mikäli kuitenkin haastatteluissa jotakin oleellista ja tärkeää muuta tietoa arvioitavalle kohteelle kerrottavaa on noussut, kannatta tämä myös mainita joko palautekeskustelun yhteydessä tai raportissa esimerkiksi SWOT lomaketta ennen mahdollisesti olevaan johdantokappaleeseen.
Perusrunkona raporttipohjan eri otsakkeiden alla voi pitää järjestystä
- ”Itsearvioinnin mukaan…”
- ”Haastattelujen perusteella…”
- ”Arvioijien näkemyksen mukaan…”

Raportin kirjoittamisessa kannattaa huomioida:
- Minkä perusteella arvio tehdään:
  - ”Itsearvioinnin mukaan…”
  - ”Itsearvioinnin ja etukäteismateriaalin perusteella…”
  - ”Haastatteluiden perusteella…” (yleinen havainto läpi kaikkien haastattelujen)
  - ”Työelämän edustajien mukaan…”
- Onko tieto ristiriitaista:
  - ”Itsearvioinnin ja haastattelujen perusteella arvioijat saivat ristiriitaista tietoa…”
  - ”Työelämän ja opettajien haastattelujen perusteella arvioijat saivat ristiriitaista tietoa…”
  - ”Haastattelujen perusteleella opsikelijat kokevat tilanteen…kun taas opettajien mukaan…”
- Mikä on jäänyt epäselväksi:
  - ”Arvioijille jäi epäselväksi…”
  - ”Arvioijia jäi mietityttämään…”
- Mikä on vahvuus:
  - ”Arvioijat näkevät vahvuudeksi…”
- Mitä kehitettävää:
  - ”Arvioijien näkemyksen mukaan kehittää voisi…”
  - ”Arvioijat näkevät kehittämismahdollisuutena…”

Palauttekeskustelu:

Palautteen antaa yksi arvioijista (arvioijat päättävät yhdessä palautteen antajan). Palautekeskustelussa anneraan SWOT-analyysi palaute suullisesti, jonka jälkeen on vapaata keskustelua ja kommentointia.

Vaihe 4, vertaisarviointipäivien jälkeen

Vertaisarvioijat lukevat vertaisarviointiraportin ja lähettävät mahdolliset kommentit ja korjausehdotukset kaikkien arvioijien hyväksyttäväksi

Vertaisarvioijat lähettävät korjausehdotukset koordinaattorille/hyväksynnän raportin julkaisusta.

Vaihe 5, kehittämissuunnitelma, mallintaminen ja vertaiskehittäminen

Vertaisarvioijat vievät oppimiaan asioita omaan organisaatioonsa ja esittelevät toimintamallin omassa organisaatiossaan.