Flat Preloader Icon

SIIF(Social Innovation and Investment Foundation)社會變革推動組織之指標評價問題

SIIF是什麼?

SIIF是一個期望超越自助、公助、共助,以實現打造社會經濟資源的永續生態系的組織。組織的五大方向:

1.影響力投資

2.影響力測定、管理

3.PFS/SIB

4.金融改革

5.影響力哲學

        PFS/SIB模式於2016年在日本開始,多半用來地方創生,根據SIIF的資料,我們可以看到,半數以上的計畫都是健康照護,用以解決日本高齡化、生活習慣所產生的問題。雖然目前台灣還未開展PFS模式的配套。我們不妨可以借鑑日本看看他們在影響力工具PFS/SIB的實踐上,目前遇到什麼樣的問題。

        在SIIF出版的報告書中,我們可以看到他們對評價PFS/SIB的成效客觀性有很大的論述空間。尤其在描述個案中,最令人感興趣的應該是產出指標與成果指標的組成,並評價這些指標的是誰,資料收集的方法是什麼,以及未來可能需要解決問題。

其中一個個案:

  1. 佐倉市啃老年輕人重返社會就職援助

 一個支援啃老族等的社會邊緣人的就職援助,將他們分為「求職型」、「非求職型」、「無期望型」等五類,對各分類實施計測。具體的成果指標為以下為示:

Output指標:

-擴展次數(outreach次數,打電話、聯絡次數)

-聯絡對象人數、次數

-在需要支援保護者場合,一次outreach所觸及人數、次數,紀錄下做了什麼。

Outcome指標:

-進步改善值:從無期望型B~就職為止的意識和行動面的變化,按與社會資源連結的最適支援實施的狀況點數化。

評價方法:

-SIB專案開始前將擴展實績做為benchmark,本專案七個月間支援對象狀態的變化取差分,計算結果。

-沒有設對照組是因為在現實上難以達成。本來母體就小,且需考量倫理問題,所以採行基準資料的比較分析。

評價資料的收集方法:

1.關於產出指標,專案執行人的出動次數與對象人數,並紀錄援助內容。

2.至於成果指標,在每一次的outreach,紀錄對象對做了什麼這個問題有何反應,由專案執行人作出與對象相關的報告,以此為基準。在援助結束時透過專案執行人進行評價的紀錄。

利害關係人工作坊討論概要:

在報告中,利害關係人工作坊討論概要中提到指標的評價方法,並整理出指標資料收集的方法。

1.關於評價設計:

a.前後比較:比較對象在實施前後的資料,以此來測定效果好壞。

b.單純比較:只用實施後的資料來測定效果。

c.Difference in difference:分別對對象和非對象,整理出專案執行前後的資料,d.以排除趨勢因子來測定效果。

e.配對比較:對象和非對象者中,將特性相同的個體作對比,以測定效果。

隨機化比較試驗(RCT):比較對象在專案執行前後的資料,以此來測定效果。

問題:

日本國內對評價專案成果的成本需要付錢的行政文化還未落實扎根,又還未有一個意見、目標一致,明確判斷成本的基準。

又與評價相關成本有固定不變的傾向,PFS/SIB的規模全體成長的情況下,就變為相對來說易於容許的基準。在日本的PFS/SIB規模漸漲的狀況下,行政面預算組成就變成需要思考的問題。

對應的方向性:

作為先行者的美國,在RCT如此普及的背景為,有著透過社會影響力合作關係法(SIPRA)推薦與支援的根據。在日本的有效性也可期。

意識評價需要成本,除了給補助金、由政府負擔費用外,以自治體本身想法改變為契機的可能性也是有的。

2.關於資料和評價:

a.現狀

①評價的客觀性會與資料的收集主體不同而有差異,又因評價主體而產生差異。

②資料的信賴度也會因為收集主體和其方法度不同而有不同,在既存事例中,使用客觀數值資料的個案也很多。

③擔保投入的妥適性與評價的客觀性,與合適的評價設計相同,是在執行正確評價前很重要的元素。在PFS/SIB上,也對執行正確評價的做了很多努力。

④在執行客觀的評價前,第三者評價機關的評價執行是需要被考量的,在沒有設立第三者評價機關的例子中,擺出性惡論,專案執行人可能沒有落實資料收集;行政也可能會對收集來的資料擅自竄改。

⑤另一方面,在有設置評價機關的場合,由專案執行人委託的評價機構,質疑其第三者性也是有的。

資料收集主體和適用事例的整理

收集主體概要特性該當事例
第三方評價機關為了該當專案,透過第三者評價機關的監測,收集資料運用適當手法收集、統計,具高中立性、精度.福岡縣福岡市等7自治體.川西市等2自治體
公共機關(包含自治體).公共統計(作為公共統計與業務取得情報,經常性備齊的指標).為了該當專案,透過公共機關的監測,收集資料雖擔保中立性,但精度依統計方式不同而有差異.八王子市.多摩市.廣島縣.天理市
專案執行者執行專案者透過專案自己收集資料不擔保中立性,精度也因是業者和個案有所不同.佐倉市.東近江市.神戶市.美馬市.大牟田市

資料收集方法與適用事例的整理

收集主體概要特性該當事例
客觀數值資料公共統計等的數值指標對中立性、精度的信賴性高多數
透過問卷調查等方法取得資料(旁人)例如問診紀錄表。依照專案設計出的手法,專案執行人與第三方評價機關做出的資料.按手法標準化程度差異,精度有所不同.資料作成者為專案執行人的場合,中立性確保的對應為必要.佐倉市.神戶市.池田市、天理市
透過問卷調查等方法取得資料(自己)例如問診紀錄表。依照專案設計出的手法,對象(病患)自己做出的資料按手法標準化程度差異,精度有所不同,由於資料作成者為對象本人,所以標準化困難美馬市

1.評價的客觀性和資料的信賴性

a.現況:

資料收集方法之現況,與資料與評價基本無異。

b.問題:

①來自行政的委託因而執行評價,讓行政方理解執行評價需要成本是需要努力的目標。

②合併來看,PFS/SIB評價業務,可以作為商業上的職業,中間支援組織的育成也被視為待解決問題。

c.對應的方向性

①關於追求評價機關的第三方性、資料以及評價手法妥當性,這三個面相的水準,需符合社會批准的大抵標準,透過建立指引來整理方向性也該被考慮。

②在自治體對於評價成本的想法轉變議題上,outcome fund(給這些SIB/PFS的基金)為代表,政府給自治體的補助被視為有效。且不只單論PFS/SIB的評價,也討論了EBPM(Evidence-Based Policy Making)和行政評價的推行,圖求意識改革的態度是必要的。

2.合適評價指標的設定

a.現狀

-大多的例子都是合併使用產出指標和成果指標。產出指標被擺在中間指標,但前提是產出和成果的連結是可被有條理地歸納整理,且認為使用產出指標是沒有問題的。

b.課題:

-具有行政體的專案,成果和產出的關聯不明確的專案不在少數,又PFS/SIB是單年度的專案的話,很常聚焦在產出指標,並視其為專案達成條件。在這個情情況下,這樣的情況是否能被容許,有需要釐清的必要。

結論:

總之,目前日本遇到的最大問題出在對於指標評價的預算編列,以及評價者與其資料的客觀性。在不久的將來,台灣若成功建立PFS/SIB的配套模式後,透過右岸鄰居的困境,我們會更有效率地意識且解決上述問題。

Reference:

SIIF社會變革推進組織:https://www.siif.or.jp