SIIF是什麼?
SIIF是一個期望超越自助、公助、共助,以實現打造社會經濟資源的永續生態系的組織。組織的五大方向:
1.影響力投資
2.影響力測定、管理
3.PFS/SIB
4.金融改革
5.影響力哲學
PFS/SIB模式於2016年在日本開始,多半用來地方創生,根據SIIF的資料,我們可以看到,半數以上的計畫都是健康照護,用以解決日本高齡化、生活習慣所產生的問題。雖然目前台灣還未開展PFS模式的配套。我們不妨可以借鑑日本看看他們在影響力工具PFS/SIB的實踐上,目前遇到什麼樣的問題。
在SIIF出版的報告書中,我們可以看到他們對評價PFS/SIB的成效客觀性有很大的論述空間。尤其在描述個案中,最令人感興趣的應該是產出指標與成果指標的組成,並評價這些指標的是誰,資料收集的方法是什麼,以及未來可能需要解決問題。
其中一個個案:
- 佐倉市啃老年輕人重返社會就職援助
一個支援啃老族等的社會邊緣人的就職援助,將他們分為「求職型」、「非求職型」、「無期望型」等五類,對各分類實施計測。具體的成果指標為以下為示:
Output指標:
-擴展次數(outreach次數,打電話、聯絡次數)
-聯絡對象人數、次數
-在需要支援保護者場合,一次outreach所觸及人數、次數,紀錄下做了什麼。
Outcome指標:
-進步改善值:從無期望型B~就職為止的意識和行動面的變化,按與社會資源連結的最適支援實施的狀況點數化。
評價方法:
-SIB專案開始前將擴展實績做為benchmark,本專案七個月間支援對象狀態的變化取差分,計算結果。
-沒有設對照組是因為在現實上難以達成。本來母體就小,且需考量倫理問題,所以採行基準資料的比較分析。
評價資料的收集方法:
1.關於產出指標,專案執行人的出動次數與對象人數,並紀錄援助內容。
2.至於成果指標,在每一次的outreach,紀錄對象對做了什麼這個問題有何反應,由專案執行人作出與對象相關的報告,以此為基準。在援助結束時透過專案執行人進行評價的紀錄。
利害關係人工作坊討論概要:
在報告中,利害關係人工作坊討論概要中提到指標的評價方法,並整理出指標資料收集的方法。
1.關於評價設計:
a.前後比較:比較對象在實施前後的資料,以此來測定效果好壞。
b.單純比較:只用實施後的資料來測定效果。
c.Difference in difference:分別對對象和非對象,整理出專案執行前後的資料,d.以排除趨勢因子來測定效果。
e.配對比較:對象和非對象者中,將特性相同的個體作對比,以測定效果。
隨機化比較試驗(RCT):比較對象在專案執行前後的資料,以此來測定效果。
問題:
日本國內對評價專案成果的成本需要付錢的行政文化還未落實扎根,又還未有一個意見、目標一致,明確判斷成本的基準。
又與評價相關成本有固定不變的傾向,PFS/SIB的規模全體成長的情況下,就變為相對來說易於容許的基準。在日本的PFS/SIB規模漸漲的狀況下,行政面預算組成就變成需要思考的問題。
對應的方向性:
作為先行者的美國,在RCT如此普及的背景為,有著透過社會影響力合作關係法(SIPRA)推薦與支援的根據。在日本的有效性也可期。
意識評價需要成本,除了給補助金、由政府負擔費用外,以自治體本身想法改變為契機的可能性也是有的。
2.關於資料和評價:
a.現狀
①評價的客觀性會與資料的收集主體不同而有差異,又因評價主體而產生差異。
②資料的信賴度也會因為收集主體和其方法度不同而有不同,在既存事例中,使用客觀數值資料的個案也很多。
③擔保投入的妥適性與評價的客觀性,與合適的評價設計相同,是在執行正確評價前很重要的元素。在PFS/SIB上,也對執行正確評價的做了很多努力。
④在執行客觀的評價前,第三者評價機關的評價執行是需要被考量的,在沒有設立第三者評價機關的例子中,擺出性惡論,專案執行人可能沒有落實資料收集;行政也可能會對收集來的資料擅自竄改。
⑤另一方面,在有設置評價機關的場合,由專案執行人委託的評價機構,質疑其第三者性也是有的。
資料收集主體和適用事例的整理
| 收集主體 | 概要 | 特性 | 該當事例 |
| 第三方評價機關 | 為了該當專案,透過第三者評價機關的監測,收集資料 | 運用適當手法收集、統計,具高中立性、精度 | .福岡縣福岡市等7自治體.川西市等2自治體 |
| 公共機關(包含自治體) | .公共統計(作為公共統計與業務取得情報,經常性備齊的指標).為了該當專案,透過公共機關的監測,收集資料 | 雖擔保中立性,但精度依統計方式不同而有差異 | .八王子市.多摩市.廣島縣.天理市 |
| 專案執行者 | 執行專案者透過專案自己收集資料 | 不擔保中立性,精度也因是業者和個案有所不同 | .佐倉市.東近江市.神戶市.美馬市.大牟田市 |
資料收集方法與適用事例的整理
| 收集主體 | 概要 | 特性 | 該當事例 |
| 客觀數值資料 | 公共統計等的數值指標 | 對中立性、精度的信賴性高 | 多數 |
| 透過問卷調查等方法取得資料(旁人) | 例如問診紀錄表。依照專案設計出的手法,專案執行人與第三方評價機關做出的資料 | .按手法標準化程度差異,精度有所不同.資料作成者為專案執行人的場合,中立性確保的對應為必要 | .佐倉市.神戶市.池田市、天理市 |
| 透過問卷調查等方法取得資料(自己) | 例如問診紀錄表。依照專案設計出的手法,對象(病患)自己做出的資料 | 按手法標準化程度差異,精度有所不同,由於資料作成者為對象本人,所以標準化困難 | 美馬市 |
1.評價的客觀性和資料的信賴性
a.現況:
資料收集方法之現況,與資料與評價基本無異。
b.問題:
①來自行政的委託因而執行評價,讓行政方理解執行評價需要成本是需要努力的目標。
②合併來看,PFS/SIB評價業務,可以作為商業上的職業,中間支援組織的育成也被視為待解決問題。
c.對應的方向性
①關於追求評價機關的第三方性、資料以及評價手法妥當性,這三個面相的水準,需符合社會批准的大抵標準,透過建立指引來整理方向性也該被考慮。
②在自治體對於評價成本的想法轉變議題上,outcome fund(給這些SIB/PFS的基金)為代表,政府給自治體的補助被視為有效。且不只單論PFS/SIB的評價,也討論了EBPM(Evidence-Based Policy Making)和行政評價的推行,圖求意識改革的態度是必要的。
2.合適評價指標的設定
a.現狀
-大多的例子都是合併使用產出指標和成果指標。產出指標被擺在中間指標,但前提是產出和成果的連結是可被有條理地歸納整理,且認為使用產出指標是沒有問題的。
b.課題:
-具有行政體的專案,成果和產出的關聯不明確的專案不在少數,又PFS/SIB是單年度的專案的話,很常聚焦在產出指標,並視其為專案達成條件。在這個情情況下,這樣的情況是否能被容許,有需要釐清的必要。
結論:
總之,目前日本遇到的最大問題出在對於指標評價的預算編列,以及評價者與其資料的客觀性。在不久的將來,台灣若成功建立PFS/SIB的配套模式後,透過右岸鄰居的困境,我們會更有效率地意識且解決上述問題。
Reference:
SIIF社會變革推進組織:https://www.siif.or.jp
