細閱只需 12 分鐘
“執行” 指整體機構的運作以及活動的開展以及開展過程中資料的收集。持份者提供的關於他們經歷的變化的定量數據，然後存儲和組織數據以備分析。
在這個階段最重要的考量是我們收回來的資料和數據的質量。在兼顧項目執行與評估數據收集通常出現角色矛盾及時間分配上的困難。因此，需要考慮四個議題：
1. 質量 (quality)
- 確保資料反映問題是準確的：每個影響都具有代表性的數據問題。
- 確保資料反映問題是完整的：收集到的數據是否包括與成果相關的的重要信息和持份者的經驗，應該加以管理。
- 重要性：我們的數據是否集中在可能重要的結果上。
- 確保一致性：如果要比較兩個時間段的產品或活動之間的數據，各個數據的收集方法是否一致？
2.可信度(credibility)
我們的數據將用於對下一階段的項目作出改良和決定。 如果決策者不了解數據（或數據的可靠性以及數據可能不准確、不完整、不重要或不一致的風險），則他們做出可靠決策的可能性就較小，並且不太可能做出使影響最大化的決定。
- 提供保證：如果決策者不確定評估數據的質量，他們將需要必要時尋求獨立評估，通過對數據的準確性、完整性和相關性進行一些。 這亦可能通過內部的審查過程或同行審查來進行。 對於更重要的決定，我們可以考慮尋求第三方的審計。
- 增加透明度：告訴人們我們做了什麼以及為什麼這樣做。 確保數據可信，這也意味著確保要做出決定的人們了解如何收集數據以及如何收集數據，符合對足夠好的數據的要求。
3.及時性 (timeliness)
基於進行社會影響評估目標的差異，有些決定可能需要更長的時間，需要更多的時間進行反思，亦需要更嚴格的數據收集。 但是，亦有一些決定是因應環境變化而需要迅速決策，往往是機會一縱即逝或時間有限。如果我們總是因為擔心數據的可信度而可能錯過修正機會，從而限制了社會影響的最大化。
4.後果 (consequences)
不同的數據之間的重要性和參考度可能需要權衡。 例如：為了及時獲取一些數據以供決策，可能需要接受一些準確性的誤差；又例如我們可能需要考慮參加者的變化不一定全然因為我們的介入，亦可以是因為他身邊的環境/其他的服務使參加者出現變化，有時甚是可能是一個加乘的效果。我們計算時即應與持份者就計算對產品和服務產生的影響進行調整。
為了保障數據的真實，我們需在結果中扣除一些可能與我們無關的變化，如參加者同時接受不同的服務，我們如何確定他的變化全然與我們相關? 忽略這上部份過份高估我們造成的影響將使決定決策時的誤差，可能造成重大後果和成本的損失。要有機會逆轉決策將需要有保具質量保證、完整和準確的信息。
重大決定往往是比較少的，或數年一次的，但通過日常的數據收集我們可以經常做出決定，對現有產品或服務進行的微小的改進行測試，這種小規模的更改可以很容易調整，同時成本低廉或沒有其他後果 (見表1與表4 : 決定要進行的社會影響評估目標與考慮)。
| 進行決定的類型 | 做錯決定的成本 | 進行決定的頻率 | 需要的數據的質量 | 需要第三方的參與 |
|---|---|---|---|---|
| 策略 | 高 | 每年 | 高 | 高 |
| 服務或產品選擇的更改 | 中 | 每季 | 中 | 中 |
| 對產品或服務的修改方式，包括如何交付或向誰提供 | 低 | 隨時 | 低 | 低 |
問題6：每個變化中有多少已經發生（或可能發生）？
要衡量發生了多少變化，我們通常需要兩個數據點：“活動開始時”和“結果發生時”的數據點。開始時的數據通常稱為基準 (baseline)。所以，在項目計劃之初，就已經需要的儘早建立不同成果的指標，以便在活動開始前可以收集基準數據。
在某些情況下，這要容易得多。例如，對於Rolling dialogue，客觀指標層面，他們可以在小朋友和家長簽署參與該計劃時確認小朋友現在的語言成績。當我們再向同一個人重複收集成績單時，變化（可能是正面的也可能是負面的）會為您提供有關他們語言能力進步/ 退步/ 不變的情況。而主觀指標方面，由於人們難以記住過去的情況，因此存在數據可能不准確的風險。您可以要求人們提供有關其特徵的資料，作為基線的一部分。
問題7：每個變化有多少是由我們的活動引起的？
在這裡我們有2個需要考慮的問題，
- 與事實相違 (counterfactual)：如果人們不參與我們的活動/或使用我們的產品，會否也出現同樣的變化？
- 歸因/貢獻 (attribution / contribution)：是否有任何其他組織或個人也為發生的變化做出貢獻？
以應對大眾對我們自稱自我們評估項目時的質疑，我們同時需要收集類似對比的數據，如人口普查以反映相關群體的一般狀態，以對比和清楚指出參與了我們我活動後，即與一般 “in general” 的狀態出現差異。
同時，不同參加者可能同時亦有接受其他機構/單位的活動，那麼我們如何指出他們的變化都是因為我們的介入的原因，而非因為其他活動、環境變化所引起的。要應對相關的問題，我們可以對參加我們的活動的參加者尋找答應。例如，你可以問參加者：
- 是否有其他組織的活動或還有誰可以幫助您實現這些目標變化？
- 他們是誰？
- 您能估計多少變化是由其他原因引起的?
回答的方式可以是設定比例：如 大約10%、20%、40%、60%、80%。
我們越專注於了解自己的持份者，越了解他們對不同重要的成果的看法，會越了解您對自己工作成果的貢獻，以及接受我們與他人合作的需要。
如果您衡量的成果僅僅是成果的一部分持份者認為重要，您不知道您是否正在創造重要的價值，而且您收集的片面的數據將不能協助你以數據進行項目內容的更改並最大限度地利用自己影響。
問題8：我們需要對相關的變化測量多長時間？
有些成果/影響可能會持續一個人一生，另一些成果/影響可能只會持續很短的時間。 如果短期成果，也受到持份者的重視，那這個成果或影響亦可能很重要。
因此，您需要確定收集數據的時間。 在階段一的計劃當中，持份者可能會告訴你「希望結果維持多長時間」。如果您的項目正在努力幫助小朋友改善中英文水平和維持閱讀興趣， 一年？ 這樣，那麼您至少需要收集一年的數據。
另一個考慮是，項目資助方願意支持多長時間的數據收集期，這就涉及了成本的考慮。
問題9：不同變化的相對重要性是什麼？
持份者在他們生活中基於我們的介入而體驗的成果可能不止一個成果。 我們需要向他們詢問這些不同的成果對他們而言的重要性。 否則，我們會很容易簡單假設不同的成果的價值是平等地重要。
基於這個假設，我們也將無法在不同的成果選項之間就下次的服務修改投入多少精力在不同的產品或服務。 成果的價值/重視程度之間有不同的比重組合結果。 我們應該了解不同組合可能帶來不同的社會影響和社會價值。
我們需要尋找一種對成果進行比較的方法，把不同結果的重要性進行排序，或評估他們之間的比重。 這樣，對正在考慮的決定我們會有更準確的判斷。 同時，經過咨詢持份者持份者，他們對我們的評估結果亦有更高的參與與理解，增加了操作的透明度。
以下有幾種方法可以協助比較不同成果之間的相對重要性：
- 排序 (ranking)
- 這是最簡單的方法，讓持份者把經歷的成果/影響排序，從最重要到最不重要。這個方式的缺點是難以告訴我們不同成果/影響選項之間的差異，呈現的是權重相等的情況。
- 比重 (differential weighing)
- 要求持份者以1到10的等級 (scale)對不同的結果進行評分。 我們也可以要求他們指出最不重要的成果/影響，然後再問另一個成果/影響比其他成果/影響重要多少倍。
- 以貨幣作為計算時的代理單位 (financial proxies)
- 操作方式與比例法相彷，只是把計算的方式進一步換算成不同的貨幣單位 (unit) 以更直觀地呈現相關成果/影響的價值。
收集數據的計劃
問卷調查
對於數據收集，應該做的第一件事是建立數據收集的計劃。 我們嘗試列出了需要的思考的清單以及我們將如何收集每一個回覆。 計劃應包括：
- 數據收集涉及哪些持份者/ 團體?
- 他們的人口特徵（demographics ）如何進行分組?
- 定義成果，設定成果的指標
- 我們是否需要收集基線資料？
- 數據收集的時間點：不同的成果在甚麼活動後開始出現?
- 多久收集一次數據？
- 在甚麼時間段收集？
- 包含減除與我們介入不相關的影響嗎?
- 追蹤研究的時間包括在內嗎？
- 問題如何發放? 如何收集？由誰收集?
- 是否提供填寫問卷的津貼?
- 我們打算收集多少份問卷調查？
- 我們打算收集多少份有效問卷?
已收回的調查問卷調查尚需要進行整理和數據輸入和分析，。是否補充？視乎數量再決定需要花耗的時間和人力。
| 擬定計畫 | 設定計畫 | · 決定想建立的資料類型 |
|---|---|---|
| · 建立訪談的內容框架、針對的主題、重點或要訪問的對象。 | ||
| · 按持份者的組別和重要性分類訪談的人數 | ||
| · 考慮時間表 | ||
| · 考慮成本 | ||
| 訪談人數與時間 | · 視乎經費。計畫中對訪談者可保持彈性，有貢獻的人的訪談時間多些。 | |
| · 每個訪談時段最好限制在一個半小時到兩小時。 | ||
| 經費與工作人員 | 經費預算 | · 訪談者、記錄設備、續字稿製作。 |
| 工作人員 | · 主持人、訪談小組、續字稿製作、訪談者 | |
| 邀請並確定受訪者 | · 訪談者應在訪談前取得授權書 | |
| · 訪談者必須將自己的準備工作、採用的方法以及訪談時的情況留下文書記錄 | ||
| · 訪談者應在錄音記錄或抄本上附上簡歷(以了解訪談內容可能的偏向)、訪談進行狀況與地點 | ||
| · 如進行訪談者多於一人，需事前有簡介會和培訓，以了解對訪談工作的要求 | ||
| 器材設備 | 基本裝備 | 1. 錄音機、錄影機等 |
| 2. 受訪者和訪談者最好能戴小麥克風 | ||
| 3. 預先測試麥克風可清楚收到聲音。記得換電池 | ||
| 4. 訪談後需對錄音檔進行保存，製作抄本和做研究時只限使用複製拷貝，絕對不能動用原檔。 | ||
| 保存文件 | 1. 每次訪談須留下紀錄 | |
| 2. 計畫主持人應有工作時間表(或進度控制表)，表格裡記下各個訪談的受訪者、訪談者、時數、日期、使用哪類錄音器材、是否做續字稿。 | ||
| 3. 訪談檔案包含：所有蒐集來的受訪者資料、安排訪談的信件、訪談的內容簡介、該訪談所討論的各種題材和經常出現的人物、授權書、訪談權限說明等。 | ||
| 訪談場所 | 1. 視乎受訪者的意思，最好是他們日常生活中常去的地方； | |
| 2. 安靜，設法避開擾人的日常事務 | ||
| 3. 須確認是否便於設置記錄設備、電源 | ||
| 集體訪談 | 1. 最好的訪談採一對一 | |
| 2. 集體訪談好處是會記起自己無法想起的共同經歷，壞處事會共同吹噓 | ||
| 3. 集體訪談可做補充性的，不該取代個別訪談 | ||
| 結伴訪談 | 1. 有些訪談需要有一定的性別敏感度，需要安排同性別的訪談者或有被訪者熟悉的人作陪較佳 (如有學習障礙的兒童、遭受性暴力的婦女等) | |
| 2. 但提醒陪伴者應該盡量不要打岔 | ||
| 後續處理 | 製作續字稿 | 1. 續字稿對日後研究者來說取用方便，除非特殊需求，很少有人聽錄音帶 |
| 2. 若無法製作續字稿，至少要有摘要、錄音檔索引 | ||
| 3. 應邊訪談邊進行筆記 | ||
| 法律或倫理的考量 | 取得授權的必要 | 1. 訪談者應在訪談前取得授權書 |
| 2. 訪談前需事先向受訪者解說訪談的保密條款、未來用途及儲存計畫，令受訪完全清楚預期的結果 |