“…วิธีการที่ช่วยให้นักประเมิน ผู้ให้ทุน และผู้จัดการสามารถระบุ กำหนด ตรวจสอบ และตีความผลลัพธ์ได้ วิธีการนี้ได้รับแรงบันดาลใจจากคำนิยามของคำว่า ‘ผลลัพธ์’ ในฐานะ ‘การเปลี่ยนแปลง’ ที่เกิดขึ้นในพฤติกรรม ความสัมพันธ์ การกระทำ กิจกรรม นโยบาย หรือแนวปฏิบัติของบุคคล กลุ่ม ชุมชน องค์กร หรือสถาบันหนึ่งๆ” ( Ricardo Wilson-Grau 2018)
ดังนั้น Outcome Harvesting คือกระบวนการเก็บรวบรวม (เก็บเกี่ยว) หลักฐานเกี่ยวกับสิ่งที่เปลี่ยนแปลงไป (ผลลัพธ์) แล้วจึงไล่ย้อนกลับไปเพื่อวิเคราะห์ว่า การแทรกแซงที่ทำขึ้นมีส่วนเกี่ยวข้องกับการเปลี่ยนแปลงเหล่านั้นหรือไม่ อย่างไร
มีอาจารย์นักประเมินท่านหนึ่งแนะนำในเวทีว่า ให้ลองอ่านงานชิ้นหนึ่งดู ซึ่งจริงๆแล้ว ผมเคนอ่านมาครั้งหนึ่งนานมาแล้ว แต่ไม่ได้สนใจอะไร แต่ลองเอากลับมาทบทวนซ้ำ อ่านใหม่ ก็เห็นประเด็นหลายอย่างที่น่าสนใจ หนังสือเล่มนี้ชื่อว่า การเก็บเกี่ยวผลลัพธ์ ( Outcone Havesting)
คำว่า Outcome Harvesting (การเก็บเกี่ยวผลลัพธ์) เป็นวิธีการประเมินผลที่เน้นการระบุ อธิบาย ตรวจสอบ และวิเคราะห์การเปลี่ยนแปลงที่เกิดขึ้นจริงในพฤติกรรมของบุคคลหรือกลุ่มต่างๆ (เช่น กลุ่ม ชุมชน องค์กร สถาบัน) โดยไม่จำเป็นต้องมีการกำหนดผลลัพธ์ล่วงหน้า วิธีนี้เหมาะอย่างยิ่งสำหรับการประเมินโครงการหรือโปรแกรมที่มีความซับซ้อน ซึ่งความสัมพันธ์ระหว่างเหตุและผลลัพธ์ไม่ได้เป็นเส้นตรงเสมอไป
วิธีคิดแบบนี้เหมาะกับงานศึกษาวิจัย หรือการประเมินที่เน้นการเก็บข้อมูลเชิงคุณภาพ …ถือเป็นหนังสือคลาสสิกสำหรับการประเมินผลที่ไม่มีตัวชี้วัดชัดเจนล่วงหน้า ที่ช่วยให้เข้าใจการเก็บเกี่ยวผลลัพธ์ ผ่านเรื่องเล่า แล้วตรวจสอบความเปลี่ยนแปลงย้อนหลัง ซึ่งเหมาะกับโครงการพัฒนา สังคม สิ่งแวดล้อม หรือพื้นที่ที่มีความซับซ้อน
เนื้อหาและแนวคิดของหนังสือ Outcome Harvesting: Principles, Steps, and Evaluation Applications โดย Ricardo Wilson-Grau (2018) อธิบายแนวคิดและวิธีการเก็บเกี่ยวผลลัพธ์อย่างละเอียด เป็นหนึ่งในวิธีการประเมินผลที่มีความสำคัญที่สุดสำหรับการเปลี่ยนแปลงทางสังคมและนวัตกรรมในช่วง 20 ปีที่ผ่านมา
แนวคิดหลัก คือการเน้นที่ผลลัพธ์ที่เกิดขึ้นจริง คำว่า Outcome Harvesting ไม่ได้มุ่งเน้นที่การประเมินว่ากิจกรรมต่างๆ บรรลุเป้าหมายที่ตั้งไว้ล่วงหน้าหรือไม่ แต่จะย้อนกลับไปดูว่าเกิดการเปลี่ยนแปลงอะไรขึ้นบ้าง แล้วจึงพิจารณาว่าโครงการ/กิจกรรมมีส่วนสนับสนุนการเปลี่ยนแปลงเหล่านั้นอย่างไร นั่นคือการเปลี่ยนแปลงวิธีคิดแบบ “Harvesting” แทนที่ “Measuring” ที่ทำมาแบบเดิม
โดยแยกความแตกต่างระหว่าง 'ผลกระทบ' (Impacts) และ 'ผลลัพธ์' (Outcomes) คำว่า ผลกระทบ (Impacts) คือสถานะสุดท้ายที่ผู้สร้างการเปลี่ยนแปลงต้องการบรรลุ เช่น อัตราความยากจนที่ลดลง พฤติกรรมเสี่ยงลดลง อัตราคบาสสุขภาพดีเพิ่มขึ้น ส่วนผลลัพธ์ (Outcomes) คือการเปลี่ยนแปลงพฤติกรรมที่เฉพาะเจาะจงและค่อยเป็นค่อยไป ซึ่งจำเป็นต่อการบรรลุผลกระทบนั้นๆ การมุ่งเน้นที่ผลลัพธ์ช่วยให้นักประเมินสามารถวิเคราะห์การเปลี่ยนแปลงทีละน้อยเล็กทีละน้อยที่เกิดขึ้นในระบบที่ซับซ้อนได้
นอกจากนี้ยังเน้นที่ การมีส่วนร่วม (Contribution) ซึ่งไม่ใช่การแสดงที่มา (Attribution) แต่วิธีนี้ให้ความสำคัญกับการทำความเข้าใจว่าโครงการมีส่วนร่วมอย่างไรต่อผลลัพธ์ที่เกิดขึ้น แทนที่จะพยายามระบุว่าผลลัพธ์นั้นเกิดจากโครงการเพียงอย่างเดียว ซึ่งเป็นสิ่งสำคัญในสถานการณ์ที่มีปัจจัยหลายอย่างส่งผลต่อการเปลี่ยนแปลง
หัวใจสำคัญอีกอย่างคือเรื่องของความยืดหยุ่นและการเรียนรู้ โดย Outcome Harvesting มีความยืดหยุ่น สามารถปรับใช้กับโครงการที่หลากหลาย รวมถึงโครงการที่มีผลลัพธ์ที่ซับซ้อนหรือคาดเดาไม่ได้ การมุ่งเน้นที่ผลลัพธ์ช่วยให้องค์กรเข้าใจได้ลึกซึ้งขึ้นว่าอะไรได้ผลและอะไรไม่ได้ผล นำไปสู่การเรียนรู้และการปรับปรุงอย่างต่อเนื่อง
ในหนังสือ มีการให้คำนิยามบทบาทของผู้เกี่ยวข้อง ในการเก็บเกี่ยวผลลัพธ์ ประกอบด้วย
Change Agent (ผู้ก่อให้เกิดการเปลี่ยนแปลง) บุคคลหรือองค์กรที่มีบทบาทสำคัญต่อการเปลี่ยนแปลง ซึ่งโครงการทำงานกับคนกลุ่มนี้โดยตรง
Social Actor (ผู้รับผลการเปลี่ยนแปลง) บุคคล กลุ่ม ชุมชน องค์กร หรือสถาบันที่เกิดการเปลี่ยนแปลงจากการกระทำของ change agent
Verifier (ผู้ตรวจสอบ) บุคคลที่มีข้อมูลเกี่ยวกับผลลัพธ์ และสามารถให้ความเห็นอย่างเป็นกลางเพื่อยืนยันความถูกต้องของผลลัพธ์ที่ระบุไว้
Harvest User (ผู้ใช้ผลลัพธ์) บุคคลหรือกลุ่มคนที่ใช้ผลการเก็บเกี่ยวเพื่อการตัดสินใจหรือดำเนินการต่อ เช่น ผู้บริหาร ผู้ให้ทุน นักนโยบาย
Harvester (ผู้เก็บเกี่ยว) ผู้ที่รับผิดชอบการดำเนินการ Outcome Harvesting ซึ่งมักเป็นนักประเมินภายนอกหรือภายในองค์กร
จุดเด่นสำคัญของ Outcome Harvesting คือ นิยามของ “ผลลัพธ์” ที่ครอบคลุมถึง การเปลี่ยนแปลงทั้งที่สังเกตได้ (observable) และไม่สามารถสังเกตโดยตรง (unobservable) การเปลี่ยนแปลงที่เกิดขึ้นตามแผน และการเปลี่ยนแปลงที่เกิดขึ้นโดยไม่ตั้งใจ ซึ่งเกิดกับบุคคล กลุ่ม ชุมชน องค์กร หรือสถาบัน แนวคิดนี้มีรากฐานจากแนวทาง Outcome Mapping ซึ่งเน้นการตรวจสอบเส้นทางของการเปลี่ยนแปลง ตั้งแต่ โครงการ ไปสู่ผู้มีบทบาทสำคัญในการเปลี่ยนแปลง (change agent) และไปสู่ผู้ได้รับผลจากการเปลี่ยนแปลง (social actor) ซึ่งอาจไม่ได้มีปฏิสัมพันธ์โดยตรงกับโครงการ
ข้อมูลที่เก็บจะถูกเขียนในรูปแบบ outcome descriptions โดยมีรายละเอียดเพียงพอที่จะตอบคำถามสำคัญ เช่น ใครเป็นผู้เปลี่ยนแปลง? เกิดการเปลี่ยนแปลงอะไรขึ้น? (สังเกตได้) การเปลี่ยนแปลงเกิดขึ้นเมื่อใด ที่ไหน? โครงการและ change agent มีส่วนทำให้เกิดการเปลี่ยนแปลงอย่างไร? ในบางกรณี อาจมีข้อมูลเพิ่มเติม เช่น บริบทที่ทำให้เกิดการเปลี่ยนแปลง ความร่วมมือกับผู้อื่น หรือความสำคัญของผลลัพธ์ในมุมมองที่หลากหลาย
หนังสือเล่มนี้ยังอธิบายขั้นตอนการดำเนินงาน 6 ขั้นตอน ที่ช่วยให้นักประเมินสามารถปรับใช้วิธี Outcome Harvesting ให้เข้ากับบริบทที่แตกต่างกัน และมีเครื่องมือ เคล็ดลับ และตัวอย่างที่เป็นประโยชน์เพื่อช่วยในการนำไปปฏิบัติจริง
ในส่วนของการดำเนินการ 6 ขั้นตอน หรือแผนผัง "Steps in outcome harvesting" (ขั้นตอนในการเก็บเกี่ยวผลลัพธ์) แผนผังแสดง 6 ขั้นตอนหลักของ Outcome Harvesting ซึ่งเป็นกระบวนการที่ทำซ้ำได้และเน้นมีการมีส่วนร่วม โดยแต่ละขั้นตอนจะให้ข้อมูลซึ่งกันและกัน มีกระบวนการดังนี้
1. Design the harvest (ออกแบบการเก็บเกี่ยว) ขั้นตอนนี้เป็นการกำหนดขอบเขตของการประเมิน ผู้ใช้หลักของผลลัพธ์ที่คาดหวัง และคำถามสำคัญที่จะนำไปสู่การเก็บเกี่ยวผลลัพธ์ เช่น "ผลกระทบโดยรวมของผู้รับทุนที่มีต่อการทำให้ระบบสุขภาพดีมากขึ้นคืออะไร และมีความหมายอย่างไรต่อกลยุทธ์
สรุปง่าย ๆ คือ การกำหนดขอบเขตว่าเราจะ “เก็บเกี่ยว” อะไร จากใคร ช่วงเวลาไหน
2.Review documentation and draft outcomes (ทบทวนเอกสารและร่างผลลัพธ์) ผ่านรวบรวมข้อมูลจากการทบทวนเอกสารภายในและภายนอก เช่น รายงานโครงการ บันทึกการประชุม และเอกสารอื่นๆ เพื่อระบุและร่าง "ข้อความผลลัพธ์" (outcome statements) เบื้องต้น ซึ่งอธิบายการเปลี่ยนแปลงที่สังเกตได้
สรุปง่ายๆ คือ อ่านรายงานเก่าๆ บันทึกกิจกรรม เอกสารข่าว เพื่อค้นหา outcome ที่เคยถูกบันทึกไว้
3. Engage with informants (มีส่วนร่วมกับผู้ให้ข้อมูล) โดยนักประเมินจะทำงานร่วมกับผู้ที่เกี่ยวข้องหรือผู้ให้ข้อมูลหลัก (key informants) ที่มีความรู้เกี่ยวกับการเปลี่ยนแปลงที่เกิดขึ้น เพื่อยืนยัน ปรับปรุง และทำให้ข้อความผลลัพธ์มีความแม่นยำและเป็นรูปธรรมมากขึ้น ขั้นตอนนี้มักเกี่ยวข้องกับการสัมภาษณ์หรือการจัดกลุ่มสนทนา
สรุปง่าย ๆ คือ สัมภาษณ์/ระดมความคิดเห็นกับผู้เกี่ยวข้อง เพื่อให้เล่าการเปลี่ยนแปลงที่เกิดขึ้นจริง
4. Substantiate (ยืนยันความถูกต้อง) เป็นการตรวจสอบความน่าเชื่อถือของผลลัพธ์ โดยมักจะผ่านการสัมภาษณ์บุคคลอิสระหรือบุคคลภายนอกที่มีความรู้เกี่ยวกับผลลัพธ์นั้นๆ เพื่อยืนยันว่าการเปลี่ยนแปลงได้เกิดขึ้นจริง และโครงการมีส่วนร่วมในการเปลี่ยนแปลงนั้นอย่างไร
สรุปง่าย ๆ คือ การเขียนออกมาเป็น outcome statementว่า ใครบ้างที่เปลี่ยน เปลี่ยนแปลงอย่างไร เพราะอะไร
5.Analyse, interpret (วิเคราะห์ ตีความ) เมื่อรวบรวมและตรวจสอบผลลัพธ์แล้ว นักประเมินจะทำการวิเคราะห์และตีความผลลัพธ์เหล่านั้น เพื่อตอบคำถามการประเมินที่กำหนดไว้ในขั้นตอนแรก และทำความเข้าใจความหมายของการเปลี่ยนแปลงที่เกิดขึ้น
สรุปง่าย ๆ คือ การตรวจสอบความน่าเชื่อถือของ outcome จากบุคคลหรือหลักฐานภายนอก (validation)
6. Support use of findings (สนับสนุนการนำผลการค้นพบไปใช้) โดยนำเสนอผลการค้นพบจากการเก็บเกี่ยวผลลัพธ์แก่ผู้ใช้หลัก เพื่อให้พวกเขาสามารถนำข้อมูลไปใช้ในการตัดสินใจ การเรียนรู้ หรือการปรับปรุงโปรแกรมในอนาคต
สรุปง่าย ๆ คือ วิเคราะห์เพื่อเรียนรู้ อะไรได้ผล ไม่ได้ผล ทำไมถึงเกิด และสิ่งใดควรปรับปรุง
จุดเด่นของแนวคิดเหล่านี้คือ ความเหมาะกับสถานการณ์ การไม่ยึดติดตัวชี้วัดเดิม รวมถึงบริบทที่เปลี่ยนแปลงอย่างรวดเร็ว โดยเฉพาะงานเด็กที่มีพลวัตสูง แนวคิดนี้เน้นความยืดหยุ่น การเห็นภาพจริงจากภาคสนาม พื้นที่วัฒนธรรม และกิจกรรมการพัฒนาเด็กและเยาวชน โดยเน้นสร้างการมีส่วนร่วม ทั้งทีมผู้จัดทำโครงการ ชุมชน ผู้ให้ทุน ผู้กำหนดนโยบาย เน้นการเชื่อมโยง “คุณค่า”ไปสู่ “ผลลัพธ์” ที่ตรวจสอบได้ ดึงเรื่องเล่าให้กลายเป็นข้อมูลที่ใช้งานได้
ดังนั้นหลักคิดในการทำความเข้าใจเรื่องคุณค่า และ มูลค่า ที่เชื่อมโยงกับเรื่องผลลัพธ์ เราต้องเข้าใจว่าคุณค่า คือสิ่งมีความหมาย ในขณะที่มูลค่า คือสิ่งที่ชี้วัดหรือสื่อสารในระบบได้ ผมว่ากระบวนการสำคัญ คือการ แปลภาษาคุณค่าให้กลายเป็นภาษามูลค่าโดยไม่ลดทอนความซับซ้อน ที่สำคัญคือต้องไม่หลงลืมว่าเรื่องเล่าไม่ได้มีไว้เพื่อแค่ “วัด” แต่เพื่อ “เข้าใจ”
สิ่งที่เป็นคำถามของทีมประเมินมาตลอดก็คือ ทำอย่างไรจะทำให้การประเมินคุณภาพมีพลัง พลังที่ว่าไม่ใช่ เร้าอารมณ์ ให้เห็นถึงพลังการเปลี่ยยแปลงอย่างเดียว แต่ต้องทำให้มีพลังในการสร้างการยอมรับในเชิงมูลค่าและความคุ้มค่าในกระบวนการที่เราลงทุนไปด้วย
ผมจึงพยามคิดเรื่องการวัดผลเชิงคุณภาพ/คุณค่า และการแปลงเรื่องเล่าให้เป็นข้อมูลที่จับต้องได้ เน้นการสกัด “การเปลี่ยนแปลงเชิงคุณค่า” ที่กลุ่มเป้าหมายเห็นว่าสำคัญที่สุด โดยการใช้เรื่องเล่าเป็นข้อมูลในระบบที่เปลี่ยนแปลงตลอดเวลา เน้นการแปลงข้อมูลเชิงคุณภาพให้ผู้มีอำนาจตัดสินใจเข้าใจได้ ซึ่งถือเป็นประเด็นสำคัญมากในงานประเมินผลที่เกี่ยวข้องกับการเติบโตภายใน โดยเฉพาะงานเด็กและเยาวชน
ผมมองว่าจุดเด่นของทีมประเเมินเด็กแบบพวกเราคือ การเน้นการเก็บเกี่ยวผลลัพธ์ ผ่านเรื่องเล่า ที่สอดคล้องกับ วิธีการ ทำงานเชิงมานุษยวิทยา การเข้าไปมีส่วนร่วม การสัมภาษณ์ การใช้การสะท้อนย้อนคิด การสร้างความสัมพันธ์แบบไว้ใจ สร้างให้เกิดแนวคิดเป็นเพื่อนร่วมทาง มากกว่าการเป็นผู้ประเมินแบบตัดสิน
สิ่งที่น่าสนใจคือ การเปลี่ยนแปลงที่ดูจับต้องไม่ได้ให้กลายเป็นหลักฐานที่น่าเชื่อถือ
คำถามท้าทาย และผมอยากคิดต่อที่เกียวข้องกับความถนัดของทีม ( ประเมินสายการวิจัยเชิงคุณภาพ) และการสร้างให้สิ่งเหล่านี้ถูกนำมาใช้ยืนยันผลลัพธ์ได้จริงและมีความน่าเชื่อถือไม่น้อยกว่าในเลิงปริมาณหรือตัวเลข
ความท้าทายที่ว่าคือเรื่องการเชื่อมโยงระหว่างเรื่องเล่ากับตัวเลขในเลิงผลลัพธ์
เรื่องเล่า (Narratives) มักสะท้อนคุณค่า มิติความรู้สึก การเปลี่ยนแปลงภายใน และความสัมพันธ์ที่มองไม่เห็นในดัชนี ในขณะตัวเลข (Quantification) กลับเป็นภาษาที่องค์กร ผู้สนับสนุน หรือภาคนโยบาย “ฟังรู้เรื่อง” และใช้ตัดสินใจได้ง่าย จึงเกิดโจทย์ว่าจะทำให้เรื่องเล่ามีน้ำหนักมากพอในโต๊ะตัดสินใจเชิงนโยบายได้อย่างไร
กลยุทธ์การแปลงคุณค่าเป็นมูลค่า (Value to Worth) โดยใช้การจับแพตเทิร์นหรือรูปแบบเด่น ๆ ของเรื่องเล่า (Thematic Analysis) โดยใช้การวิเคราะห์เชิงเนื้อหา (Content/Thematic Analysis) เพื่อหาความถี่ของธีม เช่น “ความมั่นใจ” “การกล้าแสดงออก” ที่พบในหลายเรื่องเล่า แสดงแนวโน้มการเปลี่ยนแปลง สิ่งนี้ช่วยให้ ข้อมูลเรื่องเล่าไม่กระจัดกระจาย แต่แสดงรูปแบบร่วมที่สื่อถึงผลลัพธ์ชัดเจนมากขึ้น
การให้คะแนนเรื่องเล่า (Narrative Scoring/Mapping) เช่น Scoring rubric 1-5 จากผู้ประเมินที่มีเกณฑ์ เช่น ระดับการเปลี่ยนแปลง ระดับการเป็นผู้นำหรือ การขยายผล รวมเป็นดัชนีเชิงปริมาณที่มาจากคุณภาพ (Quantifying Qualities)
การใช้ตัวแทนเชิงสัญลักษณ์ (Proxy Indicators) เช่น เรื่องราวที่ถูกบอกเล่าซ้ำต่อในชุมชน จำนวนครั้งที่ผู้เข้าร่วมกลับมาเป็นแกนนำรุ่นถัดไป ตัวเลขเหล่านี้อิงจากคุณค่า (Value-based proxy) ที่สามารถแปลงเป็นมูลค่าทางสังคมหรือทุนสังคม
การสื่อสารเพื่อให้ “คุณค่า” ถูกยอมรับ เช่น การสร้าง Story-based Dashboards ที่สามารถสื่อภาพรวมผลลัพธ์ผ่านการจับคู่เรื่องเล่ากับกราฟ เช่น เสียงจากภาคสนาม ร่วมกับ ดัชนีความมั่นใจหลังการอบรมเป็นต้น รวมทั้งใช้ เคสที่ทรงพลัง เป็น “หลักฐานเชิงคุณค่า” (Valuable Evidence) เคียงคู่กับข้อมูลเชิงปริมาณ
การเน้น “ผู้มีส่วนเกี่ยวข้อง” ร่วมกันระบุผลลัพธ์ ซึ่ง กระบวนการนี้เป็นการ “พูดคุย–เก็บ–ขัดเกลา–ตรวจสอบ” (Harvest ไปสู่ Substantiate) เพื่อสร้างพื้นที่สำหรับความหลากหลายของเรื่องเล่า แต่แปลงให้เป็น “ผลลัพธ์ที่เชื่อถือได้”
ผมเชื่อว่าเรา ในฐานะผู้ประเมินมักมีคำถามกับการมีกรอบการประเมินทีไม่ใช่แค่อยากเห็นข้อมูลที่สะท้อนผลลัพธ์ความสำเร็จที่เกิดขึ้นเพียงอย่างเดียว แต่ต้องการ ให้เกิดการเรียนรู้และพัฒนาที่เกิดจากการทำงานเพื่อสร้างความเปลี่ยนแปลง ที่สะท้อนความน่าเชื้อถือ และความถูกต้องของผลลัพธ์ที่แท้จริง …เป็นเรื่องท้าทายและต้องหาคำตอบในอนาคต
ความคิดเห็น
แสดงความคิดเห็น