جودة البيانات الحلقة الأضعف في قياس الأثر الاجتماعي

عام 2017 في إحدى القرى النائية نفذت منظمة غير ربحية مشروعاً يستهدف أطفالاً، أعمارهم خمس سنوات وما دون، تضمّن المشروع تقديم مساعدات للأطفال لتحسين مستوى التغذية لديهم، وموّلت مؤسسة مانحة المشروع بملايين الدولارات، واشترطت ضمن عقد التمويل قياس الأثر الاجتماعي الذي حققه المشروع لدى الأطفال والمجتمع المستهدف.

وبالفعل بعد عام من التنفيذ وبعد إغلاق المشروع، جاء تقرير قياس الأثر ليعلن عن نتائج مبشّرة مبهرة أهمها: تراجع معدلات نسبة الأطفال المصابين بسوء التغذية بنسبة 34% في المجتمع المستهدف، فتفاعل المعنيون بالتقرير مع النتائج، وجددت الجهة المانحة العقد، وأصبح المشروع نموذجاً يحتذى به في القطاع.

بعد مدة (عدة أشهر) من البدء بتنفيذ الدورة الثانية للمشروع، بدأ فريق مستقل بالمتابعة وتقييم الأنشطة والمخرجات للمشروع وقياس مدى استدامة أثره، فاكتشف حقيقة مختلفة تماماً.

الأرقام التي بني عليها "نجاح المشروع" كانت مجمعة من قوائم غير مكتملة، وتقييمات غذائية أجراها موظفون ومتطوعون غير مدرّبين، وعملية إدخال البيانات تمت يدوياً وتخللتها أخطاء في الإدخال.

الكثير من الأطفال الذين سجلوا في البرنامج لم يكونوا موجودين أصلاً، وبعضهم قُيّد أكثر من مرة، وبناء على ذلك كان "الأثر" المعلن للمشروع مبنياً على بيانات مشوهة فيها الكثير من المشكلات.

وهذه الحالة ليست الأولى، وليست استثناء، وإنما هي حالة من آلاف الحالات المتكررة في مشروعات متنوعة، وقطاعات عمل عديدة، تكشف عن أزمة بنيوية في قياس الأثر الاجتماعي ترتبط بمدى جودة البيانات المستخدمة.

حين يخدعنا الرقم ونبني على القياس الخاطئ

يميل البشر بطبيعتهم للثقة بالمعلومة التي تبنى على الأرقام، إذ تضفي عليها طابعاً علمياً، وتوحي بالدقة. فالتقارير المبنية على الأرقام حول الفئات المستهدفة: "أعداد المستفيدين"، و"نسبة التحسن"، و"معدلات التغيير"، تُشعِر الجهات المانحة، والجهات المعنية بالثقة، حتى لو كانت تلك الأرقام مبنية على أسس هشة، وقيست في شروط وظروف غير مستقرة وليست قياسية.

وهذا ينعكس على الأثر المحرز في قطاع التنمية الاجتماعية، والقطاع الإنساني على العموم، لكونه يفترض إثبات تحققه في المشروعات والبرامج لضمان الحصول على دعم وتمويل، وتحقيق الاستمرارية لها.

ولأن أغلب هذه المشروعات والبرامج تنفذ في بيئات هشة، وتستهدف فئات مهمشة، في سياقات معقدة من الصعب جمع بيانات ذات جودة عالية فيها، يشكل قياس الأثر الاجتماعي ضغطاً مزدوجاً يتمثل بـ: 

1. الضغط للحصول على بيانات "حقيقية، وموثوقة"
2. الضغط الناتج عن العمل في بيئات تجعل جمع هذا النوع من البيانات أمراً صعباً، ولكن ليس مستحيلاً، عبر اعتماد معايير لقياس جودة البيانات، والتأكد من تحقق كل منها على حِدة.

معايير قياس جودة البيانات

من الصعوبة الحكم على جودة البيانات في سياق قياس الأثر الاجتماعي، إلا إذا كانت لدينا معايير يمكن بها القياس، وتجاوز تحدي صعوبة الحصول على بيانات حقيقية، وذات مصداقية، تعكس الأثر الفعلي كما هو في الواقع. وبناء على تجارب ودروس مستفادة يمكن تقديم مجموعة من المعايير لقياس جودة البيانات تتمثل بـ:

الدقة Accuracy:

في دراسة أجرتها منظمة J-PAL على برامج نفذتها في قطاع التعليم بجنوب آسيا، وجدت أن ما يزيد عن 20% من سجلات الحضور المدرسي قد تم التلاعب بها بأشكال عدة؛ تسجيل حضور لطلاب غائبين، إضافة أسماء وهمية...

فعند جمع بيانات قياس الأثر لابد من التأكد من أنها تعكس الواقع حقاً، وأنها لم تتعرض للتشويه أو التعديل، لأسباب قد تكون مرتبطة بضغوطات الالتزام بمواعيد التسليم، أو كون بيئة العمل تخلو من المساءلة، أو غياب تقييم لأداء العاملين.

الاكتمال Completeness:

عند اعتماد جمع بيانات قياس الأثر الاجتماعي على فئات يمكن الوصول لها بسهولة دون الفئات صعبة الوصول مثل: ذوي الإعاقات، والنساء في المجتمعات المحافظة، والمهاجرين غير الموثّقين، وسكان المناطق النائية، تنتج عينة منحازة، وتكون صورة الأثر غير مكتملة.

إن التقدير الصحيح لآليات الوصول الصحيحة للفئات المستهدفة، عبر اختيار طريقة التواصل الأكثر فاعلية، واختيار العينة الممثلة لها دون أي انحياز، هو المفتاح للوصول لبيانات مكتملة تمثل الجميع.

 الاتساق Consistency:

في بعض الأحيان قد يفهم جامع البيانات في منطقة X "تحسن مستوى الدخل" بطريقة مختلفة عن زميله في المنطقة Y، ما يجعل المقارنة بين البيانات التي جمعت من المنطقتين غير متسقة.

لذلك قبل البدء بجمع بيانات قياس الأثر لا بد من اختبار الأدوات، والتأكد من توفر معيار الاتساق فيها، والذي يتمثل بفهم الغرض من كل مؤشر، وتوحيد طرائق قياسها، وعرضها، وتوثيقها عبر المصادر المختلفة أو مع مرور الوقت ما يساهم في الوصول لبيانات متسقة خالية من الأخطاء.   

الملاءمة Relevance:

في أثناء جمع البيانات لا بد من مراجعتها أولاً بأول للتأكد من مدى ملاءمتها للغرض الذي جمعت لأجله، وهل حقاً تغطي الجوانب المراد معرفتها لقياس التغيير الحقيقي الحاصل أم فيها خلل ما.

فالبيانات التي نحتاج إليها لقياس الأثر لا تقتصر على البيانات الكمية التي من السهل قياسها مثل عدد المستفيدين، عدد المنتجات الموزعة... وإنما لا بد من وجود بيانات نوعية تقيس التغيير الحقيقي الذي طرأ على حياة الناس.

مشكلة قلة جودة البيانات تتكرر في قياس الأثر

إن الحصول على بيانات قياس الأثر بجودة منخفضة لا تقع مسؤوليتها فقط على المنظمات، والمؤسسات، ومديري المشروعات، والمعنيين بقياس الأثر، وإنما أسبابها بنيوية، متشعبة في العمل الاجتماعي والإنساني في ثلاثة مسببات: 

 المُسبب الأول: ديناميكيات التمويل

يريد المانح أن يرى عوائد مباشرة على استثماره الاجتماعي، والمنظمة أو المؤسسة المنفذة للمشروع تعرف أن تمويلها في الدورة القادمة للمشروع يعتمد على بيانات تظهر نجاحه والأثر الذي حققه، وهذا الشكل هو الأكثر تكراراً في معظم هياكل التمويل، ما يدفع ضمنياً أو صراحة نحو ما يسمى بـ "التحيز في الاختيار"، حيث توثّق المنظمة أو المؤسسة نجاحات المشروع أساساً، وتمر في عُجالة على إخفاقاته، أو فشله، وفي بعض الأحيان لا تُذكر أبداً حين تكون آليات المساءلة المحايدة ضعيفة أو غير موجودة.

المُسبب الثاني: القدرات المؤسسية

تُصنَّف أغلب المنظمات والمؤسسات العاملة في القطاع الاجتماعي والإنساني بكونها صغيرة أو متوسطة الحجم، فالكثير منها لا يمتلك بالضرورة متخصصي متابعة وتقييم للمشروعات، ولا استراتيجية معتمدة لقياس الأثر الاجتماعي لمشروعاتها، وعادة ما يتولى جمع بيانات قياس الأثر الاجتماعي من يعملون في الميدان بالدرجة الأولى، لا بصفتهم جامعي بيانات، بل منفذين لأنشطة المشروع المثقلين بمهام أخرى غير جمع البيانات. وذلك لأن جمع بيانات قياس الأثر ذات جودة عالية مكلف ويحتاج موارد عديدة منها: الموارد المادية التي تمكن من توفير متطلبات عملية جمع البيانات، والتعاقد مع خبراء مختصين، والموارد البشرية عبر التأهيل والتدريب لموظفيها الميدانيين لجمع البيانات باحترافية، والموارد التقنية تتمثل بالوصول لأنظمة تقنية ذكية تمكّن من جمع بيانات قياس الأثر وإدارتها بفاعلية.

المُسبب الثالث: تداخل أبعاد الأثر الاجتماعي المحقق

إن الضغط للحصول على أرقام حول الأثر الاجتماعي للمشروع عبر دورة تمويل واحدة، يدفع باتجاه اعتماد مؤشرات سطحية قصيرة الأمد لقياس التغير الحاصل، الأمر الذي يسبب إخفاقاً في معرفة التغيير الحقيقي الذي يمكن أن يُحدثه المشروع، ويزداد الأمر سوءاً إذا ما كان التغيير متعدد الأبعاد، ويصعب قياسه، ويحتاج إلى سنوات حتى يظهر لدى المعنيين.

الخاسر الأكبر من بيانات قياس الأثر ذات جودة منخفضة

إن الحديث عن جودة البيانات في قياس الأثر الاجتماعي قد يبدو كلاماً أكاديمياً مجرداً، لكنه في الواقع في جوهر قياس الأثر، والخاسر الأول من عدم تحققه هو الإنسان المحتاج، الذي يعاني، حين توزّع الموارد على المشروعات بناء على بيانات قياس أثر رديئة، ويذهب الدعم إلى برامج تبدو في ظاهرها ذات أثر على الورق، ولكنها ليست كذلك في الواقع، وبالنتيجة تُحرم المجتمعات الأكثر احتياجاً من الدعم، لأن الوصول لبياناتها صعب، وتمثيلها أضعف، وتتعمق الهشاشة في مجتمعاتها بدلاً من معالجتها.

والخاسر الثاني هو المنظمات والمؤسسات التي لا تملك بيانات موثوقة عن الأثر الذي حققته مشروعاتها، فليس لديها آلية للتعلم المؤسسي، وتحسين ممارساتها، وتعيد نفس الأخطاء، وتكرر نفس البرامج ذات الأثر المنخفض، ويغلبها وهم الإنجاز غير الحقيقي.

خطوات واعدة للتعامل مع تحديات قلة جودة البيانات

مع كل القتامة السابقة، هناك خطوات واعدة للتعامل مع جودة البيانات وكيفية ضمان الوصول إليها، وإن كانت في طور النضج:

• ظهور أدوات رقمية لجمع البيانات منخفضة التكلفة، يمكن أن تُستخدم لجمع بيانات قياس الأثر مثل google forms وKoBoToolbox التي تمكّن من التحقق الآني والتلقائي، بما يقلل من الأخطاء، لتحسين الجودة حتى في البيئات الهشة.
• توجهت بعض المنظمات والمؤسسات الرائدة في العمل الاجتماعي والإنساني نحو إشراك المجتمعات المستهدفة في تصميم مؤشرات القياس وجمع البيانات، مثل منظمة Feedback Labs، التي بدأت تروّج لنماذج "حلقة ملاحظات المستفيدين" التي تدمج صوت المجتمع في آليات المتابعة والتقييم وقياس الأثر.
• الإفصاح عن الإخفاقات بدأ يكتسب زخماً متصاعداً، مع نشر ثقافة "الإخفاق المفيد"، التي تدعو لنشر ما لم ينجح كفرصة للتعلم، وكسر دوافع التلاعب بالبيانات.
• بدأت مؤسسة Gate ومؤسسة MacArthur بتخصيص بنود صريحة ضمن عقود المنح لتمويل أنشطة المتابعة والتقييم، وقياس الأثر، وتطالب بخطط بيانات مستقلة، وتدعم التقييمات الخارجية كطرف ثالث.

خلاصة القول: إن أزمة جودة البيانات في قياس الأثر الاجتماعي هي في جوهرها أزمة ثقافة، لا أزمة أدوات، ينقصنا ثقافة مؤسسية، ترفع من قيمة الصدق على قيمة المظهر، وتحاسب على جودة المعلومات لا على جمال الأرقام.

الحلقة الأضعف في قياس الأثر الاجتماعي هو جودة البيانات، التي يمكن تقويتها، لكنّ ذلك يتطلب قبل كل شيء الاعتراف بأنها ضعيفة، وهذا وحده يمثّل خطوة لا يستهان بشجاعتها.