fbpx

Bagaimana Merancang Survei untuk Pengukuran Dampak?

Okt 15, 2020 | by Fajri

Bagi kamu yang telah berhasil merancang Theory of Change (ToC), selamat, kamu telah mengambil langkah penting untuk dapat mengukur dampak dari proyek kamu dengan sukses. Bagi kamu yang belum merancang ToC kamu, kami sangat menyarankan kamu untuk merancang ToC kamu terlebih dahulu, menggunakan artikel kami sebelumnya sebagai panduan. Namun, bagi kamu yang belum memiliki kemampuan untuk mendesain ToC sepenuhnya, kamu tetap dapat menggunakan artikel ini sebagai panduan dalam membuat survei untuk mengumpulkan data dampak, selama kamu telah mengidentifikasi outcomes dan outputs kamu.

Jika kamu belum mendaftar untuk Platform Manajemen Dampak gratis kami untuk Pengukuran Dampak, lakukan sekarang. Kami berjanji ini akan membuat Pengukuran Dampak menjadi sangat mudah bagi kamu. Klik disini.

impact management platform

Langkah selanjutnya setelah mengidentifikasi hasil dan output melalui ToC kamu, adalah menjawab pertanyaan ‘bagaimana mengumpulkan data yang diperlukan untuk menunjukkan dampak?’ Bentuk paling dasar dari pengumpulan data dampak adalah survei sederhana kepada pemangku kepentingan yang dituju.

  • Mengapa kita merancang survei untuk pengukuran dampak?

Survei untuk pengukuran dampak penting untuk memahami seberapa banyak outcome kamu yang telah terpenuhi, dan berapa banyak output yang telah dibuat oleh proyek. Data yang dikumpulkan melalui survei memungkinkan kamu memahami bahwa kamu telah membuat sejumlah X perubahan langsung terhadap jumlah X penerima manfaat.

Namun, penggunaan survei tidak hanya sebatas untuk memahami seberapa besar outcome dan output yang telah dibuat, tetapi juga untuk memahami level lain dalam ToC, seperti input. Misalnya, kamu dapat menggunakan survei untuk juga memahami berapa banyak waktu kerelawanan yang dihabiskan setiap relawan untuk proyek tersebut.

Dalam artikel ini, kami terutama menjelaskan cara menggunakan survei untuk mengumpulkan data outcome dan output. Berikut adalah langkah-langkah untuk membuat survei kamu:

  • Langkah 1: Tentukan outcome yang akan diukur

Langkah pertama dalam membuat survey untuk pengukuran dampak adalah menentukan outcome atau output mana yang ingin kamu ukur. Dari ToC kamu, tuliskan outcome dan output yang ingin kamu kumpulkan datanya. Alasan kami mengumpulkan data untuk output juga, bukan hanya outcome, adalah karena output menunjukkan tingkat hasil proyek; yang merupakan jumlah kemajuan proyek sejauh ini.

Perhatikan bahwa kamu mungkin mengukur data yang sama untuk output dan outcome, dan jika itu masalahnya, itu baik-baik saja. Setelah kamu menentukan outcome dan output yang ingin kamu ukur, langkah selanjutnya adalah menentukan parameter untuk setiap output dan outcome.

Untuk keperluan artikel ini, kami akan mengambil contoh proyek ketahanan pangan di Indonesia, yang juga bertujuan untuk membantu petani di pedesaan menjual lebih banyak produk mereka dengan menciptakan rantai nilai. Kami akan menggunakan hasil “petani dapat menjual lebih banyak produk mereka dengan bantuan proyek” untuk diukur melalui survei kami.

  • Langkah 2: Tentukan parameter outcome dan output kamu

Parameter adalah spesifikasi dan cakupan istilah yang telah kamu gunakan di setiap hasil dan output. Misalnya jika kamu menggunakan kata ‘orang miskin’ dalam outcome / output kamu, kamu harus mendefinisikan ‘apa yang membuat seseorang dimasukkan sebagai orang miskin?’, Atau ‘apakah semua orang miskin pada umumnya atau hanya orang miskin yang tinggal di area spesifik? ‘dan pertanyaan lain yang selanjutnya akan menentukan dan mencakup istilah yang kamu bicarakan. kamu juga dapat menggunakan penelitian atau data yang ada sebagai referensi untuk menentukan parameter kamu. Misalnya, kamu dapat menggunakan tingkat kemiskinan nasional untuk mendefinisikan ‘orang miskin’.

Biasanya kamu hanya perlu menentukan parameter untuk pemangku kepentingan kamu yang akan mendapat manfaat langsung dari proyek kamu. Namun, jika kamu memiliki istilah dalam outcome / output yang belum jelas bagi kebanyakan orang pada pandangan pertama, kamu juga harus menentukan parameter untuk istilah tersebut.

Dalam contoh proyek ketahanan pangan, kamu ingin mengukur outcome  “petani dapat menjual lebih banyak produk mereka dengan bantuan proyek”. Karena untuk outcome ini, para pemangku kepentingan adalah para petani, kamu ingin menetapkan parameter untuk para petani. Untuk contoh ini, parameternya adalah ‘petani desa di sekitar pulau Jawa Barat yang dapat menjual produk pangannya melalui proyek tsb’.

  • Langkah 3: Tentukan titik data

Setelah menentukan parameter, langkah selanjutnya adalah memiliki gambaran yang jelas tentang jenis data apa yang kamu kumpulkan, yang dapat menunjukkan sejauh mana hasil kamu telah terpenuhi. Data yang ingin kamu kumpulkan disebut titik data / data point. Untuk menentukan data point kamu, kamu dapat bertanya pada diri sendiri pertanyaan “data apa yang diperlukan untuk menunjukkan bahwa hasil telah tercapai?”. Jawabanmu atas pertanyaan ini kemudian perlu dirinci menjadi 1) jenis data dan 2) satuan ukuran untuk setiap titik data / data point.

Untuk memperjelasnya, mari kita kembali ke contoh proyek ketahanan pangan. Kami perlu menjawab pertanyaan, “Apa data yang diperlukan untuk menunjukkan bahwa petani memang mampu menjual lebih banyak produk mereka dengan bantuan proyek?”. Jawaban dari pertanyaan itu adalah:

  • Kemampuan setiap petani untuk menjual per periode waktu — sebelum proyek dan sesudah proyek.

Data untuk menentukan ‘kemampuan menjual’ akan ditentukan ke dalam pendapatan rata-rata yang diterima per bulan. Ini kemudian akan diterjemahkan menjadi 2 poin data:

  1. Pendapatan penjualan rata-rata per bulan sebelum proyek (Satuan Ukuran: USD)
  2. Pendapatan penjualan rata-rata per bulan setelah proyek (Satuan Ukuran: USD)

Oleh karena itu, dengan memperoleh 2 titik data ini, kamu akan dapat menunjukkan seberapa besar peningkatan penjualan yang dialami petani dengan bantuan proyek kamu, atau apakah ada peningkatan pada awalnya. Selain 2 poin data ini, kamu juga ingin mengetahui seberapa besar petani mampu meningkatkan penjualan mereka dengan bantuan proyek kamu.

Kamu mungkin bertanya-tanya jika ada peningkatan penjualan ke petani, bagaimana kami bisa tahu bahwa ini benar-benar karena proyek kamu, bukan karena faktor lain? Misalnya subsidi pemerintah, atau mungkin proyek lain yang bertujuan untuk membantu para petani? Jawabannya adalah dengan menghitung kontrafaktual, atau sekadar ‘apa yang seharusnya terjadi jika tidak ada aktivitas proyek kamu. Namun, karena kami terutama berfokus pada cara membuat survei untuk pengukuran dampak, kami tidak akan menerapkan konsep kontrafaktual dalam artikel ini. Kamu dapat melihat artikel ini untuk membaca lebih lanjut tentang kontrafaktual dan 5 dimensi dampak.

Dalam menentukan poin data kamu, kamu juga perlu mempertimbangkan data mana yang dapat kamu akses, dan yang mungkin diperoleh dari pemangku kepentingan yang kamu tuju. Dalam hal ini, kamu harus mempertimbangkan latar belakang pemangku kepentingan kamu, mis. literasi, pendidikan, status sosial ekonomi. Misalnya, kamu tidak akan bisa menanyakan rata-rata pertumbuhan penjualan per bulan kepada petani di pedesaan yang sebagian besar hanya menempuh pendidikan dasar. kamu perlu menyesuaikan poin data dan pertanyaan survei kamu nanti dengan pemangku kepentingan yang kamu tuju.

Langkah 4: Tentukan indikator keberhasilan

Sekarang kamu memiliki poin data kamu. Katakanlah kamu mendapatkan data hasil dan kamu melihat semua data yang telah kamu peroleh. Lalu apa? perlu ada langkah di mana kamu menentukan, dari semua data yang kamu peroleh, bagaimana proyek kamu berhasil mencapai hasil kamu. Apa definisi sukses untuk kamu? Namun ada satu catatan, bahwa penentuan indikator keberhasilan hanya berlaku untuk data hasil; karena data keluaran hanya digunakan untuk menunjukkan seberapa besar kemajuan proyek.

Dalam contoh proyek ketahanan pangan, kami sudah memiliki 3 titik data. Bagaimana kita bisa mengatakan bahwa kita telah berhasil mencapai hasil? kamu mungkin akan berpikir tentang berapa banyak peningkatan penjualan yang dialami petani, atau mungkin kamu ingin mengetahui jumlah spesifik tentang berapa banyak petani yang kamu inginkan agar penjualan mereka meningkat. Definisi kesuksesan hasil kamu sepenuhnya terserah kamu untuk memutuskan; itu tergantung pada seberapa besar dampak yang ingin kamu berikan kepada pemangku kepentingan kamu. Dalam contoh ini, penyelenggara proyek memutuskan bahwa mereka ingin meningkatkan penjualan setidaknya 75% dari petani yang terbantu oleh proyek, dengan peningkatan minimal 30%.

Tip berguna dalam mendefinisikan kesuksesan adalah kamu juga dapat mendefinisikan kesuksesan selama periode waktu tertentu. Misalnya, selain peningkatan 30%, kamu juga dapat mengatakan bahwa kamu ingin melihat peningkatan 2% dalam penjualan setiap bulan sejak proyek dimulai. Artinya, untuk bulan pertama sejak proyek dimulai, para petani menyaksikan peningkatan penjualan sebesar 30%, kemudian bulan berikutnya sebesar 32%, lalu bulan berikutnya sebesar 34%, dan seterusnya. Indikator keberhasilan semacam ini juga dapat digunakan untuk proyek yang bertujuan untuk keberlanjutan terhadap pemangku kepentingan tertentu, misalnya untuk pemberdayaan pemangku kepentingan. Dalam hal ini, kunci suksesnya adalah bagaimana para pemangku kepentingan dapat diberdayakan untuk tumbuh dan meningkatkan dampak positif bagi diri mereka sendiri dari waktu ke waktu.

Langkah 5: Tentukan cara mengumpulkan data kamu

Setelah kamumenetapkan semua poin data dan indikator keberhasilan, sekarang saatnya untuk membahas sedikit detail teknis dan operasional tentang bagaimana kamusebenarnya akan mengumpulkan data. Berikut 5 pertanyaan yang harus dijawab:

  • Siapa yang akan mengumpulkan data?
  • Dari siapa data tersebut akan dikumpulkan?
  • Kapan data akan dikumpulkan?
  • Frekuensi pengumpulan data?
  • Bagaimana data dikumpulkan?

Dalam menjawab pertanyaan ini, kamuakan mempertimbangkan sumber daya berwujud yang dimiliki proyek kamu(misalnya, teknologi, tenaga kerja untuk melakukan survei, sumber daya logistik, dll.), Serta yang tidak berwujud (misalnya, literasi teknologi). Dalam menjawab pertanyaan ‘siapa yang mengumpulkan data’ misalnya, apakah kamuakan mempertimbangkan untuk memiliki tim ahli yang berdedikasi untuk mengumpulkan data, atau apakah kamulebih suka memiliki aktornya (orang yang benar-benar membuat dampak terjadi di lapangan; misalnya relawan) untuk melakukan pekerjaan itu? Sementara yang pertama akan mengharuskan kamumembayar biaya tambahan (misalnya keahlian, transportasi, dan biaya operasional lainnya untuk melakukan survei dampak khusus), yang terakhir akan sangat mudah dilakukan dengan menggunakan aplikasi pengukuran dampak Artemis. Aplikasi gratis ini memungkinkan aktor kamuuntuk mengumpulkan data dengan cara yang sederhana dan mudah digunakan, selain itu juga memungkinkan kamusebagai penyelenggara proyek untuk mengekstrak data untuk melihat seberapa banyak hasil dan keluaran yang telah dihasilkan oleh proyek tersebut.

Dalam contoh proyek ketahanan pangan, relawan adalah orang-orang yang akan melakukan pendataan ke petani setiap minggu dengan menggunakan Aplikasi Artemis Impact Measurement App.

Langkah 6: Merumuskan pertanyaan

Jika kamusudah berhasil sejauh ini, selamat! Langkah terakhir adalah membuat pertanyaan survei. Pertanyaan kamuakan didasarkan pada poin data yang telah kamubuat, karena kamuingin memperoleh poin data melalui pertanyaan ini. Seperti yang telah disebutkan sebelumnya, pertanyaan kamuharus disesuaikan dengan pemangku kepentingan kamu. Apakah mereka orang yang paham istilah teknologi, misalnya? Apa latar belakang pendidikan dan budaya mereka? Semua benda tak berwujud ini perlu dipertimbangkan saat merumuskan pertanyaan. Pertanyaan kamuharus sederhana dan mudah dipahami pada pandangan pertama, dan sebaiknya kamumemiliki satu pertanyaan untuk memperoleh satu data saja, tidak lebih, agar tidak membuat hal-hal yang terlalu rumit bagi pemangku kepentingan kamu.

Jika kita kembali ke contoh proyek ketahanan pangan, pertanyaan wawancara akan sangat mudah berdasarkan poin data. Proyek ini mulai berdampak pada petani sejak minggu pertama Agustus, jadi ini akan digunakan sebagai referensi dalam mengajukan pertanyaan.

Pertanyaan demografis (Nama, umur, desa)

Sebelum Agustus, dapatkah kamumemberi tahu kami, berdasarkan ingatan terakhir kamu, berapa banyak persediaan yang kamujual per bulan?

Dapatkah kamumemberi tahu kami berapa banyak pendapatan yang kamuterima melalui penjualan tersebut per bulan?

Selama seminggu terakhir, dapatkah kamumemberi tahu kami berapa banyak persediaan yang telah kamujual?

Dapatkah kamumemberi tahu kami berapa banyak pendapatan yang kamuterima melalui penjualan tersebut?

Dalam contoh ini, penyelenggara proyek memahami bahwa data mengenai penjualan tidak terdokumentasi dengan baik oleh petani setiap bulan, jadi cara yang paling efektif adalah dengan menanyakan kepada mereka secara langsung dan sering mengenai berapa banyak yang mereka terima melalui penjualan selama seminggu terakhir, yang mana adalah sesuatu yang dapat mereka ingat dan ceritakan.

Kesimpulan

Membuat survei untuk mengukur luaran dan luaran kamudapat dilakukan dengan melalui enam langkah, mulai dari menentukan luaran atau keluaran mana yang ingin kamuukur hingga merumuskan pertanyaan survei itu sendiri. Ini adalah proses yang sangat menekankan pada pemahaman sumber daya yang tersedia bagi kamuserta latar belakang pemangku kepentingan yang kamutuju. Di bawah ini adalah tabel yang merangkum keenam langkah tersebut, bersama dengan pertanyaan kunci yang harus kamuajukan untuk melakukan setiap langkah dan tip umum.

 

No

 Langkah

Pertanyaan Kunci

Tip Umum

1

Determine the outcome to measure

Which output or outcome from my ToC that I would like to measure?

  • Tidak masalah jika kamu akan mengukur data yang sama untuk output dan outcome

2

Define the parameters of your outcome

Who are the stakeholders? What are the terms in my outcome that need further specification and scoping?

  • Tentukan istilah yang tidak dapat dimengerti pada pandangan pertama

3

Determine the data points

What are the necessary data needed to show that the outcome has been achieved?

  • Uraikan poin data kamu menjadi 1) jenis data dan 2) satuan ukuran untuk setiap titik data
  • Pertimbangkan data mana yang dapat diakses dengan sumber daya kamu
  • Pertimbangkan latar belakang pemangku kepentingan kamu

4

Define the success indicators

How would I define success in achieving my outcome?

  • Keberhasilan sepenuhnya terserah kamu untuk menentukan, tergantung pada seberapa besar dampak yang ingin kamu berikan kepada pemangku kepentingan kamu
  • Kamu juga dapat menentukan kesuksesan selama periode waktu tertentu

5

Determine how to collect your data

  • Who will collect the data?
  • From whom will the data be collected?
  • When will the data be collected?
  • Frequency of data collection?
  • How will the data be collected?

6

Formulate the questions

How can I ask questions that can help me obtain the data points?

  • Pertanyaan harus disesuaikan dengan latar belakang pemangku kepentingan kamu
  • Pertanyaan harus sederhana dan mudah dipahami pada pandangan pertama
  • Lebih disukai memiliki satu pertanyaan untuk memperoleh satu data

Jika kamu memiliki pertanyaan, silakan kunjungi situs web kami atau hubungi kami melalui email: contact@artemis.im

Baca lebih lanjut tentang Pengukuran dampak di bawah ini:

What is Impact Measurement & Management?

4 Resources For NGOs to Learn More About Impact Measurement & Management

6 Ways Adopting Impact Measurement & Management Can Make Your Interventions More Successful

Close Bitnami banner
Bitnami