Lewati ke isi

Perencanaan Penelitian (SLR Protocol)

Halaman ini memuat perencanaan terstruktur Systematic Literature Review (SLR) yang mengacu pada panduan Kitchenham (2007) dan standar pelaporan PRISMA 2020, selaras dengan materi metodologi penelitian Program Studi Ilmu Komputer Universitas Pendidikan Indonesia (UPI).

1. PICOC v1 LOCKED

Status perumusan PICOC v1 telah DISETUJUI (APPROVED) & DIKUNCI (LOCKED) per 2026-09-09 (diverifikasi terhadap Kitchenham 2007, Petticrew 2006, dan PRISMA 2020):

  • P (Population):

    autonomous multi-agent systems for repository-level software engineering tasks (code generation, bug fixing, automated program repair, multi-file maintenance)

  • I (Intervention, composite):

    hierarchical coordination/orchestration with human-in-the-loop (HITL) approval gates and closed-loop feedback/telemetry mechanisms

  • C (Comparison):

    single-agent architectures (ReAct, Reflexion), decentralized/flat peer-to-peer agent collaboration (standard conversational multi-agent), manual/traditional SE baselines

  • O (Outcomes):

    (1) functional: task completion, resolved rate e.g. SWE-bench; (2) efficiency: token, cost per task, latency; (3) reliability: intervention rate, loop stability, drift/cascading/infinite-loop mitigation

  • C (Context):

    isolated containerized sandboxes, long-horizon multi-step horizons, realistic enterprise multi-repo codebases

Pemetaan Konteks Tesis & Batasan Kueri

  • CEO Gate: Merupakan instansiasi spesifik dari HITL supervisor dalam testbed Bab 3 tesis, bukan istilah kueri penelusuran basis data.
  • Standar Ilkom UPI: Merupakan kriteria penerimaan (acceptance criteria) evaluasi Bab 3, bukan penyaring seleksi literatur SLR.
  • Aturan Kueri Basis Data: Kueri basis data akademik diturunkan hanya dari kombinasi P AND I; aspek C, O, dan Context ditransformasikan menjadi kriteria inklusi/eksklusi (IC/EC) serta kolom lembar ekstraksi data (DEF), mengacu pada revisi Kitchenham et al. (2013).

Amendment Fokus Sintesis 5C (2026-09-10, Schnee approved)

PICOC v1 di atas tetap LOCKED dan tidak diubah. Fokus sintesis 5C Batch 1 dipersempit ke klaim tunggal selective HITL approval gate yang meminimalisir HITL: orkestrasi hierarchical multi-agent berjalan mandiri, hanya aksi risiko tinggi (migrasi basis data, deploy, hapus berkas, biaya) yang naik ke manusia, risiko rendah auto-lolos, sisanya pulih via telemetri closed-loop. Bobot: G3 HITL 40% inti, G1 orkestrasi 25% fondasi, G2 closed-loop 20% pembanding, G4/G5 15% pendukung. Detail: 00_meta/amendment_I_selective_20260910.md.

2. Research Questions (RQ) Hirarki

Pertanyaan penelitian (Research Questions) dirumuskan secara berjenjang untuk membedah keadaan terkini (SOTA) hingga sintesis kesenjangan riset (gap):

  • RQ1 (SOTA): Pendekatan arsitektur dan koordinasi apa yang dominan saat ini dalam sistem multi-agent untuk rekayasa perangkat lunak?
  • RQ2 (Mekanisme): Bagaimana mekanisme Intervention mengatasi kegagalan drift, saturasi konteks, dan kaskade kesalahan (cascading failure) pada eksekusi berjangka panjang?
  • RQ3 (Metrik): Tolok ukur (benchmark) dan bukti metrik empiris apa saja yang dilaporkan untuk mengukur kinerja fungsional, efisiensi token, dan keandalan sistem?
  • RQ4 (Gap): Limitasi dan batasan fundamental apa yang secara konsisten belum terselesaikan pada literatur primer yang ada?

3. Strategi Pencarian (Search String)

String Pencarian Generik (Template)

Kueri pencarian generik yang menjadi acuan penyusunan sintaks spesifik basis data akademik:

("multi-agent" OR "multiagent" OR "autonomous agents" OR "agentic workflow" OR "compound AI system") AND ("software engineering" OR "code generation" OR "program repair" OR "software synthesis" OR "SWE-bench") AND ("blackboard" OR "telemetry" OR "feedback loop" OR "deliberation" OR "consensus" OR "coordination mechanism")

Log varian kueri per basis data, tanggal eksekusi, jumlah rekaman mentah (\(n\)), dan repositori ekspor mentah dibekukan pada direktori 02_slr/queries/ dan 02_slr/raw_exports/.

4. Kriteria Inklusi dan Eksklusi (IC/EC)

Kriteria Inklusi (Inclusion Criteria - IC)

  • IC1: Membahas arsitektur atau mekanisme multi-agent / LLM untuk rekayasa perangkat lunak (Software Engineering) secara langsung.
  • IC2: Memiliki implementasi sistem yang konkret dan menyajikan bukti empiris kuantitatif yang terukur.
  • IC3: Terbit dalam kurun waktu 2020–2026 (fase kemutakhiran Agentic AI).
  • IC4: Diterbitkan pada prosiding/jurnal terindeks bereputasi (peer-reviewed IEEE, ACM, Springer, Elsevier) atau repositori pra-cetak terkemuka (arXiv kategori cs.SE / cs.AI).
  • IC5: Menjelaskan protokol komunikasi, mekanisme koordinasi, atau umpan balik (feedback loop) secara eksplisit.

Kriteria Eksklusi (Exclusion Criteria - EC)

  • EC1: Tidak tersedia teks penuh (no fulltext) atau hanya tersedia abstrak (abstract-only).
  • EC2: Artikel editorial, opini, tutorial, makalah visi (position paper), atau abstrak diperluas pendek (<4 halaman) tanpa evaluasi tolok ukur kuantitatif.
  • EC3: Artikel ditulis dalam bahasa selain bahasa Inggris atau bahasa Indonesia.
  • EC4: Terindikasi duplikat (apabila terdapat versi pra-cetak dan versi terbitan berkala resmi, versi jurnal/prosiding final terlengkap yang dipertahankan).
  • EC5: Membahas kecerdasan buatan murni tanpa konteks aplikasi rekayasa perangkat lunak.

5. Sumber Penelusuran Literatur (Hunting Sources)

Mengacu pada rekomendasi kuliah metodologi penelitian Ilkom UPI (Seminar UPI 2026-08-22, Yaya Wihardi, mengadopsi kerangka Zainal A. Hasibuan), cakupan pencarian mencakup 10 repositori ilmiah bereputasi:

  1. Google Scholar (pencarian benih awal + pelacakan sitasi lanjutan forward cited-by): https://scholar.google.com/
  2. Scopus: https://www.scopus.com/
  3. Web of Science: https://www.webofscience.com/
  4. IEEE Xplore: https://ieeexplore.ieee.org/
  5. ACM Digital Library: https://dl.acm.org/
  6. ScienceDirect (Elsevier): https://www.sciencedirect.com/
  7. SpringerLink: https://link.springer.com/
  8. OpenAlex API: https://docs.openalex.org/
  9. CrossRef API: https://api.crossref.org/
  10. arXiv (cs.SE, cs.AI, cs.MA): https://arxiv.org/

Alur Penapisan dan Seleksi Kampus

  • Corong Seleksi (Funnel): Kumpulan kandidat (100+) \(\to\) Pemeriksaan Judul \(\to\) Penapisan Abstrak \(\to\) Telaah Kelayakan Teks Penuh (Full Text).
  • 4 Kriteria Utama Seleksi Pustaka: Relevansi (syarat mutlak), Kredibilitas sumber, Kemutakhiran (recency 5 tahun terakhir + studi fundamental), dan Kontribusi terhadap domain riset.
  • Ekstraksi Terstruktur Per Paper: Masalah, Pendekatan Arsitektur, Objek/Data/Konteks, Metode Evaluasi, Temuan Utama, dan Keterbatasan Terbukti.
  • Aturan Alur Ketat: Paper \(\to\) Ekstraksi Formal \(\to\) Matriks Literatur (DEF) \(\to\) Sintesis 5C. Dilarang keras melompat langsung ke penulisan narasi bebas tanpa landasan matriks.

6. Penilaian Kualitas Studi (Quality Assessment - QA)

Evaluasi kualitas metodologi mengadopsi instrumen Dyba & Dingsoyr (2008) dengan skor 0 / 0.5 / 1.0 pada 10 parameter:

  1. Q1: Kejelasan tujuan penelitian yang terukur.
  2. Q2: Arsitektur sistem dijelaskan secara replikabel.
  3. Q3: Transparansi metode komparasi baseline dan dataset evaluasi.
  4. Q4: Pengukuran kinerja dengan metrik kuantitatif terdefinisi.
  5. Q5: Kedalaman analisis komparatif terhadap metode terdahulu.
  6. Q6: Kesimpulan didukung secara sah oleh bukti empiris.
  7. Q7: Pengungkapan limitasi dan keterbatasan model secara jujur.
  8. Q8: Evaluasi ancaman validitas (threats to validity internal & eksternal).
  9. Q9: Ketersediaan dan reproduksibilitas artefak kode/repositori publik.
  10. Q10: Kebaruan (novelty) kontribusi ilmiah didefinisikan secara tegas.

Batas Ambang Kualitas (Threshold): * Skor \(\ge 7.5\): Kualitas Tinggi (High Quality). * Skor \(5.0 - 7.5\): Kualitas Sedang (Moderate Quality). * Skor \(< 5.0\): Dikeluarkan dari sintesis bukti utama (Excluded from primary synthesis).