Anatomi Kegagalan Computer-Use Agent: Mengapa Kita Butuh Anotasi Visual Primitif?
Implementasi Computer-Use Agent (CUA) saat ini terbentur masalah fundamental: diskoneksi antara pemahaman semantik multimodal dan eksekusi koordinat piksel yang presisi. Model vision-language (VLM) seperti Claude 3.5 Sonnet mampu mendeskripsikan antarmuka grafis (GUI) dengan akurasi tinggi, tetapi sering meleset beberapa puluh piksel saat menerjemahkan niat menjadi event mouse_click(x, y).
Proyek sumber terbuka big-arrow-on-the-screen yang baru-baru ini memuncaki diskusi Hacker News menyoroti celah arsitektur ini. Proyek ini bukan sekadar alat visualisasi biasa. Ini adalah layer observabilitas dan debugging real-time untuk CUA, memungkinkan agen "melukis" panah besar, kotak pembatas (bounding boxes), dan teks langsung ke layar pengguna sebelum atau selama eksekusi tindakan.
Di balik kesederhanaan visualnya, ada implikasi arsitektural penting bagi para engineer yang membangun otomatisasi berbasis GUI: visual grounding, mitigasi risiko human-in-the-loop, dan validasi visual loop tertutup (closed-loop visual verification).
---
Mekanisme di Balik Layar: Bagaimana Overlay Bekerja
Mayoritas agen GUI beroperasi dengan siklus sederhana:
- Tangkap layar (screen capture).
- Kirim tangkapan layar ke VLM.
- Terima panggilan fungsi (tool call) berupa koordinat absolut atau normalisasi.
- Tembakkan event input melalui driver OS (seperti
pyautoguiatau protokol interaksi OS level rendah).
Kegagalan sering terjadi pada langkah ke-3 dan ke-4. Model mengalami halusinasi spasial, salah menafsirkan penskalaan DPI, atau gagal memperhitungkan elemen UI dinamis yang bergeser.
big-arrow-on-the-screen menyisipkan rendering pipeline perantara di antara inferensi model dan eksekusi event OS:
1. Layer Transparan OS-Level
Aplikasi memanfaatkan jendela transparan borderless (frameless, always-on-top window) yang memetakan seluruh dimensi monitor (menggunakan Electron, native Win32/Cocoa, atau kanvas X11/Wayland). Jendela ini diatur dengan atribut pointer-events: none (atau click-through) agar interaksi mouse asli tidak terhalang saat overlay aktif.
2. Kontrak API Tool-Calling
Alih-alih langsung mengeksekusi klik, VLM diberikan set tool deklaratif:
{
"tool": "draw_visual_intent",
"parameters": {
"primitive": "arrow",
"from": {"x": 450, "y": 120},
"to": {"x": 512, "y": 340},
"label": "Target: Tombol Submit",
"clear_after_ms": 2000
}
}3. Visual Chain-of-Thought (Visual CoT)
Mekanisme ini memungkinkan model melakukan self-correction. Setelah melukis panah di layar, agen dapat mengambil tangkapan layar kedua yang kini memuat panah tersebut. Model kemudian mengevaluasi: "Apakah ujung panah benar-benar menunjuk ke tombol yang tepat?"
Jika koordinat meleset, model dapat memperbarui target sebelum event klik destruktif dikirim ke kernel OS.
---
Trade-Off Arsitektur: Latensi, Biaya Token, vs. Determinisme
Implementasi overlay visual membawa kompromi sistem yang signifikan. Ini bukan solusi gratis.
| Parameter | Pure OS Accessibility API (DOM/AOM) | Direct Vision Click (No Overlay) | Visual Grounding Overlay | | :--- | :--- | :--- | :--- | | Latensi per Aksi | Sangat Rendah (<50ms) | Sedang (1-3 detik) | Tinggi (3-6 detik) | | Konsumsi Token | Nol untuk visi, tinggi untuk teks pohon aksesibilitas | Standar (1 gambar per langkah) | Membengkak (2 gambar per langkah untuk verifikasi) | | Resiliensi UI | Rendah pada kanvas custom / WebGL | Tinggi terhadap variasi styling | Sangat tinggi dengan verifikasi visual | | Keamanan Eksekusi | Deterministik (berbasis ID elemen) | Rawan (blind execution) | Tinggi (HITL & self-auditing) |
Token Cost Explosion
Setiap kali agen mengambil tangkapan layar untuk memverifikasi posisi panahnya sendiri, biaya token visual berlipat ganda. Pada resolusi standar 1080p yang dipotong menjadi patch token VLM, satu loop validasi dapat menghabiskan ribuan token tambahan. Jika sebuah alur kerja membutuhkan 20 langkah, menambahkan langkah visual grounding melipatgandakan biaya inferensi dan menambah latensi jaringan secara signifikan.
Masalah Latensi
Untuk sistem otomasi tingkat produksi, latensi di atas 2 detik per klik membuat agen terasa sangat lamban. Menggambar panah dan memverifikasinya hanya masuk akal pada tugas-tugas kritis dengan risiko kesalahan tinggi, bukan untuk pengetikan cepat atau navigasi formulir biasa.
---
Mengapa Pendekatan Accessibility API (DOM/AOM) Tetap Belum Cukup?
Kritik utama dari komunitas engineer terhadap pendekatan berbasis visual adalah: Mengapa tidak menggunakan Accessibility Object Model (AOM) atau DOM tree langsung?
Jawabannya adalah fragmentasi desktop modern. Aplikasi berbasis Electron, Canvas HTML5, antarmuka Flutter, aplikasi game, hingga software legendaris berbasis Win32 sering kali tidak mengekspos Accessibility Tree yang bersih. Banyak tombol di aplikasi enterprise tidak memiliki atribut aria-label, ID unik, atau struktur DOM yang koheren.
Pendekatan pixel-only adalah jaring pengaman universal. Model tidak peduli apakah sebuah tombol dibangun menggunakan Web Components, Qt, atau kanvas WebGL. Jika terlihat seperti tombol, model dapat memprosesnya.
Namun, mengandalkan piksel tanpa indikator visual membuat pengguna manusia tidak memiliki visibilitas atas tindakan agen. Visual overlay mengisi celah observabilitas tersebut: ini adalah mekanisme Human-in-the-Loop (HITL) berbiaya rendah di mana operator dapat membatalkan aksi sebelum agen mengeklik target yang salah.
---
Implikasi Praktis bagi Engineer
Bagi tim rekayasa perangkat lunak yang sedang merancang CUA atau RPA modern, ada beberapa kesimpulan teknis yang dapat ditarik dari tren ini:
1. Pisahkan Layer Visualisasi dari Input Driver
Jangan menggabungkan logika rendering visual dengan pustaka eksekusi input OS. Buat sistem overlay sebagai daemon independen yang menerima event via WebSocket atau IPC lokal. Ini memastikan bahwa jika layer visualisasi macet (freeze), driver input tidak memblokir antarmuka OS.
2. Terapkan Validasi Bertingkat (Hybrid Grounding)
Gunakan pendekatan heuristik terlebih dahulu. Jika aplikasi memiliki DOM atau Accessibility Tree yang valid, gunakan koordinat elemen tersebut. Gunakan model vision dan visual overlay hanya ketika API aksesibilitas mengembalikan empty state atau elemen kanvas tak terbaca.
3. Gunakan Overlay sebagai Audit Trail
Simpan riwayat tangkapan layar yang telah diberi anotasi panah dan bounding box sebagai artifak log sistem. Ketika agen gagal melakukan checkout, salah memindahkan data, atau memicu eror di lingkungan produksi, log visual dengan panah yang digambar agen menjadi bukti audit konkret mengenai apa yang sebenarnya "dipikirkan" oleh model pada saat kegagalan terjadi.
4. Selektif Menggunakan Closed-Loop Verification
Batasi loop verifikasi mandiri (menggambar -> screenshot ulang -> evaluasi -> klik) hanya untuk aksi berisiko tinggi (high-blast-radius), seperti menekan tombol "Delete", "Deploy", atau "Submit Payment". Untuk navigasi umum, gunakan overlay murni sebagai indikator visual pasif bagi pengguna tanpa memicu pemanggilan VLM sekunder.
---
Kesimpulan Editorial
big-arrow-on-the-screen membuktikan bahwa otomatisasi GUI masa depan tidak bisa hanya mengandalkan model bahasa yang menembakkan koordinat buta ke driver sistem operasi.
Solusi GUI agentic yang tangguh membutuhkan layer observabilitas spasial. Menambahkan anotasi visual primitif ke layar bukan kemunduran teknis, melainkan pengakuan jujur atas keterbatasan kapabilitas spasial VLM saat ini. Sebelum model AI benar-benar memiliki pemahaman geometri antarmuka yang sempurna, melukis panah besar di layar adalah kompromi rekayasa paling pragmatis yang kita miliki.
