Bedah Arsitektur Forensic AI: Mengapa Kasus Dokumen ExxonMobil Menjadi Benchmark Pipeline e-Discovery Modern
Rilis dokumen terbaru dalam kasus manipulasi iklim ExxonMobil kembali memicu diskusi intensif di kalangan praktisi sistem data dan machine learning di Hacker News. Di balik implikasi hukum dan politiknya, perdebatan teknis berpusat pada satu realitas infrastruktur: memproses jutaan halaman dokumen korporat warisan (legacy) dari rentang dekade 1970-an hingga 2000-an adalah mimpi buruk computational data pipeline.
Bagi engineer yang membangun sistem Enterprise Search, e-Discovery, dan Retrieval-Augmented Generation (RAG), kasus ini menyajikan studi kasus ekstrem. Dokumen internal seperti memo tulisan tangan, faks resolusi rendah, laporan riset termodinamika internal, hingga transkrip rapat tidak bisa diselesaikan dengan pipeline RAG standar.
Pencarian inkonsistensi temporal, klaim kontradiktif, dan jejak audit membutuhkan arsitektur forensic intelligence yang deterministik, bukan sekadar wrapper API di atas model LLM generatif.
Pipeline Forensik: Raw Doc -> LayoutLM/VLM -> Deterministic Chunker -> Structured JSON -> Graph Node Injection
#### Ingestion Layer: Vision-Language Models Menggantikan Parser Standar
Pendekatan mutakhir tidak lagi memisahkan tahap OCR dari tahap pemahaman dokumen. Alih-alih mengekstrak teks secara buta lalu melakukan embedding, pipeline forensik memanfaatkan Vision-Language Models (VLM) berbobot ringan atau arsitektur retrieval berbasis vision seperti ColPali.
Dokumen diproses langsung sebagai gambar per halaman. Representasi visual mempertahankan struktur tabel, bagan aliran (flowcharts), coretan tangan, dan kop surat. Informasi layout ini dikonversi menjadi representasi semi-terstruktur (Markdown atau JSON-LD) dengan koordinat token spasial yang tersimpan di metadata layer.
#### Modeling Hubungan: Temporal Knowledge Graph (TKG)
Untuk mendeteksi kontradiksi, data tidak langsung dilempar ke Vector Database. Pipeline ekstraksi menggunakan model bahasa kecil (SLM seperti Llama-3-8B atau Mistral-7B yang di-finetune) dengan *constrained decoding* (misalnya menggunakan Outlines atau Instructor) untuk mengekstrak entitas dan relasi secara terstruktur:
* **Node**: `Actor` (nama individu/eksekutif), `Internal_Document`, `Public_Statement`, `Scientific_Claim`.
* **Edge**: `AUTHORED_BY`, `CITED_IN`, `CONTRADICTS`, `KNEW_AT_TIMESTAMP`.
Dengan memodelkan korpus sebagai TKG, query analitis tidak lagi bergantung pada probabilitas token semantic search. Sistem dapat menjalankan Cypher query deterministik di atas graph database (seperti Neo4j):
MATCH (doc:InternalReport)-[:PREDICTS]->(claim:ScientificClaim) MATCH (stmt:PublicRelease)-[:DENIES]->(claim) WHERE doc.timestamp < stmt.timestamp RETURN doc.id, stmt.id, claim.description, duration.between(doc.timestamp, stmt.timestamp)
Pendekatan ini menghilangkan variansi stokastik dari LLM dan memberikan bukti analitis berbasis fakta struktural.
---
### Trade-Off Teknis: Biaya, Latensi, dan Kompleksitas
Mengimplementasikan pipeline e-discovery berbasis graph dan multimodal membutuhkan kompromi rekayasa yang nyata:
| Metrik | Naive RAG (Vector Search) | Forensic Pipeline (VLM + Temporal Graph) |
| :--- | :--- | :--- |
| **Indexing Cost** | Rendah (~0.001 - 0.005 / dokumen) | Sangat Tinggi (~0.05 - 0.20 / dokumen) |
| **Indexing Throughput** | Ribuan dokumen per menit | Puluhan hingga ratusan dokumen per menit (GPU bound) |
| **Query Latency** | < 200 ms | 1 - 5 detik (Hybrid traversal + verification) |
| **Recall Kontradiksi** | Rendah (Kerap melewatkan dependensi temporal) | Tinggi (Deterministik via graph traversal) |
| **Auditability** | Rendah (Probabilistik) | 100% Deterministic (Pixel-level lineage) |
Biaya komputasi untuk Graph Construction via LLM ekstraksi adalah komponen paling mahal. Pada korpus 500.000 dokumen, proses ekstraksi multi-pass memerlukan jutaan token konteks.
Engineer harus memutuskan trade-off: membatasi ekstraksi graph hanya pada dokumen dengan klasifikasi probabilitas tinggi (berdasarkan filter teks leksikal BM25 awal), atau menanggung biaya batch processing berbasis kluster GPU secara menyeluruh.
---
### Takeaways Konkret untuk Software & Data Engineer
1. **Tinggalkan Chunking Buta untuk Dokumen Legal dan Teknis**
Memotong dokumen berdasarkan jumlah karakter (misalnya 512 token overlap 50) merusak hierarki klausul, tabel, dan metadata temporal. Gunakan *layout-aware partitioning* yang mengenali batas halaman, bagian, dan konteks tabel secara utuh.
2. **Gunakan Hybrid Search, Jangan Bergantung Hanya pada Vector**
Nama kode proyek, nomor registrasi memo, atau identitas personel korporat adalah token yang rentan tenggelam dalam dense embedding. BM25 / SPLADE tetap wajib diimplementasikan bersama dense vector search, diikuti oleh Cross-Encoder Reranker pada layer pengambilan akhir.
3. **Terapkan Audit Trail Berbasis Hash Sejak Ingestion Awal**
Setiap entitas dan klaim yang diekstrak harus memuat hash SHA-256 dari dokumen sumber, nomor halaman, dan koordinat bounding box piksel `[ymin, xmin, ymax, xmax]`. Jika sistem tidak bisa memandu user langsung ke koordinat dokumen fisik tempat kalimat itu ditemukan, sistem tersebut tidak layak digunakan untuk audit atau proses legal.
4. **Kombinasikan Deterministic Logic dengan Probabilistic AI**
Gunakan model AI untuk mengekstrak data tidak terstruktur menjadi schema-conformant JSON. Setelah terstruktur, gunakan logic deterministik (database relasional, graph traversal, timestamp comparison) untuk inferensi analitis. Jangan serahkan analisis komparasi tanggal dan pencarian kontradiksi sepenuhnya kepada generative reasoning LLM.
## Arsitektur & Alur Visual Sistem
