Asisten Pengetahuan (Chatbot RAG)
Dari 15–30 menit pencarian manual menjadi 5 detik: asisten RAG berbasis dokumen dengan penolakan 100% untuk pertanyaan di luar konteks.
Waktu menemukan jawaban teknis turun dari 15–30 menit pencarian manual menjadi <5 detik dengan sitasi (terukur); penolakan di luar konteks meningkat dari 62% menjadi 100% pada eval set kami.
Langkah 4 · Jawaban berbasis dokumen dengan sitasi
Asisten Pengetahuan
Ikuti satu pertanyaan dari pencarian sampai jawaban bersitasi, atau lihat asisten menolak saat pertanyaannya di luar topik.
- Tanya
- Cari
- Urutkan
- Jawab
Dampak Bisnis
Angka berlabel 'Proyeksi' atau 'Estimasi' mencerminkan target model bisnis, bukan metrik yang sudah terealisasi.Waktu menemukan solusi operasional
Disertai judul dokumen dan sitasi halaman yang tepat
Tingkat penolakan pertanyaan di luar konteks (pertahanan terhadap halusinasi)
Penolakan tegas terhadap pertanyaan yang tidak berlandaskan dokumen
Ketepatan retrieval Top-1 setelah reranking (Hit@1)
Benchmark empiris pada eval suite custom
Latensi query end-to-end
Panggilan LLM per query turun dari 4 menjadi 3
Volume tiket rutin di service desk
Target deflection operasional
Fidelitas ingestion PDF besar (340 halaman)
Seluruh dokumen kini diproses penuh
Masalah
Staf operasional dan petugas cabang terus bertanya cara mengoperasikan aplikasi perbankan, arti sebuah pesan error, dan cara menjalankan prosedur akhir hari. Menemukan jawabannya berarti menyisir pedoman operasional, FAQ, dan manual, banyak di antaranya penuh screenshot.
Waktu penyelesaian untuk pertanyaan prosedur sederhana biasanya memakan 15 sampai 30 menit, sehingga antrean helpdesk IT pusat dipenuhi lebih dari seribu tiket berulang setiap bulan.
Solusi
Kami memodernisasi dan merancang ulang pipeline ingestion, penyimpanan, dan retrieval menjadi standar RAG enterprise:
- Parsing berbasis layout: chunking berbasis layout, dengan strategi parsing yang berbeda untuk panduan yang penuh screenshot dan dokumen yang didominasi teks.
- Vector Search & Reranking: vector search pada chunk yang sudah diindeks, diikuti langkah reranking yang mengurutkan kandidat sebelum menjawab.
- Knowledge Staging & Versioning: pembaruan knowledge diverifikasi di staging dan diuji terhadap eval set sebelum di-promote.
- Penolakan berbasis skor: ketika konteks hasil retrieval berada di bawah ambang relevansi, asisten menolak menjawab alih-alih menebak.
Dampak Bisnis
Sebelumnya, staf operasional menghabiskan 15 sampai 30 menit untuk mencari prosedur rutin secara manual dalam buku panduan yang padat, sehingga menghasilkan lebih dari 1.000 tiket per bulan di IT service desk. Jawaban berbasis dokumen dengan sitasi dokumen dan halaman dalam waktu kurang dari 5 detik memungkinkan self-service 24/7 di seluruh cabang dan unit operasional, diproyeksikan mengalihkan 50–60% pertanyaan rutin dan mengembalikan estimasi ~633 jam kerja per bulan bagi staf yang mencari jawaban (proyeksi).
Perlakukan Knowledge seperti Kode
Basis pengetahuan harus dikelola dengan ketelitian yang sama seperti perangkat lunak produksi. Pembaruan knowledge diuji di staging terhadap eval set sebelum di-promote, dengan kemampuan rollback satu klik.
Di Balik Keputusan
Kami mengevaluasi teknik RAG yang populer, Hypothetical Document Embeddings (HyDE), lalu mematikannya karena evaluasi multi-run menunjukkan teknik itu menurunkan skor sebesar 8,5 poin di korpus kebijakan. Satu kasus recall rendah ternyata berasal dari nilai default ef_search HNSW sebesar 40, yang kemudian kami naikkan menjadi 200 per query. Pada eval set kami, penolakan di luar konteks naik dari 62% menjadi 100%, latensi turun 13%, dan panggilan LLM per jawaban turun dari 4 menjadi 3 (terukur).
Tertarik merilis sistem serupa?
Saya bermitra dengan tim untuk merancang, mengevaluasi, dan merilis sistem AI tingkat produksi dengan dampak operasional yang terverifikasi.
Mari berdiskusi di LinkedIn