dengan Percepatan Waktu Pembuatan Indeks Sebesar 7,8x melalui GPU

Memanfaatkan cuVS Library NVIDIA dengan Teknologi AiSAQ KIOXIA untuk Mengindeks Vektor 1024 Dimensi Menggunakan DRAM Minimal

Tokyo--(ANTARA/Business Wire)-- Kioxia Corporation pada hari ini mengumumkan keberhasilan demo pencapaian skala pencarian vektor berdimensi tinggi hingga 4,8 miliar vektor pada satu server dengan teknologi Approximate Nearest Neighbor Search (ANNS) AiSAQ™ KIOXIA yang merupakan perangkat lunak sumber-terbuka. Selain itu, Kioxia melakukan demo pengurangan waktu pembuatan indeks yang signifikan dengan memanfaatkan akselerasi GPU melalui cuVS NVIDIA. Kedua pencapaian ini menandai kemajuan signifikan bagi solusi pencarian Retrieval Augmented Generation (RAG). Pengembangan berkelanjutan masih dilakukan untuk mendukung implementasi berskala lebih besar di atas 4,8 miliar vektor.

Waktu pembuatan indeks pada basis data vektor berskala besar menjadi kendala utama bagi industri. Melalui kerja sama dengan NVIDIA, Kioxia mendemonstrasikan peningkatan kecepatan pembuatan indeks AiSAQ KIOXIA hingga 20 kali lipat untuk vektor berdimensi tinggi dengan 1024 dimensi, dan peningkatan kecepatan pembuatan keseluruhan hingga 7,8 kali lipat. Peningkatan 20 kali lipat ini didasarkan pada berkurangnya waktu dari 28,4 hari apabila menggunakan CPU menjadi 1,4 hari apabila menggunakan empat NVIDIAHopperGPU untuk membuat indeks, dan berkurangnya waktu pengujian keseluruhan dari 31 hari menjadi 4 hari.¹

Aplikasi AI kini dapat mengandalkan volume informasi vektorisasi lebih besar, yang mencapai puluhan miliar vektor ke atas yang tersimpan di SSD, sedangkan DRAM saja menjadi tidak praktis pada skala miliaran. Kioxia memungkinkan arsitektur penyimpanan yang sangat mudah untuk diperluas menggunakan teknologi AiSAQ KIOXIA dengan mencapai pencarian berskala miliaran. Angka ini melampaui persyaratan latensi aplikasi RAG menggunakan satu server kueri di lingkungan vectorDB Milvus yang didukung oleh akselerasi GPU pada pembuatan indeks, yang membuat implementasi berskala besar menjadi praktis.

“Basis data vektor menjadi andalan bagi aplikasi yang perlu memahami maksud, konteks, dan kesamaan di seluruh kumpulan data yang sangat besar dan tidak terstruktur secara seketika,” kata Jason Hardy, Wakil Presiden, Storage Technologies, NVIDIA. “Dengan memanfaatkan pengindeksan yang dipercepat GPU dengan cuVS library NVIDIA, Kioxia mendukung basis data vektor berdimensi tinggi yang dapat diperluas dan membuat indeks dengan efisiensi yang belum pernah ada sebelumnya.”

Pertama kali diumumkan tahun lalu, Teknologi perangkat lunak sumber-terbuka AiSAQ KIOXIA mengatasi tantangan skalabilitas RAG dengan memungkinkan pencarian vektor langsung dari SSD, dengan penggunaan DRAM yang lebih rendah. Teknologi AiSAQ KIOXIA memiliki skalabilitas tinggi, sehingga sangat cocok untuk lingkungan multi-tenant dan implementasi indeks monolitik berskala besar. Teknologi ini memanfaatkan algoritme Global Index inovatif yang menggabungkan pengelompokan hybrid dan pencarian grafik untuk menghasilkan pencarian vektor yang efisien pada skala ekstrem. Dengan opsi penyetelan yang fleksibel untuk menyeimbangkan performa dan skalabilitas vektor bervolume tinggi, perangkat lunak AiSAQ KIOXIA membuat implementasi berskala besar menjadi lebih mudah diakses dan diperluas.

“Memperbesar basis data vektor hingga miliaran membutuhkan pemikiran ulang baik tentang memori maupun komputasi,” kata Masashi Yokotsuka, Managing Executive Officer, Wakil Presiden, Divisi SSD, Kioxia Corporation. “Melalui kombinasi antara pencarian vektor berbasis SSD AiSAQ KIOXIA dan akselerasi GPU NVIDIA untuk pembuatan indeks, kami menyediakan pembuatan indeks praktis pada implementasi berskala besar. Sebagai inovator industri, kami akan terus mendobrak batas-batas AI menggunakan memori flash.”

Kioxia tetap berkomitmen untuk memajukan solusi AI berbasis penyimpanan yang mendukung pemrosesan data cerdas dalam skala besar dan terus mengembangkan AiSAQ KIOXIA menuju implementasi triliunan vektor.

Tautan untuk mengunduh perangkat lunak sumber-terbuka AiSAQ KIOXIA: https://github.com/kioxia-jp/aisaq-diskann.

Tentang Kioxia

Kioxia adalah pemimpin dunia dalam berbagai solusi memori, yang didedikasikan untuk pengembangan, produksi, dan penjualan memori flash dan solid-state drive (SSD). Pada April 2017, pendahulunya, yaitu Toshiba Memory, dipisahkan dari Toshiba Corporation, sebuah perusahaan yang menciptakan memori flash NAND pada tahun 1987. Kioxia berkomitmen untuk mengangkat dunia dengan "memori" dengan cara menawarkan berbagai produk, layanan, dan sistem yang menciptakan pilihan bagi pelanggan dan nilai berbasis memori bagi masyarakat. Teknologi memori flash 3D inovatif Kioxia, BiCS FLASH™, menghadirkan masa depan penyimpanan dalam aplikasi kepadatan tinggi, termasuk ponsel pintar canggih, PC, sistem otomotif, pusat data, dan sistem AI generatif.

Informasi dalam dokumen ini, termasuk harga dan spesifikasi produk, konten layanan dan informasi kontak, adalah benar pada saat tanggal diumumkan, namun dapat berubah tanpa pemberitahuan sebelumnya.

Pengumuman ini dianggap sah dan berwenang hanya dalam versi bahasa aslinya. Terjemahan-terjemahan disediakan hanya sebagai alat bantu, dan harus dengan penunjukan ke bahasa asli teksnya, yang adalah satu-satunya versi yang dimaksudkan untuk mempunyai kekuatan hukum.

Contacts

Untuk Pertanyaan dari Media:
Kioxia Corporation
Divisi Manajemen Promosi
Satoshi Shindo
Telp: +81-3-6478-2404

Sumber: Kioxia Corporation