Jin Jeong-ho, bapak HBM: Esensi AI adalah memori, GPU hanya benar-benar bekerja selama 10% dari waktu

Profesor Kim Jeong-ho dari Institut Sains dan Teknologi Korea (KAIST), yang dikenal sebagai "Bapak HBM", mengajukan sebuah penilaian yang mengguncang: Inti dari AI adalah memori, bukan GPU.

Baru-baru ini, Profesor Kim Jeong-ho dari Departemen Teknik Elektro KAIST melakukan wawancara video, menjelaskan secara sistematis evolusi teknologi HBM, lanskap daya komputasi AI, dan arsitektur semikonduktor masa depan. Kim Jeong-ho oleh industri dijuluki "Bapak HBM", karena sejak awal tahun 2010-an telah bekerja sama dengan SK Hynix dalam pengembangan HBM1 dan kemudian memimpin serangkaian penelitian arsitektur dasar. Isi wawancara ini luas tersebar di lingkaran teknologi dan investasi, dengan pandangan inti yang langsung menyoroti kontradiksi struktural dalam perlombaan daya komputasi AI saat ini.

Dalam wawancara, Kim Jeong-ho langsung mengemukakan sebuah angka mengejutkan:

"GPU dipasang 1 juta unit, waktu benar-benar bekerja hanya 10%."

Ia menjelaskan, setiap kali ChatGPT menghasilkan kata, sistem harus membaca data dari HBM, melakukan perhitungan, dan menulis kembali ke memori, "membaca dan menulis hampir menghabiskan seluruh waktu, GPU hanya menunggu di sisi." Bahkan dengan optimalisasi algoritma, tingkat pemanfaatan GPU sulit untuk melebihi 30%.

Inilah landasan nyata dari pandangan inti yang Kim Jeong-ho pertahankan selama bertahun-tahun: "AI sama dengan memori (AI = Memory)."

Penilaian Kim Jeong-ho terhadap situasi NVIDIA sangat tajam. Ia mengatakan bahwa Huang Renxun akhir-akhir ini sering berkunjung ke Korea Selatan, menghadiri acara hiburan, makan ayam goreng minum bir, bertemu banyak orang, "pertemuan sebanyak itu menunjukkan ia tidak tenang".

"Pertumbuhan teknologi GPU hampir berhenti, itu penilaian saya. Evolusi komputer kecerdasan buatan ada di tangan memori."

Keterkaitan logika yang ia uraikan jelas: Untuk meningkatkan kinerja, GPU hanya bisa memperbesar area chip atau menumpuk lebih banyak unit komputasi; tapi GPU terlalu panas, harus dipasang pendingin di belakang, jadi tidak bisa ditumpuk secara vertikal seperti memori. "GPU terjebak dalam dead end eksternal (외통手에 걸린 느낌)."

Bandingkan, dari era training menuju era inferensi, pentingnya memori sedang dinilai ulang. Kim Jeong-ho mengatakan: "Di era inferensi, yang lebih penting adalah seberapa banyak data yang dimasukkan ke AI, dan semikonduktor yang menentukan hal ini adalah memori."

Ia lebih lanjut menunjukkan, persaingan kemampuan AI pada akhirnya adalah persaingan kemampuan memori: "Google Gemini, OpenAI, Anthropic Claude, siapa yang lebih kuat, ditentukan oleh memori—ini adalah pendapat saya."

Kim Jeong-ho merangkum nilai HBM menjadi dua aspek.

Pertama adalah kapasitas. Dengan datangnya rekayasa konteks (context engineering), masukan multimodal dan Agentic AI, kebutuhan memori meningkat dengan laju dua kali lipat setiap tahun, "10 tahun menjadi 1000 kali lipat". Cara tradisional mengandalkan penyusutan transistor untuk meningkatkan kapasitas, namun kini sudah mendekati batas mekanika kuantum, hampir tidak bisa dikecilkan lagi, sehingga harus "ditumpuk ke atas".

Kedua adalah bandwidth. Kim Jeong-ho memberikan analogi: "Memori tradisional seperti jalan tol 8 jalur, HBM adalah 1024 jalur, sekarang 2048 jalur, beberapa tahun lagi bisa mencapai 1 juta jalur." Dengan saluran paralel, data dapat ditransfer secara masif, sehingga dapat memenuhi kebutuhan kecepatan komputasi AI.

HBM menyelesaikan masalah kecepatan, tapi kapasitas masih memiliki batas. Dalam wawancara, Kim Jeong-ho menjelaskan secara rinci jalur teknologi berikutnya menurutnya—HBF (High Bandwidth Flash).

Secara sederhana, HBF adalah menumpuk NAND flash secara vertikal seperti HBM. DRAM cepat tapi kapasitas terbatas, NAND flash kapasitas besar, dapat menyimpan data jangka panjang, meskipun sedikit lebih lambat, tapi cukup untuk kebutuhan penyimpanan "data dingin" di skenario inferensi.

Kim Jeong-ho percaya, di masa depan HBM dan HBF akan saling berdampingan, mirip perencanaan kota: "Seperti ada pusat perbelanjaan, di sekitarnya ada apartemen duplex, rumah biasa, berbagai bentuk HBM dan HBF bergabung menjadi satu kompleks, menyuplai data untuk GPU."

Ia membuat prediksi jangka panjang yang jelas: "Sekarang adalah era HBM, namun 10 tahun lagi, permintaan pasar NAND flash dan HBF akan melampaui HBM. Samsung dan SK Hynix harus bersiap untuk era HBF."

Ia menyebutkan, saat ini perusahaan yang sedang mengembangkan HBF termasuk SK Hynix, Sandisk, Samsung Electronics, dan Kioxia dari Jepang. Nilai pasar Kioxia baru-baru ini melampaui Toyota, menjadi nomor satu di bursa Jepang, harga saham Sandisk terus naik, sementara Samsung dan SK Hynix mempertahankan posisi terdepan di pasar Korea Selatan.

Kim Jeong-ho juga mengemukakan sebuah konsep futuristik—HBS (High Bandwidth SRAM).

SRAM (Static Random Access Memory) sekitar 1000 kali lebih cepat dari DRAM, tapi densitas rendah dan biaya tinggi, biasanya hanya digunakan sebagai cache kecil di dalam chip. Kim Jeong-ho punya gagasan: Membuat seluruh wafer 12 inci menjadi SRAM, lalu ditumpuk 12 hingga 16 lapis, kapasitas bisa diperluas dari 100GB menjadi 1600GB.

"Dengan begitu, kecepatan 1000 kali lebih cepat, kapasitas cukup besar, itu masuk akal."

Bentuk chip AI ultimate yang ia gambarkan adalah sebuah "gedung 100 lantai 3D": "HBM, HBF, HBS masing-masing membentuk bangunan berlapis, GPU di puncak bertugas pendinginan, inilah struktur semikonduktor 3D tak terhindarkan bagi komputer AI masa depan—ini penilaian saya saat ini."

Ia juga mengakui, tantangan rekayasa terbesar di jalur ini bukan komputasi, tetapi suplai listrik dan pendinginan: "Harus menyuplai ribuan ampere ke GPU dan memori bertumpuk, desain jaringan suplai daya akan menjadi teknologi paling sulit, dan itu akan menjadi daya saing inti antar perusahaan."

Kim Jeong-ho secara khusus membahas perubahan struktur supply-demand yang dibawa oleh HBM4.

Sebelumnya, memori adalah produk standar, produsen duluan memproduksi, pelanggan baru memilih, pembeli menentukan harga, risiko stok ditanggung produsen memori, inilah "siklus memori".

Tapi sejak HBM4, karena perlu merancang sesuai dengan arsitektur akselerator pelanggan seperti NVIDIA, Google, AMD ("HBM kustom"), produsen memori harus mendapatkan komitmen jumlah dari pelanggan pada awal riset, baru memulai pengembangan—yaitu "perjanjian jangka panjang (Long-term Agreement)".

"Perusahaan AI sangat membutuhkan HBM berkinerja tinggi, jadi mereka antri. Pihak supplier mulai menentukan harga, ini adalah perubahan paradigma."

Ia juga memprediksi, di masa depan fitur komunikasi akan diintegrasikan dalam chip HBM, mewujudkan "komunikasi antar HBM", membentuk struktur mirip aliansi: "Kita saling berkomunikasi, siapa yang lebih baik di antara kita akan mendapat lebih banyak memori; GPU yang tidak patuh tidak akan dibagi."

Hal ini semakin meningkatkan posisi sistemik produsen memori.

Kim Jeong-ho berulang kali menekankan dalam wawancara, secara global hanya Samsung Electronics dan SK Hynix yang saat ini bisa memproduksi DRAM (HBM) dan NAND flash (HBF) secara massal.

"Sandisk dan Kioxia meski harga sahamnya tinggi, hanya bisa membuat HBF, tidak bisa membuat HBM. Samsung dan SK Hynix punya alat terkuat untuk memimpin masa depan."

Ketika ditanya apakah prediksi profit gabungan Samsung dan SK Hynix tahun ini 500 hingga 600 triliun won realistis, Kim Jeong-ho menjawab: "Realistis." Ia menambahkan bahwa sering berbagi teknologi dengan eksekutif kedua perusahaan, "mata mereka semakin bersinar."

Tapi ia juga menunjukkan tekanan kompetisi benar adanya, Micron dan Sandisk mendapat order dari NVIDIA dan Google yang terbagi.

Kim Jeong-ho juga memperluas narasi kebutuhan memori hingga perangkat terminal.

Ia memprediksi, di masa depan untuk benar-benar mewujudkan komputasi AI pribadi, skala memori yang dibutuhkan "harga satu PC bisa mencapai 10 juta won, harga memori menentukan harga PC". Sedangkan harga AI smartphone 3 hingga 5 juta won, 2 hingga 3 juta won adalah harga memori.

"Infrastruktur AI, evolusi terus-menerus model AI, membutuhkan semakin banyak memori. AI PC dan AI smartphone adalah alur utama lain dari tren ini."

Penilaian Kim Jeong-ho tentang arah evolusi AI juga layak diperhatikan. Ia percaya, dengan datangnya Agentic AI dan Physical AI, penggunaan memori akan sekitar 1000 kali lipat dari sekarang.

"Agen AI bekerja 24 jam, tidak seperti manusia yang perlu tidur, jumlah pekerjaan melonjak, kebutuhan memori juga meledak. Saat itu bukan HBM, melainkan era 'Super HBM'. "

Di akhir wawancara, Kim Jeong-ho menelusuri jalur akademisnya. Ia mendapat gelar doktor pada 1993, fokus penelitian pada pengukuran sinyal telekomunikasi ultracepat tingkat femtosecond, mentornya baru-baru ini meraih Nobel Fisika. Pada 1994 ia bergabung dengan divisi memori Samsung Electronics, tahun 1996 kembali ke KAIST, terus mendalami riset dasar memori dan HBM sekitar 10 tahun sebelum produk komersial terbentuk.

Pada 2015, saat pertemuan internal kampus, ia pertama kali mendengar istilah "machine learning", dan segera menyadari bahwa algoritma AI dan arsitektur HBM menggunakan matematika yang sama—aljabar linier dan operasi matriks. "Saya sangat suka matriks waktu kuliah tingkat dua, kedua bidang ini memakai matematika yang sama—itulah keberuntungan."

Iapun tertawa, awal mengembangkan HBM ia ingin memakainya di televisi agar gambar lebih hidup, sama sekali tidak menyangka akan jadi infrastruktur era AI: "Saat itu tidak tahu, bisa dibilang itu keberuntungan juga."

Berikut hasil wawancara yang telah disunting (dibantu terjemahan AI)

Kim Jeong-ho: HBM, HBF, HBS akan membentuk sebuah gedung berlantai seratus, GPU ada di lantai paling atas, untuk pendinginan dan sebagainya. Saya percaya, struktur semikonduktor 3D ini adalah arsitektur tak terhindarkan bagi komputer AI masa depan. Salah satu teknologi paling sulit adalah suplai daya. Membutuhkan ribuan ampere arus, sehingga desain jaringan suplai listrik menjadi tantangan tersulit. Itu akan menjadi daya saing teknologi inti.

Pembawa acara: KAIST, Profesor Kim Jeong-ho yang dikenal sebagai “Bapak HBM” hadir di acara kami. Halo!

Kim Jeong-ho: Halo, senang bertemu Anda. Terima kasih atas undangannya.

Pembawa acara: Terima kasih telah meluangkan waktu.

Kim Jeong-ho: Sama-sama. (tertawa)

Pembawa acara: Kita harus memulai pembahasan dari HBM. Sebenarnya, HBM baru mulai diproduksi massal dan digunakan sekitar dua tahun terakhir, bukan? HBM3 seperti itu. HBM1, dari awal 2010-an, saya ikut bersama SK Hynix, waktu itu di GPU ada NVIDIA dan AMD. Jadi HBM1 dimulai awal 2010-an, tapi saat itu digunakan untuk kartu grafis.

Pembawa acara: Profesor meraih gelar doktor di tahun 1990-an, bukan?

Kim Jeong-ho: Ya.

Pembawa acara: Tapi pada saat HBM mulai dikembangkan sekitar 2010, Anda sudah lebih dulu memulai riset terkait.

Kim Jeong-ho: Ya. Saya meraih gelar doktor pada 1993, saat itu penelitian lebih ke fisika. Saya buat osiloskop tercepat di dunia waktu itu, memakai laser untuk mengukur sinyal listrik. Mentor saya beberapa tahun lalu dapat Nobel Fisika. Peralatan saya bisa mengamati fenomena waktu ekstrim tingkat femtosecond (hampir diamnya cahaya). Kini dengan kemajuan AI, butuh memproses data sangat besar, kecepatan sirkuit digital sudah mencapai picosecond bahkan femtosecond. Jadi riset selama masa doktor 30 tahun lalu kini sangat berguna.

Namun saat itu bidang riset sangat sempit dan dalam, sedangkan karakter saya lebih suka berkomunikasi dengan masyarakat. Jadi saya berpikir, memori akan jadi sangat penting di masa depan. Dengan pikiran itu, saya bergabung dengan divisi memori Samsung tahun 1994. Sejak itu, saya terus belajar dan meneliti memori. Tahun 1996 saya ke KAIST, sampai sekitar 2010, riset dasar awal HBM berlangsung sekitar 10 tahun, baru jadi produk komersial HBM.

Teknologi HBM, seperti mekanika kuantum, fisika semikonduktor, matematika, semua adalah pelajaran semasa kuliah tingkat dua atau tiga. Terutama perlu banyak pengetahuan aljabar linier, itu saya pelajari tahun 1981, terus terpakai sampai sekarang. HBM terus diperbarui, laboratorium kami bahkan mengusulkan roadmap sampai HBM8, rentang 30 tahun. Kalau dihitung, dari riset awal sampai sekarang, sudah hampir 50 tahun.

Pembawa acara: Saat awal riset dan memikirkan konsep HBM, apakah sudah memperkirakan era AI akan datang dan HBM akan jadi inti?

Kim Jeong-ho: Tidak, waktu itu AMD dan NVIDIA berencana memakai HBM buat kartu grafis. Matematika untuk kartu grafis dan matematika untuk AI sama. Jadi akhirnya HBM jadi komponen inti AI, tapi awalnya NVIDIA anggap itu hanya untuk kartu grafis. Saya waktu itu berpikir, Korea Selatan kuat di industri TV, jadi ingin chip seperti ini dipasang di TV agar gambar lebih indah, hidup, nyata, awalnya memang ingin dipakai di TV.

Kira-kira tahun 2015, di kampus ada pertemuan dengan profesor muda, mereka menyebut “deep learning”, masa awal AI. Saya hanya merasa “oh, ternyata ada teknologi seperti itu”, bercanda saja, hanya saya yang tidak mengerti. Jadi sejak saat itu, sekitar 2015, saya sebenarnya langsung mengalihkan fokus ke AI. Meski laboratorium di atas kertas meneliti HBM, saya pribadi sejak 2015 betul-betul berada di riset AI. Beberapa tahun riset ternyata, algoritma AI dan HBM seperti jodoh. Saya waktu itu langsung merasa, ini pasti akan meledak di bidang AI.

Saat itu dipakai di CNN (deteksi objek kamera), kemudian di reinforcement learning (main go), semua aplikasi butuh banyak perhitungan matriks, jadi butuh HBM. Tapi ledakan luar biasa seperti sekarang, kira-kira sejak awal 2020-an saat ChatGPT muncul. Ke depan AI akan menuju Agentic AI, sebagian ke Physical AI. Dari sisi algoritma, penggunaan memori Agentic AI atau Physical AI bisa naik 1000 kali dari sekarang. Saat itu butuh HBM versi Ultra HBM. Jadi kami juga punya beberapa ide lain. Intinya, saya awalnya tidak tahu, bisa dibilang keberuntungan. Karena waktu kuliah tingkat dua saya suka aljabar linier, dan kedua bidang pakai matematika yang sama.

Pembawa acara: Saya mengerti HBM itu menumpuk beberapa DRAM, benar begitu?

Kim Jeong-ho: Ya, betul. Baik kartu grafis atau AI, saat komputasi, butuh baca data cepat dari memori. HBM perlu, ada dua alasan. Pertama kapasitas harus besar. Terutama AI menuju rekayasa konteks, multimodal, Physical AI, data yang perlu dikumpulkan di memori semakin banyak. Bisa dua kali lipat per tahun, sepuluh tahun jadi 1000 kali. Kalau ingin menambah kapasitas, harus terus mengecilkan transistor atau unit penyimpan, tapi karena interferensi dan kebocoran antar unit, sudah dekat batas mekanika kuantum, sulit dikecilkan lagi. Jadi kapasitas sulit bertambah.

Maka sejak awal 2000-an saya pikir, memori masa depan harus ditumpuk. Sejak itu kami mengusulkan "stacking" bukan "flat". Dulu orang kebanyakan desain semikonduktor satu lapis, kami arahkan stacking. Kami lebih ke desain, Samsung dan SK Hynix yang mewujudkan, hasil akhir jadi HBM. Alasan kedua, biarpun kapasitas besar, harus bisa mentransfer data cepat ke GPU. Baru bisa cepat melayani kita, proses dokumen, teks, bahkan bikin film. Untuk kecepatan, butuh teknologi transfer paralel. Seperti jalan tol dari 8 jalur jadi 1024 jalur, sekarang 2048 jalur, beberapa tahun lagi mungkin sejuta jalur.

Maka inti HBM adalah: menambah kapasitas dengan menumpuk, plus pemasangan struktur "lift" dan "jalan tol", transfer data dengan kecepatan cahaya (lebih cepat ribuan kali dari memori tradisional), itulah struktur paralel.

Pembawa acara: Kalau membahas HBM, sering dengar HBF juga. Apa itu HBF dan bedanya dengan HBM?

Kim Jeong-ho: Memori umum ada dua: DRAM dan NAND Flash. DRAM cepat tapi tidak bisa simpan lama; NAND Flash kapasitas besar (sekitar 10 kali DRAM), sedikit lambat, tapi bisa simpan lama, biasanya dipakai di kamera. Tapi HBM meski sudah ditumpuk, kapasitas masih kurang. Baru-baru ini karena rekayasa konteks, saat input ke AI bukan cuma teks, tapi disertai fileref, video YouTube, gambar video makin banyak, kebutuhan kapasitas memori melebihi sekarang. Hasil tengah komputasi (KV Cache) juga harus disimpan semua.

Masuk era Agentic AI, bisa jadi saya punya 10 atau 100 AI yang bekerja bagi saya, volume kerja AI 100 kali saya, plus mereka bekerja 24 jam, tidak seperti manusia yang tidur istirahat, jadi volume kerja banyak, kebutuhan memori ikut meningkat. Meski DRAM ditumpuk, kapasitas masih kurang, maka terpikir menumpuk NAND Flash, itulah HBF. Saat ini HBF dikembangkan oleh SK Hynix, Sandisk, Samsung Electronics, Kioxia Jepang mungkin juga. Belakangan kapitalisasi pasar Kioxia sampai melewati Toyota, jadi nomor satu di bursa Jepang. American Micron dan Sandisk yang buat NAND Flash atau HBF juga harga saham naik terus, Samsung dan SK Hynix di Korea pun peringkat atas.

Memori yang menempel GPU ada dua: HBM dan HBF, disebut "memori panas"; sementara alat yang simpan data jangka panjang, disebut "memori dingin", kebutuhan keduanya naik. Kedepannya, sekitar 10 tahun lagi, permintaan pasar NAND Flash dan HBF bisa melebihi HBM. Meski sekarang era HBM, Samsung, SK Hynix harus bersiap untuk era HBF, inilah pendapat saya.

Pembawa acara: Anda pernah menyebut sekitar tahun 2038 HBM bakal sampai generasi kedelapan.

Kim Jeong-ho: Ya.

Pembawa acara: Saat itu HBM dan HBF sama-sama sudah jadi produk komersial, hubungan keduanya saling melengkapi, atau bersaing?

Kim Jeong-ho: Keduanya saling melengkapi. HBM4 launching tahun ini, beberapa tahun lagi keluar HBM5, sekitar tiap tiga tahun satu generasi, sepuluh tahun lagi sampai HBM8. Saat itu HBM dan HBF dipakai bersama. HBM kapasitas kecil tapi cepat, HBF sedikit lebih lambat, ada batas fisika, tapi kapasitas besar. Kalau kapasitas HBM tidak cukup, HBF dipasang dekat. Bukan satu jenis, mirip perumahan: pusat HBM, dikelilingi kompleks HBF. Berbagai bentuk HBM dan HBF membentuk kompleks, saling terhubung, menyuplai data ke pengguna. Total kapasitas, HBF bisa lebih besar dari HBM.

Pembawa acara: Intinya, membedakan antara stacking DRAM dan stacking NAND Flash, keduanya wajib ada.

Kim Jeong-ho: Ya, secara global hanya Samsung Electronics dan SK Hynix bisa melakukan keduanya secara massal. Sandisk dan Kioxia meski harga saham tinggi, cuma bisa buat HBF (atau ESSD stacked NAND), tidak bisa buat HBM. Jadi menurut saya, Samsung Electronics dan SK Hynix punya alat terkuat untuk masa depan.

Pembawa acara: Jadi bisa dibilang Samsung Electronics dan SK Hynix punya keunggulan absolut?

Kim Jeong-ho: Bisa. Harga saham pagi tadi kan tembus 9000? Meski saya bukan ahli ramalan saham, dilihat dari tren, dunia masuk era kekuatan AI, dan kapasitas AI, menurut saya ditentukan oleh memori. Sampai tahun lalu, saya kira kapasitas AI itu matematika (misal attention mechanism), tapi untuk mewujudkannya harus memori. Akhirnya, kinerja memori itulah kinerja AI. Maka saya definisikan "AI = Memori". Perusahaan AI, negara AI, atau membangun data center dengan semikonduktor, semua tergantung perusahaan memori. Era struktur berubah.

Yang lebih mengejutkan, HBM dan HBF dipakai membangun AI data center, kini disebut "pabrik AI"—pabrik bikin AI. Saya sebut "pabrik memori", inti pabrik AI adalah memori, berapa banyak memori menentukan kekuatan negara dan perusahaan AI. Google, Gemini, OpenAI, Anthropic Claude, siapa paling unggul? Menurut saya, tergantung memori.

Untuk perlindungan data pribadi, ada tren kalkulasi AI di komputer sendiri, disebut AIPC. NVIDIA pun mau buat ini, dengan TSMC, bikin PC dengan LPDDR 128GB, memori sangat besar. Kalau ingin benar-benar maksimal, butuh memori level TB, harga PC jadi 10 juta won, harga memori menentukan harga PC. Smartphone pun bakal jadi smartphone AI, bisa jadi layar cuma ada satu window, sisanya AI, bahkan AI glass bisa muncul. Saya menduga harga memori bisa lebih dari setengah harga smartphone AI, misal 3 juta, 5 juta won, 2 juta, 3 juta adalah memori. Infrastruktur dan model AI makin berkembang, kebutuhan memori makin besar, PC dan smartphone AI pun jadi sumbu pertumbuhan utama.

Pembawa acara: Saat ini, di antara raksasa teknologi dunia, NVIDIA menunjukkan performa luar biasa, apa rahasia terbesarnya?

Kim Jeong-ho: Sampai tahun lalu, "training" AI lebih penting, kemampuan training adalah kekuatan AI. Dalam training, bagian encoder model Transformer utama melakukan backward propagation, pakai diferensiasi, yang bisa ini adalah GPU. Jadi era training adalah era GPU, semua butuh GPU, jadi orang rebutan beli mahal. Tapi sejak musim panas lalu, "inferensi" lebih penting. Training saja tidak bisa mengatasi "halusinasi", AI beri jawaban salah tidak bisa dipakai. Untuk AI personal, inferensi lebih penting, dan semikonduktor yang lebih penting untuk inferensi adalah memori. Maka masuk era inferensi, memori bisa lebih mahal dan dibutuhkan daripada GPU.

Alasan lain, ingin meningkatkan GPU, harus memperbesar ukuran GPU (pakai lebih banyak core). Cara lain, seperti Cerebras, wafer 12 inci dijadikan GPU. Tapi itu sulit, sekali cacat, semua wafer harus dibuang, tidak efisien, penggunaan terbatas. Tapi bagaimanapun, Cerebras tetap butuh HBM dan HBF, tanpa memori, di era inferensi lemah. Bisa tidak GPU stacked? Tidak, karena terlalu panas, harus pasang pendingin di belakang, tidak bisa stacking. Maka GPU agak terjebak. Baru-baru ini Huang Renxun resah, ke Korea tayang TV, lempar bola, makan ayam minum bir, jumpa banyak orang, tanda tidak nyaman. Salah satu alasannya menurut saya, pertumbuhan teknologi GPU hampir berhenti. Sebaliknya, komputer AI berkembang tergantung memori.

Pembawa acara: Ada pendapat, GPU yang benar-benar bekerja hanya 10%?

Kim Jeong-ho: Ya. Meski dipasang 1 juta GPU, waktu kerja nyata hanya 20%, atau malah 10%. Kenapa? Karena GPU harus ambil data dari memori, hitung, lalu kirim balik, data dari memori (HBM/HBF) lambat. Saat ChatGPT mengeluarkan kata super cepat, tiap detik butuh baca dari HBM/HBF, hitung, tulis lagi, hampir semua waktu habis untuk baca-tulis, GPU menunggu. Kunci adalah bisa cepat dan banyak baca data, itulah perlunya HBM dan HBF. Biar dioptimasi algoritma, GPU bisa bekerja paling cuma 30%, sisanya idle.

Pembawa acara: Jadi profesor berpendapat, ke depan HBM atau HBF akan mengintegrasikan fungsi GPU, membuka era baru?

Kim Jeong-ho: Ya. Kalau data HBM/HBF bikin GPU menunggu, lebih baik kami sendiri komputasi. Mirip sewa GPU di lantai satu apartemen, data turun lift, semua urusan selesai di gedung, tidak perlu ke tempat lain, hemat waktu. Maka saya usul di HBM ada CPU/GPU, bahkan GPU "dipinggirkan". Tentu tidak biarkan GPU nganggur total, harus bagi tugas, biar "selalu haus ingin bekerja". Ini yang saya sebut "Memory-Centric Computing". Dari HBM4 sudah mulai ke situ.

Pembawa acara: Meski di HBM/HBF ada GPU, karena tidak stacking banyak GPU, masalah pendinginan tidak muncul ya?

Kim Jeong-ho: Tetap ada masalah pendinginan sedikit. Mulai HBM4, produk buatan SK Hynix dan Samsung kemungkinan kinerjanya berbeda, itu soal pendinginan—bisa buang panas dengan baik atau tidak. Karena di lantai satu (lapisan memori) sudah ada GPU, jadi panas, memori duduk di "lantai panas", performa menurun, harus dinginkan lantai. Siapa bisa pendinginan lebih baik, itulah yang menentukan performa HBM4 dan seterusnya, GPU juga. Ide laboratorium kami, kalau satu lapis terlalu panas, pindah sebagian fungsi ke "atap", pasang menara pendingin di atas, langsung pendingin dari puncak. Ini arsitektur inti kami, sekarang sedang riset HBM5, mahasiswa S2/PhD sedang mengembangkan, berharap berhasil.

Setelah publikasi paper ini, NVIDIA, AMD, Samsung, Hynix pasti lihat, awalnya mungkin menolak, tapi akhirnya akan mengadopsi.

Pembawa acara: Jika era HBM/HBF dengan GPU integrated tiba, bahkan nanti ada CPU, Samsung Electronics dan SK Hynix bisa berkembang makin baik?

Kim Jeong-ho: Ya, peluangnya datang. "Makin berkembang" artinya lebih mendominasi, bahkan bisa mengungguli NVIDIA. Tapi harus ada riset teknologi, investasi, pengembangan talenta, serta kebijakan manajemen dan keputusan yang benar, pemikiran manajemen paling penting.

Pembawa acara: Profesor berpendapat, "segera masuk era memori bukan GPU", ini tampaknya sudah mulai. Selain GPU yang sekarang populer, muncul NPU, apa itu NPU?

Kim Jeong-ho: Semua adalah prosesor, untuk komputasi matriks, digunakan di AI. GPU awalnya adalah GPGPU, dalam TPU pun ada HBM, jadi semua perlu HBM, perlu memori. Gemini bisa menulis artikel, mengolah model bahasa, menggambar, multifungsi; ada chip yang cuma jago tulis artikel, buat satu tujuan jadi NPU. Ada yang sebut LPU. Semuanya adalah komputasi yang dibutuhkan AI, khususkan kegunaan, jadi lebih kecil, hemat daya, murah. Di Korea ada Rebellions, FuriosaAI, HyperExcel, global ada belasan perusahaan NPU, tapi semua butuh HBM.

Pembawa acara: Baru-baru ini FuriosaAI dan Rebellions mendapat investasi besar dari Dana Pertumbuhan Nasional, akan menyaingi NVIDIA. Apakah dua perusahaan ini punya daya saing global?

Kim Jeong-ho: Saya dulu jadi reviewer. Pertimbangan keputusan, NVIDIA tidak bisa kuasai semua bidang dunia, NPU, TPU pasti ada pasar niche. Misal Saudi Arabia bangun data center, kalau semua pakai produk Amerika, ketergantungan terlalu tinggi, bisa saja 10% pakai solusi lain, NPU Korea bisa jadi pilihan. Lagi, di Korea bangun data center AI (mungkin butuh jutaan perangkat), kalau 100% pakai chip NVIDIA, kita terlalu bergantung, perlu kembangkan perusahaan lokal. Maka itu diputuskan investasi untuk kembangkan perusahaan domestik. Secara teknologi juga punya keunggulan.

Pembawa acara: Dalam riset terbaru profesor, ada konsep "SRAM bandwidth tinggi (HBS)"?

Kim Jeong-ho: Ya, ini konsep baru saya kemukakan. Seperti tadi, saya beri konsep, implementasinya harus usaha besar dari Samsung, SK Hynix, dsb. Konsep itu biasanya berdampak besar 10-20 tahun ke depan. Saya sebut Cerebras, punya GPU raksasa, Amerika juga punya chip LPU. Mereka demi prestige atau kurangi ketergantungan pada HBM, di GPU ada SRAM. SRAM lebih cepat 1000 kali dari DRAM, tapi kapasitas kecil. Saya riset, baik Cerebras maupun LPU, menghadapi kekurangan SRAM. Setahu saya, satu wafer 12 inci Cerebras chip, SRAM cuma 44GB, harusnya minimal 400-440GB agar bermakna.

Jadi ide saya: buat chip full wafer 12 inci penuh SRAM, lalu tumpuk 10, 12, atau 16 lapis. Dengan begitu 100GB jadi 1600GB, kapasitas luar biasa. Lalu pasang GPU di stacking wafer SRAM itu. Kecepatan ribuan kali, kapasitas cukup, logis. Saya sebut wafer-level SRAM ini HBS. Impian saya mendatang, HBM, HBF, HBS jadi gedung seratus lantai, GPU di puncak, sistem pendinginan, semua bersama, struktur semikonduktor 3D tak terhindarkan di komputer AI masa depan.

Mungkin perlu 10, 20, bahkan 30 tahun. Salah satu teknis paling sulit adalah suplai listrik. Di HBS, HBM, lalu GPU di atasnya, butuh ribuan ampere, desain jaringan suplai daya paling sulit, jadi inti daya saing teknologi. SK Hynix, Samsung, Micron, TSMC sama, berikutnya soal pendinginan, hambatan di proses implementasi. Orang sekarang lihat TSMC dan Samsung siapa paling baik di proses nanometer, yield, tapi kedepan, untuk 3D AI computer termasuk HBS, soal suplai listrik dan pendinginan akan menentukan kelangsungan perusahaan.

Pembawa acara: HBS benar-benar "Hwang Jung-min" di semikonduktor memori (artis terkenal).

Kim Jeong-ho: Benar, "Hwang Jung-min". 10 tahun lalu saya dengar Cerebras pakai wafer 12 inci buat GPU, waktu itu saya pikir "apa bisa dipakai di mana?", mungkin untuk AI militer. Saat itu saya agak sombong, tapi dua minggu lalu, perusahaan itu IPO di Nasdaq, membuat saya berubah pikiran. Ternyata ada gunanya. Kalau chip Cerebras kelemahan utama kurang memori, tumpuk saja memorinya. Suatu pagi saya punya ide ini, suruh murid gambar skema. Belakangan mulai bahas HBF, tahun ini pas mahasiswa S2 masuk, saya mau mereka jadikan HBS topik riset tesis.

Pembawa acara: Lalu SRAM diproduksi siapa?

Kim Jeong-ho: Pabrik foundry, TSMC dan Samsung Electronics bisa.

Pembawa acara: Tahun ini profit gabungan Samsung dan SK Hynix katanya 500-600 triliun won, target realistis atau terlalu optimis?

Kim Jeong-ho: Menurut saya realistis. Saya sering meeting teknis dengan pejabat Samsung dan Hynix, tampak mata mereka makin berbinar. Meski tak bicara detail omset. HBM, HBF kini punya fitur penting "custom HBM". Dulu produk standar, produksi massal, customer beli banyak atau sedikit, harga fluktuasi, disebut "siklus". Produsen memori bukan pemimpin, justru CPU maker, Microsoft, produsen komputer tentukan jumlah beli, kami produksi lebih untuk berjaga, kalau customer tidak beli, kami tanggung stok, inilah "siklus memori".

Tapi mulai HBM4, bukan cuma integrasi GPU, fungsi penting lain HBM bisa berkomunikasi antar chip, dulu hanya ikut instruksi GPU, sekarang bisa saling komunikasi. Ke depan, HBM bisa saling bersaing, lebih banyak memori untuk HBM yang unggul. Intinya, HBM bisa kombinasi internal, tak beri kesempatan ke HBM lemah untuk transfer data ke GPU. Ditambah fitur algoritma, komunikasi, GPU, tiap perusahaan (Google, AMD, NVIDIA) punya permintaan desain HBM berbeda, ini custom HBM. Dengan begitu, sejak awal pengembangan sudah ada long-term agreement (LTA), tanpa order tak akan mulai.

Sekarang perusahaan AI sangat butuh HBM berkinerja tinggi, antrean beli panjang, pasar jadi seller's market, supplier menentukan harga. Itu perubahan paradigma.

Pembawa acara: Sampai di sini, kami berdialog dengan profesor KAIST Kim Jeong-ho tentang ekosistem semikonduktor. Terima kasih atas sharing hari ini.

Kim Jeong-ho: Terima kasih.