Table of Contents
- Arsitektur: Kekuatan di balik LLM — Transformer
- Aplikasi nyata yang mulai banyak diimplementasikan
- Keunggulan dan Tantangan LLM
- Tren terkini menurut IBM: Skala bukan segalanya
- Contoh Model LLM Populer
- Masa depan menuju Multimodal dan Reasoning
- Kesimpulan: implementasi menuju era AI yang lebih manusiawi
Hai pembaca setia blog dosenidola.com!
Di tengah kemunculan yang luar biasa terkait kecerdasan buatan — Artificial Intelligence (AI), istilah Large Language Model atau LLM semakin sering terdengar. LLM adalah model kecerdasan buatan yang dirancang untuk memahami dan menghasilkan bahasa manusia secara alami —Natural Language (NL). Model ini menjadi tulang punggung berbagai aplikasi populer seperti ChatGPT, Google Gemini, Claude, hingga penulisan kode otomatis.
Arsitektur: Kekuatan di balik LLM — Transformer
Arsitektur Transformer pertama kali diperkenalkan oleh Vaswani et al. dari Google dalam paper berjudul “Attention Is All You Need” yang diterbitkan pada tahun 2017. Paper ini menandai titik balik dalam bidang kecerdasan buatan dan menjadi fondasi bagi perkembangan LLM di masa mendatang.
Keunggulannya? Transformer menghapus mekanisme recurrence seperti RNN/LSTM dan hanya menggunakan mekanisme perhatian (attention), sehingga memungkinkan pelatihan yang lebih cepat dan efisien secara paralel.
Mekanisme Self‑Attention
Pada intinya, self-attention memungkinkan setiap token (kata atau sub-kata) dalam teks memperhatikan —memfokuskan perhatian (attend)— keseluruhan token lain dalam satu kalimat ataupun konteks yang lebih panjang. Hal ini memungkinkan model untuk memahami hubungan lanjutan antar kata yang tidak berdekatan secara posisi:
- Misalnya dalam kalimat: “Setelah bermain, anak-anak duduk di bangku panjang sambil makan es krim.”
Model bisa langsung memperhatikan kata “bangku”. Dari konteks “duduk”, “panjang”, dan “makan es krim”, maka model tahu bahwa “bangku” berarti kursi panjang, bukan “bangku sekolah” (tingkatan kelas).
Source: https://research.google/blog/transformer-a-novel-neural-network-architecture-for-language-understanding/ - Kemudian, dalam praktiknya digunakan scaled dot‑product attention yang membandingkan query, key, dan value dari token yang sama untuk menghitung bobot (attention weights), lalu memberikan kontribusi sesuai relevansinya.
Multi‑Head Attention & Positional Encoding
- Multi‑Head Attention: attention dilakukan secara paralel oleh beberapa “head” yang mempelajari representasi berbeda dari konteks yang sama. Hasilnya digabung dan ditransformasikan menjadi representasi yang kaya secara semantis.
- Positional Encoding: karena tidak ada urutan eksplisit seperti di RNN, maka Transformer menambahkan informasi posisi token melalui encoding menggunakan fungsi sinus dan cosinus agar urutan tetap dikenali model secara matematis.
Struktur Model: Encoder‑Decoder (Josep Ferrer, 2024)
Arsitektur asli Transformer terdiri dari dua bagian utama:
- Encoder Stack: terdiri dari N lapisan (biasanya 6), masing-masing memiliki self-attention dan lapisan feed-forward (MLP), dengan residual connection dan layer normalization untuk stabilitas pelatihan.
- Decoder Stack: juga terdiri dari N lapisan serupa, tetapi memiliki lapisan tambahan untuk cross-attention terhadap output dari encoder. Decoder juga melakukan masking agar prediksi token bersifat autoregresif (hanya bergantung pada token sebelumnya).
Baca juga:
- 5 Fitur sistem informasi akademik yang dibutuhkan bagi dosen dan mahasiswa
- Masa depan Learning Management System (LMS): Apakah Moodle masih relevan?
Aplikasi nyata yang mulai banyak diimplementasikan
LLM kini digunakan dalam berbagai sektor:
- Customer service: chatbot yang dapat memahami dan merespons keluhan pelanggan.
- Pendidikan: asisten belajar yang menjelaskan konsep dengan berbagai cara.
- Penulisan: alat bantu menulis artikel, laporan, bahkan puisi.
- Pemrograman: alat bantu penulisan kode seperti GitHub Copilot.
1 comment