Bagian dari seri
Pembelajaran mesin dan penggalian data
Paradigma Pembelajaran terbimbing Pembelajaran tak terbimbing Pembelajaran mesin daring Pembelajaran mesin luring Meta-learning Pembelajaran semiterbimbing Pembelajaran swabimbing Pembelajaran pengukuhan Pembelajaran berbasis aturan Pembelajaran mesin kuantum
Masalah Klasifikasi Model generatif Regresi Kluster Reduksi dimensi Estimasi densitas Deteksi anomali Pembersihan data AutoML Aturan asosiasi Analisis semantik Rekayasa fitur Pembelajaran fitur
Pembelajaran terbimbing (Klasifikasi • Regresi) Pohon keputusan Pembelajaran ensambel Bagging boosting Random forest k-NN Regresi linear Naive Bayes Jaringan saraf tiruan Regresi logistik Perseptron Support vector machine (SVM)
Kekelompokkan BIRCH CURE Hierarki k-means Fuzi
Reduksi dimensi AKU
Jaringan saraf tiruan Pembelajaran dalam Jaringan saraf konvolusional
Diagnostik model Kurva belajar
l b s

Pentransformasi praterlatih generatif (PPG), umum dikenal sebagai Generative pre-trained transformer (GPT), adalah jenis model bahasa besar (LLM)^[1][2][3] yang banyak digunakan dalam bot obrolan AI generatif.^[4][5] GPT didasarkan pada arsitektur pemelajaran dalam yang disebut transformer (pentransformasi). Model ini dipralatih pada kumpulan data besar berisi konten tidak berlabel, dan mampu menghasilkan konten baru.^[2][3]

OpenAI adalah yang pertama menerapkan pralatih generatif (GP) pada arsitektur transformer (pentransformasi), dengan memperkenalkan model GPT-1 pada tahun 2018.^[6] Perusahaan ini telah merilis banyak model GPT yang lebih besar. Bot obrolan populer ChatGPT, yang dirilis pada akhir 2022 (menggunakan GPT-3.5), diikuti oleh banyak bot obrolan pesaing yang menggunakan model "GPT" mereka sendiri untuk menghasilkan teks, seperti Gemini, DeepSeek atau Claude.^[7]

GPT terutama digunakan untuk menghasilkan teks, tetapi dapat dilatih untuk menghasilkan jenis data lain. Sebagai contoh, GPT-4o dapat memproses dan menghasilkan teks, gambar, dan audio.^[8] Untuk meningkatkan kinerja pada tugas-tugas kompleks, beberapa GPT, seperti OpenAI o3, menghabiskan lebih banyak waktu untuk menganalisis masalah sebelum menghasilkan keluaran, dan disebut model penalaran. Pada tahun 2025, GPT-5 dirilis dengan perute (router) yang secara otomatis memilih apakah akan menggunakan model yang lebih cepat atau model penalaran yang lebih lambat berdasarkan tugas.

Latar belakang

Menurut The Economist, algoritma yang lebih baik, komputer yang lebih kuat, dan peningkatan jumlah materi digital mendorong revolusi dalam pemelajaran mesin selama tahun 2010-an. Teknik baru di tahun-tahun sebelum ledakan AI menghasilkan "peningkatan pesat dalam berbagai tugas", termasuk memanipulasi bahasa.^[9] Model perangkat lunak modern dilatih untuk belajar dengan menggunakan jutaan contoh dalam jaringan saraf tiruan yang terinspirasi oleh struktur saraf biologis.^[9]

Secara terpisah, konsep pralatih generatif (GP) merupakan teknik yang telah lama ada dalam pemelajaran mesin. GP adalah bentuk pemelajaran swa-awars saat sebuah model pertama-tama dilatih pada kumpulan data besar yang tidak berlabel (langkah "pralatih") untuk belajar menghasilkan titik data. Model yang telah dipralatih ini kemudian diadaptasi ke tugas tertentu menggunakan kumpulan data berlabel (langkah "penyetelan halus").^[10]

Arsitektur transformer (pentransformasi) untuk pemelajaran dalam adalah teknologi inti dari GPT. Dikembangkan oleh para peneliti di Google, arsitektur ini diperkenalkan dalam makalah "Attention Is All You Need", yang diterbitkan pada 12 Juni 2017. Arsitektur transformer (pentransformasi) memecahkan banyak masalah kinerja yang terkait dengan desain jaringan saraf berulang (RNN) yang lebih tua untuk pengolahan bahasa alami (NLP). Penggunaan mekanisme perhatian oleh arsitektur ini memungkinkan model memproses seluruh urutan teks sekaligus, sehingga memungkinkan pelatihan model yang jauh lebih besar dan lebih canggih. Sejak 2017, berbagai sistem NLP berbasis transformer (pentransformasi) telah tersedia yang mampu memproses, menambang, mengatur, menghubungkan, membandingkan, dan meringkas teks serta menjawab pertanyaan dari masukan tekstual dengan benar.^[11][12]

Sejarah

Pada 11 Juni 2018, para peneliti dan insinyur OpenAI menerbitkan sebuah makalah berjudul "Improving Language Understanding by Generative Pre-Training", yang memperkenalkan GPT-1, model GPT pertama.^[13] Model ini dirancang sebagai model bahasa besar berbasis transformer (pentransformasi) yang menggunakan pralatih generatif (GP) pada BookCorpus, sebuah korpus teks yang beragam, diikuti oleh penyetelan halus diskriminatif untuk fokus pada tugas-tugas bahasa tertentu.^[14] Pendekatan semi-terbimbing ini dipandang sebagai sebuah terobosan. Sebelumnya, model saraf berkinerja terbaik dalam pengolahan bahasa alami (NLP) umumnya menggunakan pemelajaran terbimbing dari sejumlah besar data berlabel manual – melatih model bahasa besar dengan pendekatan ini akan sangat mahal dan memakan waktu.^[13]

Pada 14 Februari 2019, OpenAI memperkenalkan GPT-2, model yang lebih besar yang dapat menghasilkan teks yang koheren. Dibuat sebagai peningkatan skala langsung dari pendahulunya, jumlah parameter dan ukuran kumpulan datanya ditingkatkan sebesar 10 kali lipat. GPT-2 memiliki 1,5 miliar parameter dan dilatih pada WebText, kumpulan data 40 gigabita dari 8 juta halaman web.^[15][16][17] Dengan alasan risiko penggunaan berbahaya, OpenAI memilih "rilis bertahap", awalnya menerbitkan versi model yang lebih kecil sebelum merilis model penuh 1,5 miliar parameter pada bulan November.^[18]

Pada 10 Februari 2020, Microsoft memperkenalkan Turing Natural Language Generation, yang diklaimnya sebagai "model bahasa terbesar yang pernah diterbitkan dengan 17 miliar parameter." Model ini mengungguli semua model bahasa sebelumnya dalam berbagai tugas, termasuk meringkas teks dan menjawab pertanyaan.^[19]

Pada 28 Mei 2020, OpenAI memperkenalkan GPT-3, sebuah model dengan 175 miliar parameter yang dilatih pada kumpulan data yang lebih besar dibandingkan dengan GPT-2. Ini menandai kemajuan signifikan dalam kemampuan belajar few-shot dan zero-shot. Dengan sedikit contoh, model ini dapat melakukan berbagai tugas yang tidak dilatih secara eksplisit untuknya.^[20][21]

Setelah perilisan GPT-3, OpenAI mulai menggunakan pemelajaran penguatan dari umpan balik manusia (RLHF) untuk menyelaraskan perilaku model agar lebih sesuai dengan preferensi manusia. Hal ini mengarah pada pengembangan InstructGPT, versi GPT-3 yang telah disempurnakan. OpenAI menyempurnakan InstructGPT lebih lanjut untuk menciptakan ChatGPT, produk bot obrolan andalan OpenAI yang diluncurkan pada 30 November 2022.^[22] ChatGPT awalnya didasarkan pada GPT-3.5, tetapi kemudian dialihkan ke model GPT-4, yang dirilis pada 14 Maret 2023.^[23][24] GPT-4 juga diintegrasikan ke dalam beberapa aplikasi, termasuk Microsoft Copilot, GitHub Copilot, Snapchat, Khan Academy, dan Duolingo.^[25]

Popularitas besar ChatGPT mendorong pengembangan luas sistem berbasis GPT yang bersaing dari organisasi lain. EleutherAI merilis serangkaian model berbobot terbuka, termasuk GPT-J pada tahun 2021. Perusahaan teknologi besar lainnya kemudian mengembangkan model GPT mereka sendiri, seperti PaLM dan Gemini dari Google serta Llama dari Meta AI.^[26]

Banyak model GPT berikutnya telah dilatih untuk menjadi multimodal (mampu memproses atau menghasilkan berbagai jenis data). Sebagai contoh, GPT-4o dapat memproses dan menghasilkan teks, gambar, dan audio.^[27] Selain itu, model GPT seperti o3 dan DeepSeek R1 telah dilatih dengan pemelajaran penguatan untuk menghasilkan penalaran rantai pemikiran (chain-of-thought) multi-langkah sebelum menghasilkan jawaban akhir, yang membantu memecahkan masalah kompleks dalam domain seperti matematika.^[28]

Pada 7 Agustus 2025, OpenAI merilis GPT-5, yang mencakup perute (router) yang secara otomatis memilih apakah akan menggunakan model yang lebih cepat atau model penalaran yang lebih lambat berdasarkan tugas.^[29][30]

Model dasar

Sebuah model dasar adalah model AI yang dilatih pada data luas dalam skala besar sehingga dapat diadaptasi ke berbagai tugas hilir (downstream).^[31][32]

Sejauh ini, model dasar GPT yang paling terkenal berasal dari seri GPT-n OpenAI. Yang terbaru adalah GPT-5.^[33]

Model lain semacam itu termasuk PaLM dari Google, model dasar luas yang telah dibandingkan dengan GPT-3 dan telah tersedia bagi pengembang melalui API,^[34][35] dan GPT-JT dari Together, yang dilaporkan sebagai alternatif sumber terbuka dengan kinerja paling mendekati GPT-3 (dan berasal dari GPT sumber terbuka sebelumnya).^[36] Meta AI (sebelumnya Facebook) juga memiliki model bahasa besar dasar berbasis transformer (pentransformasi) generatif, yang dikenal sebagai LLaMA.^[37]

GPT dasar juga dapat menggunakan modalitas selain teks, untuk masukan dan/atau keluaran. GPT-4 adalah LLM multi-modal yang mampu memproses masukan teks dan gambar (meskipun keluarannya terbatas pada teks).^[38] Mengenai keluaran multimodal, beberapa model berbasis transformer (pentransformasi) generatif digunakan untuk teknologi teks-ke-gambar seperti difusi^[39] dan pendekodean paralel.^[40] Model semacam ini dapat berfungsi sebagai model dasar visual (VFM) untuk mengembangkan sistem hilir yang dapat bekerja dengan gambar.^[41]

Model tugas-spesifik

Model GPT dasar dapat diadaptasi lebih lanjut untuk menghasilkan sistem yang lebih tertarget yang diarahkan ke tugas dan/atau domain materi pelajaran tertentu. Metode untuk adaptasi semacam itu dapat mencakup penyetelan halus tambahan (di luar yang dilakukan untuk model dasar) serta bentuk-bentuk tertentu dari rekayasa prompt.^[44]

Contoh pentingnya adalah penyetelan halus model untuk mengikuti instruksi, yang tentu saja merupakan tugas yang cukup luas tetapi lebih tertarget daripada model dasar. Pada Januari 2022, OpenAI memperkenalkan "InstructGPT" – serangkaian model yang disempurnakan untuk mengikuti instruksi menggunakan kombinasi pelatihan terbimbing dan pemelajaran penguatan dari umpan balik manusia (RLHF) pada model bahasa GPT-3 dasar.^[45][46] Keunggulan yang dimiliki ini dibandingkan model dasar murni termasuk akurasi yang lebih tinggi, sentimen negatif/toksik yang lebih sedikit, dan keselarasan yang umumnya lebih baik dengan kebutuhan pengguna. Oleh karena itu, OpenAI mulai menggunakan ini sebagai dasar untuk penawaran layanan API mereka.^[47] Model yang disetel instruksi lainnya telah dirilis oleh pihak lain, termasuk versi yang sepenuhnya terbuka.^[48][49]

Jenis model tugas-spesifik lainnya (yang terkait) adalah bot obrolan, yang terlibat dalam percakapan mirip manusia. Pada November 2022, OpenAI meluncurkan ChatGPT – antarmuka obrolan daring yang didukung oleh model bahasa yang disetel instruksi yang dilatih dengan cara yang mirip dengan InstructGPT.^[50] Mereka melatih model ini menggunakan RLHF, dengan pelatih AI manusia menyediakan percakapan yang mereka perankan sebagai pengguna dan AI, dan mencampurkan kumpulan data dialog baru ini dengan kumpulan data InstructGPT untuk format percakapan yang cocok untuk bot obrolan. Bot obrolan utama lainnya saat ini termasuk Bing Chat dari Microsoft, yang menggunakan GPT-4 OpenAI (sebagai bagian dari kolaborasi erat yang lebih luas antara OpenAI dan Microsoft),^[51] dan bot obrolan pesaing dari Google, Gemini (awalnya didasarkan pada keluarga model bahasa LaMDA mereka yang dilatih untuk percakapan, dengan rencana untuk beralih ke PaLM).^[52]

Jenis tugas lain yang dapat digunakan GPT adalah tugas-meta untuk menghasilkan instruksi sendiri, seperti mengembangkan serangkaian prompt untuk 'dirinya sendiri' agar dapat mewujudkan tujuan yang lebih umum yang diberikan oleh pengguna manusia.^[53] Ini dikenal sebagai agen AI, dan lebih spesifik lagi agen rekursif karena menggunakan hasil dari instruksi mandiri sebelumnya untuk membantunya membentuk prompt berikutnya; contoh utama pertama dari ini adalah Auto-GPT (yang menggunakan model GPT OpenAI), dan yang lainnya juga telah dikembangkan.^[54]

Masalah merek

OpenAI, yang menciptakan pentransformasi praterlatih generatif (PPG) atau generative pre-trained transformer (GPT) pertama pada tahun 2018, menegaskan pada tahun 2023 bahwa "GPT" harus dianggap sebagai merek OpenAI.^[66] Pada April 2023, OpenAI merevisi pedoman merek dalam ketentuan layanan mereka untuk menunjukkan bahwa bisnis lain yang menggunakan API mereka untuk menjalankan layanan AI mereka tidak lagi diizinkan untuk menyertakan "GPT" dalam nama atau pencitraan merek tersebut.^[67] Pada Mei 2023, OpenAI menggunakan layanan manajemen merek untuk memberi tahu pelanggan API mereka tentang kebijakan ini, meskipun pemberitahuan ini tidak sampai membuat klaim hukum terbuka (seperti tuduhan pelanggaran merek dagang atau tuntutan untuk berhenti dan menghentikan).^[66] Per November 2023, OpenAI masih melarang pemegang lisensi API-nya untuk menamai produk mereka sendiri dengan "GPT",^[68] tetapi mereka telah mulai memungkinkan pelanggan ChatGPT Plus untuk membuat "versi kustom ChatGPT" yang disebut GPTs di situs OpenAI.^[69] Ketentuan layanan OpenAI menyatakan bahwa pelanggannya dapat menggunakan "GPT" dalam nama-nama ini, meskipun "tidak dianjurkan".^[68]

Terkait hal ini, OpenAI telah mengajukan permohonan ke Kantor Paten dan Merek Dagang Amerika Serikat (USPTO) untuk mendapatkan pendaftaran merek dagang domestik untuk istilah "GPT" di bidang AI.^[66] OpenAI berusaha mempercepat penanganan permohonannya, tetapi USPTO menolak permintaan tersebut pada April 2023.^[70] Pada Mei 2023, USPTO menanggapi permohonan tersebut dengan penetapan bahwa "GPT" bersifat deskriptif dan generik.^[71] Per November 2023, OpenAI terus melanjutkan argumennya melalui proses yang tersedia. Meskipun demikian, kegagalan untuk mendapatkan merek dagang AS yang terdaftar tidak menghalangi adanya tingkat tertentu hak merek dagang common-law di Amerika Serikat^[72] dan hak merek dagang di negara lain.^[73]

Untuk semua jenis atau lingkup perlindungan merek dagang di AS, OpenAI perlu menetapkan bahwa istilah tersebut benar-benar "distingtif" untuk penawaran spesifik mereka selain menjadi istilah teknis yang lebih luas untuk jenis teknologi tersebut. Beberapa laporan media pada tahun 2023 menyarankan bahwa OpenAI mungkin dapat memperoleh pendaftaran merek dagang secara tidak langsung berdasarkan ketenaran produk bot obrolan berbasis GPT mereka, ChatGPT,^[70][74] yang untuknya OpenAI telah secara terpisah mencari perlindungan (dan yang telah berusaha mereka tegakkan dengan lebih kuat).^[75] Laporan lain telah mengindikasikan bahwa pendaftaran untuk istilah "GPT" saja tampaknya tidak mungkin diberikan,^[66][76] karena istilah ini sering digunakan sebagai istilah umum untuk merujuk pada sistem AI yang melibatkan generative pre-trained transformer.^{[3][77][78][79]} Bagaimanapun, sejauh mana pun hak eksklusif atas istilah tersebut dapat terjadi di AS, pihak lain perlu menghindarinya untuk produk atau layanan serupa dengan cara yang cenderung menyebabkan kebingungan.^[76][80] Jika hak-hak tersebut menjadi cukup luas untuk melibatkan penggunaan lain yang sudah mapan di bidang tersebut, doktrin merek dagang penggunaan wajar deskriptif masih dapat melanjutkan penggunaan yang tidak terkait dengan merek.^[81]

Di Uni Eropa, Kantor Kekayaan Intelektual Uni Eropa mendaftarkan "GPT" sebagai merek dagang OpenAI pada musim semi 2023. Namun, sejak musim semi 2024, pendaftaran tersebut sedang ditantang dan menunggu pembatalan.^[82]

Di Swiss, Institut Federal Swiss untuk Kekayaan Intelektual mendaftarkan "GPT" sebagai merek dagang OpenAI pada musim semi 2023.^[83][84]

Lihat pula

• Cyc
• Pentransformasi visi

Referensi

Templat:Kotak navigasi kecerdasan buatan