ChatGPT Nyaris Lulus Ujian Dokter di AS, Cek Nilainya


Chatbot garapan OpenAI, ChatGPT, hampir saja 'jadi dokter' setelah mampu menuntaskan ujian di United States Medical Licensing Exam (USMLE).

Ujian itu terdiri dari tiga bagian dan harus diikuti oleh dokter yang membutuhkan izin praktek di AS.

Dalam studi berjudul 'Performance of ChatGPT on USMLE: Potential for AI-Assisted Medical Education Using Large Language Models, ChatGPT diberi ujian SMLE dalam tiga bagian yakni Step 1, Step 2CK, dan Step 3.

"ChatGPT dapat menghasilkan nilai yang mendekati batas nilai minimum untuk tiga ujian tersebut tanpa perlu pelatihan khusus atau bantuan. Sebagai tambahan, Chat GPT juga menunjukkan kesesuaian dan wawasan tingkat tinggi dalam penjelasannya," tulis Tiffany H. Kung beserta para pakar lainnya.

Hal tersebut terbilang mengejutkan lantaran USMLE dikenal sangat sulit. Untuk bisa lulus, seseorang biasanya membutuhkan persiapan 300 hingga 400 jam lantaran cakupan materinya yang luas dari mulai konsep dasar sains hingga bioetika.

Untuk keperluan riset ini, para peneliti dari Ansibel Health menggunakan contoh pertanyaan dari USMLE. Jawaban dari pertanyaan tersebut pun tidak ditemukan di Google sehingga para peneliti tahu ChatGPT akan menghasilkan respons baru berdasarkan data yang dilatih di dalamnya.

Setelah menjalani ujian, ChatGPT mendapat skor antara 52,4 persen dan 75 persen di tiga tes tersebut. Untuk bisa lulus, seseorang harus mendapat paling tidak 60 persen. 

Namun demikian, ChatGPT dalam 88,9 persen responsnya menghasilkan satu pandangan yang "baru, tidak jelas, [namun] valid secara klinis".

"Bisa mencapai skor seperti itu di ujian yang sangat sulit seperti ini dan tanpa dibantu manusia, menandai capaian dalam pendewasaan AI klinis," tulis para pakar. 

Lebih lanjut, ChatGPT menyediakan konsistensi yang luar biasa dalam setiap jawabannya. ChatGPT pun mampu menyediakan penalaran di balik setiap responsnya. ChatGPT bahkan mampu unggul dari bot medis PubMedGPT yang punya tingkat akurasi 50,3 persen. 

Di sisi lain, penggunaan ChatGPT di bidang akademik sudah menimbulkan beberapa kekhawatiran. Di AS, Departemen Pendidikan kota New York memblok akses Chat GPT pada perangkat yang terhubung dengan internet di sekolah-sekolah negeri.

Kendati demikian, patut diingat bahwa informasi yang dilatih ke dalam ChatGPT juga memiliki ketidakakuratan. ChatGPT pun mengakui ketidakakuratan itu seraya menyerukan agar ada perbaikan terhadapnya. 

Terlepas dari hal tersebut, kemampuan ChatGPT menjawab soal USMLE menunjukkan potensi besarnya untuk digunakan di bidang medis.

"Hasil ini menunjukkan model bahasa yang besar mungkin punya potensi untuk membantu di bidang edukasi medis dan dalam membuat keputusan," tulis para peneliti seperti dikutip dari ScienceAlert. 

Related

Technology 7302461218809039187

Recent

Hot in week

Ebook

Koleksi Ribuan Ebook Indonesia Terbaik dan Terlengkap

Dapatkan koleksi ribuan e-book Indonesia terbaik dan terlengkap. Penting dimiliki Anda yang gemar membaca, menuntut ilmu,  dan senang menamb...

item