A Comparative Study of ChatGPT-3.5 and Gemini's Performance of Answering the Prosthetic Dentistry Questions in Dentistry Specialty Exam: Cross-Sectional Study

Abstract

Amaç: Yapay zekâ uygulamalarının diş hekimliği alanında kullanımı yaygınlaşmaktadır ancak yapay zekâ destekli sohbet robotlarının diş hekimliği alanındaki bilgi düzeyi belirsizdir. Çalışmanın amacı, iki farklı sohbet robotunun protetik diş tedavisi hakkındaki bilgi düzeylerini ölçmek ve düzeyler arasındaki farklılık olup olmadığını incelemektir. Gereç ve Yöntemler: 2012-2021 yılları arasındaki Diş Hekimliğinde Uzmanlık Eğitimi Giriş Sınavında (DUS) sorulan protetik diş tedavisi soruları konulara göre ayrılmıştır. Toplam 128 adet çoktan seçmeli soru ChatGPT-3.5 (Chat Generative Pre-trained Transformer; OpenAI, San Francisco, Kaliforniya, ABD) ve Gemini (Google, Mountain View, Kaliforniya, ABD) adlı sohbet robotlarına eş zamanlı olarak sorulmuştur. Sohbet robotlarının verdiği cevaplar 3 noktalı Likert ölçeği ile puanlandırılmıştır. Alınan puanlar sınav yılları ve sınavda çıkan konulara göre ayrı ayrı hesaplanmıştır. İstatistiksel analiz için IBM SPSS 23 yazılım programı (IBM, SPSS, Chicago, IL, ABD) kullanılmıştır. ChatGPT-3.5 ve Gemini'nin aldıkları puanlar ''paired sample t-test'' kullanılarak karşılaştırılmıştır. Bulgular: Çalışmadan elde edilen sonuçlara göre ChatGPT-3.5 ve Gemini'nin çalışmaya dâhil edilen sorulara verdikleri cevaplara karşılık aldıkları puanlar arasında anlamlı fark bulunmamıştır (p=0,251). Sohbet robotlarının konulara göre bilgi düzeyleri arasında da anlamlı fark görülmemiştir (p=0,965). Sonuç: ChatGPT ve Gemini'nin protetik diş tedavisi bilgi düzeyi benzerdir. Sohbet robotlarının soruları doğru yanıtlama yüzdeleri incelendiğinde şu an için protetik diş tedavisi ile ilgili soruları doğru yanıtlama yeteneklerinin sınırlı olduğu görülmektedir.

Topics & Concepts