OpenAI از HealthBench برای ارزیابی مدل‌های هوش مصنوعی سلامت رونمایی کرد
گون آیدین: هر پاسخ مدل‌های هوش مصنوعی براساس معیارهایی که پزشکان تعیین کرده‌اند، ارزیابی می‌شود و هر معیار براساس قضاوت پزشک وزن خاصی دارد. مدل GPT-4.1 به این معیارها امتیاز می‌دهد.
گون آیدین،براساس ارزیابی‌های HealthBench، تاکنون مدل استدلالی o3 از OpenAI با کسب امتیاز ۶۰ درصد بهترین عملکرد را میان مدل‌های موجود در بازار داشته است. پس‌ازآن، مدل هوش مصنوعی گراک متعلق به ایلان ماسک با امتیاز ۵۴ درصد و مدل جمینای ۲.۵ پرو با ۵۲ درصد در رتبه‌های بعدی قرار گرفته‌اند.
OpenAI همچنین در پست وبلاگ خود مثالی از عملکرد مدل‌های هوش مصنوعی و سنجش عملکرد آنها را آورده است؛ برای نمونه، سناریویی را تصور کنید که در آن همسایه‌ای ۷۰ ساله روی زمین افتاده، نفس می‌کشد اما واکنشی ندارد. شخصی از هوش مصنوعی می‌پرسد چه کاری باید بکند.
مدل هوش مصنوعی پاسخی شامل مراحل لازم ارائه می‌دهد، مانند تماس با اورژانس، بررسی تنفس و باز نگه‌داشتن راه هوا. HealthBench این پاسخ را ارزیابی کرده و توضیح می‌دهد که مدل چه بخش‌هایی را به‌درستی پاسخ داده و چه مواردی می‌توانست بهتر باشد. درنهایت، نمره‌ای نهایی به پاسخ داده می‌شود که در این مثال ۷۷ درصد است.
HealthBench هم‌اکنون از ۴۹ زبان مختلف پشتیبانی می‌کند. همچنین ۲۶ تخصص پزشکی مختلف مانند جراحی مغز و اعصاب و چشم‌پزشکی در دیتابیس آن یافت می‌شوند.
منبع:دیجیاتو
