Building explainability into the components of machine-learning models

روش‌های توضیحی که به کاربران کمک می‌کنند مدل‌های یادگیری ماشینی را درک کنند و به آن‌ها اعتماد کنند، اغلب توضیح می‌دهند که ویژگی‌های خاصی که در مدل استفاده می‌شود چقدر در پیش‌بینی آن نقش دارند. برای مثال، اگر مدلی خطر ابتلای بیمار به بیماری قلبی را پیش‌بینی کند، ممکن است پزشک بخواهد بداند داده‌های ضربان قلب بیمار چقدر بر این پیش‌بینی تأثیر می‌گذارد.

اما اگر آن ویژگی ها آنقدر پیچیده یا پیچیده باشند که کاربر نتواند آنها را درک کند، آیا روش توضیح فایده ای دارد؟

محققان MIT در تلاش هستند تا تفسیرپذیری ویژگی ها را بهبود بخشند تا تصمیم گیرندگان با استفاده از خروجی های مدل های یادگیری ماشین راحت تر باشند. با تکیه بر سال‌ها کار میدانی، آنها یک طبقه‌بندی برای کمک به توسعه‌دهندگان ایجاد کردند که درک آن برای مخاطبان هدفشان آسان‌تر باشد.

می‌گوید: «ما متوجه شدیم که در دنیای واقعی، حتی اگر از روش‌های پیشرفته برای توضیح مدل‌های یادگیری ماشینی استفاده می‌کردیم، هنوز سردرگمی زیادی ناشی از ویژگی‌ها، نه از خود مدل، وجود دارد. الکساندرا زیتک، دانشجوی دکتری مهندسی برق و علوم کامپیوتر و نویسنده اصلی مقاله‌ای که طبقه‌بندی را معرفی می‌کند .

برای ایجاد طبقه بندی، محققان ویژگی هایی را تعریف کردند که ویژگی ها را برای پنج نوع کاربر قابل تفسیر می کند، از متخصصان هوش مصنوعی گرفته تا افرادی که تحت تاثیر پیش بینی یک مدل یادگیری ماشینی قرار می گیرند. آنها همچنین دستورالعمل‌هایی را ارائه می‌دهند که چگونه سازندگان مدل می‌توانند ویژگی‌ها را به قالب‌هایی تبدیل کنند که درک آن برای افراد عادی آسان‌تر باشد.

آنها امیدوارند که کارشان به سازندگان مدل الهام بخش شود تا از ابتدای فرآیند توسعه، به جای تلاش برای کار معکوس و تمرکز روی توضیح پذیری، از ابتدای فرآیند توسعه استفاده کنند.

از نویسندگان MIT می توان به Dongyu Liu، فوق دکترا اشاره کرد. پروفسور مدعو Laure Berti-Équille، مدیر تحقیقات IRD. و نویسنده ارشد Kalyan Veeramachaneni، دانشمند پژوهشی اصلی در آزمایشگاه اطلاعات و سیستم های تصمیم گیری (LIDS) و رهبر گروه داده به هوش مصنوعی. ایگناسیو آرنالدو، دانشمند اصلی داده در Corelight به آنها ملحق می شود. این تحقیق در نسخه ژوئن انجمن ماشین‌های محاسباتی گروه مورد علاقه ویژه در مورد کشف دانش و داده‌کاوی در خبرنامه اکتشافات بررسی شده منتشر شده است.

درس های دنیای واقعی

ویژگی‌ها متغیرهای ورودی هستند که به مدل‌های یادگیری ماشینی داده می‌شوند. آنها معمولاً از ستون های یک مجموعه داده ترسیم می شوند. Veeramachaneni توضیح می‌دهد که دانشمندان داده معمولاً ویژگی‌هایی را برای مدل انتخاب می‌کنند و به دست می‌آورند، و عمدتاً بر اطمینان از توسعه ویژگی‌ها برای بهبود دقت مدل تمرکز می‌کنند، نه اینکه آیا تصمیم‌گیرنده می‌تواند آنها را درک کند یا خیر.

برای چندین سال، او و تیمش با تصمیم‌گیرندگان برای شناسایی چالش‌های قابلیت استفاده در یادگیری ماشین کار کرده‌اند. این متخصصان حوزه، که اکثر آنها فاقد دانش یادگیری ماشینی هستند، اغلب به مدل‌ها اعتماد ندارند، زیرا ویژگی‌هایی را که بر پیش‌بینی‌ها تأثیر می‌گذارند، درک نمی‌کنند.

برای یک پروژه، آنها با پزشکان یک ICU بیمارستان همکاری کردند که از یادگیری ماشینی برای پیش‌بینی خطری که بیمار پس از جراحی قلب با عوارض مواجه می‌شود، استفاده کردند. برخی از ویژگی‌ها به‌عنوان مقادیر جمع‌آوری شده، مانند روند ضربان قلب بیمار در طول زمان، ارائه شدند. در حالی که ویژگی‌های کدگذاری‌شده به این روش «مدل آماده» بودند (مدل می‌توانست داده‌ها را پردازش کند)، پزشکان متوجه نحوه محاسبه آنها نشدند. لیو می‌گوید، آنها ترجیح می‌دهند ببینند که چگونه این ویژگی‌های جمع‌آوری شده با مقادیر اصلی مرتبط هستند، بنابراین می‌توانند ناهنجاری‌ها را در ضربان قلب بیمار شناسایی کنند.

در مقابل، گروهی از دانشمندان یادگیرنده ویژگی هایی را ترجیح می دهند که تجمیع شده باشند. به‌جای داشتن ویژگی‌ای مانند «تعداد پست‌هایی که یک دانش‌آموز در انجمن‌های گفتگو منتشر می‌کند»، ترجیح می‌دهند ویژگی‌های مرتبط را با هم گروه‌بندی کنند و با عباراتی که درک می‌کنند برچسب‌گذاری شوند، مانند «مشارکت».

با قابلیت تفسیر، یک اندازه برای همه مناسب نیست. وقتی از منطقه ای به منطقه دیگر می روید، نیازهای مختلفی وجود دارد. ویرماچاننی می‌گوید که تفسیرپذیری خود سطوح مختلفی دارد.

این ایده که یک اندازه برای همه مناسب نیست، کلید طبقه بندی محققان است. آن‌ها ویژگی‌هایی را تعریف می‌کنند که می‌توانند ویژگی‌ها را کم و بیش برای تصمیم‌گیرندگان مختلف قابل تفسیر کنند و مشخص کنند که کدام ویژگی‌ها احتمالاً برای کاربران خاص مهم‌تر هستند.

به عنوان مثال، توسعه دهندگان یادگیری ماشینی ممکن است بر داشتن ویژگی هایی تمرکز کنند که با مدل سازگار و قابل پیش بینی هستند، به این معنی که انتظار می رود عملکرد مدل را بهبود بخشند.

از سوی دیگر، تصمیم گیرندگانی که تجربه یادگیری ماشینی ندارند، ممکن است با ویژگی‌هایی که به زبان انسانی بیان می‌شوند، بهتر مورد استفاده قرار گیرند، به این معنی که آنها به گونه‌ای توصیف شده‌اند که برای کاربران طبیعی و قابل درک باشد، به این معنی که به کاربران معیارهای دنیای واقعی اشاره می‌کنند. می تواند درباره

طبقه‌بندی می‌گوید، اگر ویژگی‌های قابل تفسیری ایجاد می‌کنید، تا چه سطحی قابل تفسیر هستند؟ Zytek می گوید، بسته به نوع متخصصان دامنه ای که با آنها کار می کنید، ممکن است به همه سطوح نیاز نداشته باشید.

تفسیرپذیری را در اولویت قرار دهیم

محققان همچنین تکنیک‌های مهندسی ویژگی‌هایی را که یک توسعه‌دهنده می‌تواند برای تفسیرپذیرتر کردن ویژگی‌ها برای یک مخاطب خاص استفاده کند، تشریح می‌کنند.

مهندسی ویژگی فرآیندی است که در آن دانشمندان داده با استفاده از تکنیک‌هایی مانند جمع‌آوری داده‌ها یا عادی‌سازی مقادیر، داده‌ها را به قالبی که مدل‌های یادگیری ماشینی می‌توانند پردازش کنند، تبدیل می‌کنند. اکثر مدل‌ها نیز نمی‌توانند داده‌های دسته‌بندی را پردازش کنند، مگر اینکه به یک کد عددی تبدیل شوند. باز کردن این دگرگونی‌ها برای افراد غیرممکن است.

Zytek می‌گوید ایجاد ویژگی‌های قابل تفسیر ممکن است شامل لغو برخی از آن کدگذاری باشد. به عنوان مثال، یک تکنیک مهندسی ویژگی مشترک، گستره های داده را سازماندهی می کند تا همه آنها دارای تعداد سال یکسانی باشند. برای تفسیرپذیرتر کردن این ویژگی‌ها، می‌توان محدوده‌های سنی را با استفاده از اصطلاحات انسانی مانند نوزاد، کودک نوپا، کودک و نوجوان گروه‌بندی کرد. لیو می افزاید: یا به جای استفاده از یک ویژگی تبدیل شده مانند ضربان متوسط ​​پالس، یک ویژگی قابل تفسیر ممکن است به سادگی داده های نرخ پالس واقعی باشد.

«در بسیاری از حوزه‌ها، مبادله بین ویژگی‌های قابل تفسیر و دقت مدل در واقع بسیار کم است. به‌عنوان مثال، زمانی که ما با غربالگری‌های رفاه کودکان کار می‌کردیم، مدل را تنها با استفاده از ویژگی‌هایی که تعاریف ما را برای تفسیرپذیری مطابقت داشتند، دوباره آموزش دادیم و کاهش عملکرد تقریباً ناچیز بود.

با تکیه بر این کار، محققان در حال توسعه سیستمی هستند که توسعه‌دهنده مدل را قادر می‌سازد تا تبدیل‌های ویژگی‌های پیچیده را به شیوه‌ای کارآمدتر مدیریت کند تا توضیحاتی با محوریت انسان برای مدل‌های یادگیری ماشین ایجاد کند. این سیستم جدید همچنین الگوریتم های طراحی شده برای توضیح مجموعه داده های آماده مدل را به قالب هایی تبدیل می کند که برای تصمیم گیرندگان قابل درک باشد.

https://news.mit.edu/2022/explainability-machine-learning-0630