بازخوانی یک تجربه فاجعهبار از هوش مصنوعی؛ الگوریتم ماشینی، چیزی از حقوق شهروندی نمیداند
دنیای مدرن مکررا میگوید هوش مصنوعی همه چیز از جمله قضاوت و وکالت را متحول خواهد کرد ولی آیا جهان امروز به شما میگوید قبلا چه تجربیات سختی با هوش مصنوعی داشته است؟
مهسا مشایخی؛
اخیرا وکلا درباره هوش مصنوعی، موضعگیری های زیادی داشته اند. عدهای آن را خطر و چالش پیش روی حرفه وکالت میدانند (اینجا) و برخی میگویند یک فرصت است که باید استفاده شود. (اینجا) برخی مسئولان قوه قضاییه هم میگویند برای اینکه 50 سال عقب ماندگی فناوری در ایران جبران شود، باید تا حد توان از هوش مصنوعی استفاده کنیم. (اینجا) حتی دادستان کل کشور به دستگاههای اجرایی توصیه میکند در همه امور از هوش مصنوعی استفاده کنند. (اینجا)
مسئله اینجاست که واقعا دنیای مدرن که هوش مصنوعی در آنجا متولد شده، چقدر درباره تجارب سخت و عجیبی که مدیریت کلان جامعه با این ابزار داشته، با ما سخن گفته است؟ به تعبیری، دیدگاه ما نسبت به هوش مصنوعی، چقدر وابسته به تجربیات شخصی خود و جامعه ایرانی و چقدر وابسته به تجربیات سایر کشورهاست. آیا به این فکر کردهایم که برخی کشورها، با سپردن امور به دست هوش مصنوعی، تا حد براندازی دولتها و نابودی سرمایه اجتماعیشان پیش رفتهاند، فقط به این دلیل که به الگوهای تصمیمگیری هوش مصنوعی، اعتماد کردند؟
این روایت گوشزد می کند تجربیات مدیریت کلان و سیاسی کشورهای مدرن دنیا، چندان با هوش مصنوعی، شیرین و دلچسب نیست و بعضا تجربیات سخت و ناامیدکنندهای با هوش مصنوعی وجود داشته که باعث سقوط دولتها و نارضایتی گسترده در میان شهروندان شده است.
هوش مصنوعی و الگوریتمهای محاسباتی تصمیمساز
یکی از مهمترین وعدههای هوش مصنوعی این است که تصمیمگیری را بهتر کند. الگوریتمها میتوانند حجم بزرگی از اطلاعات را در زمانی کوتاه بررسی کنند، الگوهایی را پیدا کنند که شاید از نگاه انسان پنهان بماند و به سازمانها کمک کنند منابع خود را دقیقتر به کار بگیرند. به همین دلیل، دولتها، بانکها و شرکتها در سالهای اخیر بیش از گذشته به ابزارهای دادهمحور روی آوردهاند.
جذابیت این فناوری روشن است. در بسیاری از حوزهها، حجم اطلاعات آنقدر زیاد شده است که انسان به تنهایی نمیتواند همه دادهها را بررسی کند. یک بانک نمیتواند وضعیت میلیونها مشتری را هر روز به شکل دستی ارزیابی کند. یک شرکت بیمه نمیتواند همه درخواستها را با یک سطح از جزئیات بررسی کند و یک دولت نیز برای مدیریت برنامههای حمایتی گسترده، به ابزارهایی برای اولویتبندی و تحلیل نیاز دارد.
الگوریتمها دقیقاً برای حل چنین مسئلهای وارد شدهاند. آنها میتوانند در میان دادههای گسترده، نشانههایی را پیدا کنند که احتمالاً نیازمند توجه بیشتری هستند. اما پشت این توانایی، یک واقعیت مهم وجود دارد. هیچ الگوریتمی مستقل از انتخابهای انسانی ساخته نمیشود. پیش از آنکه یک مدل شروع به تحلیل کند، انسانها تصمیم گرفتهاند چه دادههایی وارد آن شود، چه متغیرهایی اهمیت بیشتری داشته باشند و نتیجه مدل چگونه در تصمیمهای واقعی مورد استفاده قرار گیرد. الگوریتم میتواند احتمالها را محاسبه کند، اما نمیتواند جای قضاوت و تصمیمگیری انسانی را بگیرد؛ بهخصوص زمانی که پای حقوق یکایک شهروندان در میان باشد.
نقطه عزیمت چالشهای هوش مصنوعی
تفاوت میان یک احتمال آماری و یک واقعیت انسانی، نقطهای است که بسیاری از چالشهای هوش مصنوعی از آن آغاز میشود. یک سامانه ممکن است نشان دهد که یک پرونده شباهت بیشتری به مواردی دارد که در گذشته نیازمند بررسی بودهاند. اما این شباهت به تنهایی به معنای وجود یک مشکل واقعی نیست. ریسک یک نتیجه قطعی نیست بلکه یک هشدار است؛ پرونده کمکهزینه نگهداری کودکان در هلند یکی از نمونههایی است که این تفاوت را به شکل روشنی نشان داد.
در نظام حمایتی هلند، دولت بخشی از هزینه نگهداری کودک را به خانوادهها پرداخت میکرد تا والدین بتوانند در کنار مسئولیت خانوادگی، حضور خود را در بازار کار حفظ کنند. مانند هر برنامه حمایتی گسترده، دولت با یک چالش همیشگی مواجه بود. چگونه میتوان از منابع عمومی در برابر پرداختهای نادرست محافظت کرد، بدون آنکه هزینه نظارت به اندازهای افزایش پیدا کند که خود نظام حمایتی را ناکارآمد کند؟
اداره مالیات هلند، برای پاسخ به این مسئله از روشهای ارزیابی ریسک استفاده کرد. هدف این سامانهها آن نبود که درباره درست یا نادرست بودن یک پرونده تصمیم نهایی بگیرند. قرار بود فقط کمک کنند پروندههایی که احتمال نیاز به بررسی بیشتری دارند، سریعتر شناسایی شوند.
هوش مصنوعی و توان تحلیل میلیونها «داده»
در نگاه اول، این رویکرد منطقی به نظر میرسید. استفاده از «داده« برای اولویتبندی بررسیها سالهاست در بخشهای مختلف جامعه از جمله سیاست، اقتصاد و مدیریت مورد استفاده قرار میگیرد. بانکها برای ارزیابی اعتبار مشتریان، شرکتهای بیمه برای سنجش احتمال خسارت و سازمانها برای مدیریت منابع خود از روشهای مشابه استفاده میکنند و دولتها برای بررسی آماری نحوه اختصاص یارانه به اشخاص و بخشهای مختلف، تحلیل کلانداده (Big Data) را به هوش مصنوعی میسپرند.
اما مشکل زمانی شکل گرفت که مرز میان یک هشدار آماری و یک تصمیم واقعی به تدریج کمرنگ شد. برخی خانوادههایی که پرونده آنها در فرایند ارزیابی ریسک، نیازمند بررسی بیشتر تشخیص داده شده بود، با برخوردهای سختگیرانهتری مواجه شدند. بخشی از آنها مجبور شدند مبالغی را بازگردانند که پیشتر به عنوان کمکهزینه دریافت کرده بودند. سالها طول کشید تا ابعاد این مسئله روشن شود و مشخص شود بسیاری از این خانوادهها نباید با چنین فشارهایی روبهرو میشدند.
بررسیهای بعدی نشان داد که مشکل فقط به یک سامانه فنی محدود نبود. نحوه طراحی فرایند نظارت، معیارهای مورد استفاده، شیوه تفسیر نتایج و تصمیمهایی که پس از آن گرفته شد، همگی در شکلگیری بحران نقش داشتند.
ماشین، چیزی از حقوق شهروندی نمیداند
گزارش کمیسیون تحقیق پارلمان هلند که در سال ۲۰۲۰ منتشر شد، نشان داد که در نحوه برخورد دولت با این پرونده، اصول مهمی مانند تناسب در تصمیمگیری و حمایت از حقوق شهروندان به اندازه کافی رعایت نشده است. ابعاد بحران به تدریج از یک مسئله اداری فراتر رفت و به یک بحران سیاسی تبدیل شد. در ژانویه ۲۰۲۱، دولت هلند مسئولیت سیاسی این پرونده را پذیرفت و استعفا کرد.
پیامدهای این تصمیم بسیار فراتر از پروندههای فردی رفت. دولت هلند مجبور شد منابع قابل توجهی را صرف بازبینی پروندهها، جبران خسارت و اصلاح ساختارهای نظارتی کند. سامانهای که قرار بود به کاهش هزینه و افزایش کارایی کمک کند، در نهایت هزینههایی ایجاد کرد که در محاسبات اولیه دیده نشده بود. این هزینهها فقط در بودجه دولت ظاهر نشدند، بلکه اعتماد عمومی را نیز تحت تأثیر قرار دادند و به یکی از جدیترین بحرانهای سیاسی سالهای اخیر هلند تبدیل شدند.
درسهای روشن یک تجربه
درس مدیریتی این پرونده روشن است. هر فناوری که برای افزایش بهرهوری استفاده میشود، در کنار منافع خود، هزینه خطا نیز دارد. اگر در طراحی یک سامانه فقط به این توجه کنیم که چند مورد پرریسک سریعتر شناسایی میشوند، اما هزینه تصمیمهای اشتباه را نادیده بگیریم، ارزیابی ما ناقص خواهد بود.
مسئله اصلی در پرونده هلند وجود الگوریتم نبود. مشکل زمانی ایجاد شد که خروجی یک ابزار تحلیلی، بیش از اندازه به یک تصمیم نهایی نزدیک شد. الگوریتم میتواند به انسان نشان دهد کجا باید بیشتر دقت کند، اما نمیتواند ظرایف حقوق شهروندی، شرایط واقعی افراد، پیامدهای اجتماعی یک تصمیم و هزینههای سیاسی، اقتصادی و مدیریتی یک خطای احتمالی را بهطور کامل درک کند.
آینده قضاوت، سیاست، اقتصاد و مدیریت بدون استفاده از ابزارهای هوشمند قابل تصور نیست. اما هرچه الگوریتمها، قدرتمندتر میشوند، نقش انسان نیز در تفسیر، نظارت و پاسخگویی مهمتر خواهد شد. الگوریتم میتواند احتمال را محاسبه کند، اما نمیتواند مسئولیت تصمیمگیری را بپذیرد.
