تشخیص احساسات از طریق ویدیو، تصویر، صوت و متن

اگر مشاغل و کسب و کار ها با استفاده از فناوری های نوین بتوانند احساسات مشتری را درک کنند، می توانند از آن استفاده کنند تا در لحظه مناسب کالای خود را به مصرف کننده بفروشند. حقیقت این است که چنین فناوری ای خیلی دور از واقعیت نیست. هوش احساسی ماشین یک حوزه رو به رشد است که نه تنها در تبلیغات، بلکه در استارت آپ های جدید، امنیت، مراقبت های بهداشتی، گجت های پوشیدنی ، آموزش، دستیار و موارد دیگر می تواند تاثیرات زیادی به همراه داشته باشد.

نرم افزار های مختلفی برای تشخیص حالات احساسی در انسانها وجود دارند. این اپلیکیشن های الگوریتم محور از تفکیک چهره و عکس ها، فیلم ها، متن و گفتار و تشخیص چهره و تجزیه و تحلیل معنایی برای شناسایی حالات احساسی استفاده می کنند. در این گزارش  بیش از ۲۰ نرم افزار شناسایی احساسات را بررسی می کنیم که می توانند در پروژه ها برای تفسیر حالات واقعی افراد استفاده شوند.

اپلیکیشن های تشخیص احساس چگونه کار می کنند؟

تجزیه و تحلیل احساس ترکیبی جالب از روانشناسی و فناوری است. اگرچه مسلما به طور ۱۰۰% دقیق نیست ، اما بسیاری از ابزارهای تشخیص چهره، احساسات انسان را به ۷ دسته اصلی تقسیم می کنند: شادی، غم، عصبانیت، ترس، تعجب، تحقیر و انزجار. با تشخیص احساسات صورت، الگوریتم ها چهره های درون یک عکس یا فیلم را تشخیص می دهند و با تجزیه و تحلیل رابطه بین نقاط صورت، بر اساس پایگاه داده های گردآوری شده ، احساسات را در سطح میکرو حس می کنند.

برای تشخیص احساسات در کلمات نوشتاری، نرم افزار پردازش تجزیه و تحلیل احساسات می تواند متن را تجزیه و تحلیل کند تا نتیجه گیری کند که بر اساس کلمات کلیدی و شاخص آنها یک عبارت به طور کلی مثبت یا منفی است. سرانجام، الگوریتم های صوتی تولید شده اند که گفتار ضبط شده را از نظر لحن و محتوای کلمه تجزیه و تحلیل می کنند.

موارد استفاده از نرم افزار های تشخیص احساسات

یک مورد استفاده واضح در آزمایش های گروهی است. پاسخ کاربران به بازی های ویدئویی، تبلیغات تجاری یا محصولات همگی می توانند در مقیاس بزرگتر، با جمع آوری اطلاعات زیاد به صورت خودکار و در نتیجه کارآمدتر، آزمایش شوند. بنتلی ( Bentley ) در یک کمپین بازاریابی از تشخیص حالت چهره استفاده کرد تا انواع مدل های خودرو را براساس پاسخ های احساسی به محرک های خاص به مشتریان پیشنهاد دهد. همچنین فناوری ای که احساسات شما را آشکار می کند ، برای ردیابی دانش آموزان درگیر در محیط کلاس یا کمک به بیماران اوتیستیک در تعامل بهتر با دیگران پیشنهاد شده است. برخی موارد استفاده عبارتند از:

• کمک به اندازه گیری بهتر رتبه بندی برنامه های تلویزیونی.
• افزودن یک لایه امنیتی دیگر به امنیت در مراکز خرید، فرودگاه ها، میادین ورزشی و سایر اماکن عمومی برای تشخیص قصد سو استفاده.
• تجهیزات قابل پوشیدن که به بیماران اوتیستیک کمک می کنند احساسات را تشخیص دهند
• پیشخوان ها، بررسی خریدهای مجازی

تشخیص حالت از طریق API های تشخیص احساس

این اپلیکیشن های بینایی رایانه ای از تشخیص چهره، ردیابی چشم و نشانه های خاص وضعیت چهره برای تعیین خلق و خوی سوژه مورد نظر استفاده می کنند. نرم افزار های زیادی وجود دارند که یک تصویر یا فیلم را اسکن می کنند تا چهره ها را تشخیص دهند، اما این نرم افزار هایی که معرفی خواهند شد تلاش بیشتری می کنند تا حالت احساسی را درست تر تشخیص دهند. این کار اغلب ترکیبی از وزن دهی به ۷ احساس اساسی اختصاص داده می شود.

۱– نرم افزار Emotient

Emotient برای یک کمپین تبلیغاتی که می خواهد توجه، تعامل و احساسات بینندگان را ردیابی کند نرم افزاری عالی است. نرم افزار تحت وب Emotient می تواند در برنامه ها ادغام شود یا برای کمک به تست های AB استفاده شود. علاوه بر نرم افزار، یک پنل تجزیه و تحلیل نیز وجود دارد .

۲– نرم افزار Affectiva

با بررسی ۳،۲۸۹،۲۷۴ چهره تا به امروز ، Affectiva راه حل دیگری برای تشخیص احساسات  در مقیاس گسترده ارائه کرده است. آن ها SDK و API هایی را برای توسعه دهندگان موبایل ارائه می دهند و تجزیه و تحلیل بصری خوبی برای پیگیری عبارات با گذشت زمان ارائه می دهند.

۳– نرم افزار EmoVu

محصولات EmoVu که توسط Eyeris تولید می شوند، شامل الگوریتم های یادگیری ماشین و تشخیص میکرو احساسات است که به آژانس های تبلیغاتی اجازه می دهد “میزان درگیری احساسی و اثربخشی محتوای آن ها را بر روی مخاطب مورد نظر خود دقیق اندازه گیری کند. ” EmoVu با داشتن SDK دسک تاپ ، SDK موبایل و API برای کنترل دقیق، پشتیبانی از پلتفرم های گسترده ای را شامل می شود، از جمله بسیاری از ویژگی های ردیابی، مانند موقعیت سر، شیب  ردیابی چشم، باز / بسته شدن چشم و غیره. آن ها یک نسخه آزمایشی رایگان با ایجاد حساب ارائه می دهند.

۴– نرم افزار Nviso

Nviso مستقر در سوئیس در حوزه ی تجزیه و تحلیل فیلم های احساسی، با استفاده از فناوری تصویربرداری سه بعدی صورت برای کنترل بسیاری از نقاط مختلف داده صورت برای ایجاد احتمالات برای ۷ احساس اصلی، متخصص دارد. آن ها در سال ۲۰۱۳ توسط IBM برای ارائه محاسبات هوشمندانه مورد تقدیر قرار گرفتند. ممکن است Nviso با ویژگی بین المللی شرکتی خود، گزینه ای برای توسعه دهنده هایی نباشد که به دنبال توانایی سریع پلاگین در بازی ها با پشتیبانی فوری است.

۵– نرم افزار Kairos

نرم افزار تجزیه و تحلیل احساسات ارائه شده توسط Kairos یک استارت آپ در حوزه ی تشخیص چهره است. این نرم افزار مقیاس پذیر و تقاضا محور می باشد. شما برای آن ها ویدیو ارسال می کنید، و آن ها مختصاتی از چهره را که لبخند، تعجب، عصبانیت، دوست نداشتن و خواب آلودگی را تشخیص می دهند به شما باز می گردانند. آن ها نسخه آزمایشی رایگان را ارائه می دهند که پاسخ صورت شما را به چند تبلیغ تجاری تجزیه و تحلیل می کند و آن را در قالب نمودار ارائه می کند.

۶– نرم افزار Project Oxford مایکروسافت

Project Oxford مایکروسافت، فهرستی از اپلیکیشن های هوش مصنوعی است که بر روی دید رایانه، گفتار و تجزیه و تحلیل زبان متمرکز شده است. سالهای گذشته پس از شهرت  ابزار تشخیص سن پروژه به دلیل “ناسازگاری”، برخی ممکن است تمایلی به امتحان کردن قابلیت های تشخیص احساس مایکروسافت نداشته باشند.

این API فقط با عکس کار می کند. چهره ها را تشخیص می دهد و در JSON با درصد های مضحک خاص برای هر چهره با استفاده از ۷ احساس اصلی و خنثی پاسخ می دهد. اگر اعداد اعشاری را گرد کنید این نرم افزار یک ابزار بسیار ساده و تا حد زیادی بسیار مفید با توجه به شرایط مناسب خواهد بود.

۷– نرم افزار Face Reader توسط Noldus

اپلیکیشن Face Reader توسط Noldus که در حوزه دانشگاهی استفاده می شود، مبتنی بر یادگیری ماشین است و با استفاده از آن می توانید پایگاه داده ای از ۱۰،۰۰۰ تصویر ازحالات چهره را استفاده کنید. این اپلیکیشن از ۵۰۰ نقطه اصلی صورت برای تجزیه و تحلیل ۶ حالت اساسی صورت و همچنین حالت خنثی و تحقیر استفاده می کند. Face Reader همچنین جهت نگاه و جهت گیری سر را تشخیص می دهد.

۸– نرم افزار Sightcorp

Sightcorp یکی دیگر از ارائه دهندگان فناوری تشخیص چهره است. آنها از پلتفرم گسترده ای پشتیبانی می کند و صدها نقطه از چهره و حالت خیره شدن چشم را ردیابی می کند و در پروژه های خلاقانه، ویترین های موزه و TEDX آمستردام مورد استفاده قرار گرفته است. API آن ها به نام F.A.C.E (که هنوز در مرحله بتا است) یک موتور تجزیه و تحلیل ابری برای تشخیص خودکار احساسات دارد.

۹– نرم افزار SkyBiometry

SkyBiometry ابزاری مبتنی بر ابر و تشخیص چهره است که به شما امکان می دهد احساسات را در عکس ها تشخیص دهید. فایلی را بارگذاری کنید و با این کار چهره ها را تشخیص می دهد و حال و هوای بین شاد، غمگین، عصبانی، متعجب، انزجار، ترس و حالت خنثی را با نرخ درصدی برای هر نقطه حس می کند. این نرم افزار به طور دقیق مشخص می کند که شخص لبخند می زند یا نه. یک مزیت Skybiometry این است که این یک شرکت بیومتریک موفق است – بنابراین تیم این شرکت مدت زیادی در این زمینه فعال بوده است.

۱۰– نرم افزار Face++

نرم افزار Face++ یک ابزار تشخیص چهره هست که چهره ها را با چهره های ذخیره شده در حافظه ی نرم افزار مقایسه می کند و مناسب برای برچسب گذاری عکس در شبکه های اجتماعی است. این نرم افزار در لیست ما قرار گرفته زیرا تعیین می کند که آیا سوژه مورد نظر در حال خندیدن  است یا خیر.

۱۱– نرم افزار Imotions

Imotions یک پلتفرم تحقیقاتی در زمینه بیومتریک است که نرم افزار و سخت افزاری را برای نظارت بر انواع مختلف نشانه های بدنی فراهم می کند. احساسات با فناوری بیان حالات چهره Emotient همگام سازی می شوند و لایه های اضافی را برای تشخیص احساساتی چون گیجی و ناامیدی اضافه می کنند. اپلیکیشن Imotions می تواند برای تجزیه و تحلیل ویدئو های زنده یا فیلم های قبلاً ضبط شده به کار گرفته شود. نرم افزار Imotion توسط هاروارد ، پروکتر و گمبل ، ییل ، نیروی هوایی ایالات متحده استفاده شده است و حتی در یک قسمت از سریال  Mythbusters نیز مورد استفاده قرار گرفت.

۱۲– نرم افزار CrowdEmotion

CrowdEmotion نرم افزاری را ارائه می دهد که با استفاده از تشخیص چهره می تواند سری زمانی شش احساس عام جهانی را که توسط روانشناس پاول اکمن تعریف شده است شناسایی کند (خوشحالی ، تعجب ، عصبانیت ، انزجار ، ترس و اندوه). آن ها یک sandbox API همراه با استفاده ماهانه رایگان برای آزمایش زنده ارائه می دهند.

۱۳– نرم افزار FacioMetrics

FacioMetrics در دانشگاه کارنگی ملون (CMU) تأسیس شد ، شرکتی است که SDK را برای ترکیب ردیابی صورت، ردیابی ژست و نگاه و تجزیه و تحلیل بیان در برنامه ها فراهم می کند. ویدیوی آزمایشی آن ها برخی موارد استفاده خلاقانه را در سناریوهای واقعیت مجازی بیان می کند. این نرم افزار با استفاده از برنامه Intraface iOS قابل آزمایش است.

نرم افزار Findface

نرم افزار Findface با استفاده از الگوریتم تشخیص چهره NtechLab 7 احساسات اساسی و همچنین ۵۰ ویژگی احساسی پیچیده را تشخیص می دهد. این نرم افزار گویا دارای درجه ای از دقت بالااست که ۷ احساس را تشخیص می دهد: شادی، تعجب، غم، عصبانیت، انزجار، تحقیر و ترس.

نرم افزار های تشخیص احساسات از متن

بسیاری از API های تجزیه و تحلیل احساسات وجود دارد که طبقه بندی یا استخراج موجودیت را ارائه می دهند ، اما API های ذکر شده در زیر به طور خاص با یک متن خلاصه احساسی با توجه به متن ساده پاسخ می دهند. یکی از کلمات کلیدی به کار گرفته شده در اینجا پردازش زبان طبیعی است- استفاده از ماشین آلات برای تشخیص تعامل “طبیعی” انسان، و تحلیل عمیق زبانی – بررسی ساختار جمله و روابط بین کلمات کلیدی برای ایجاد احساسات. می توانید از این API ها برای انجام مواردی مانند اطلاع رسانی تجزیه و تحلیل تعامل در شبکه های اجتماعی ، افزودن ویژگی های جدید به پیام گپ ، انجام تحقیقات هدفمند در اخبار، شناسایی تجارب بسیار مثبت / منفی مشتری یا انتشار بهینه با آزمایش AB استفاده کنید.

۱۴– نرم افزار IBM Watson

با استفاده از ابر رایانه IBM Watson ، سامانه ی The Tone Analyzer لحن های عاطفی ، تمایلات اجتماعی و سبک های نوشتاری را از هر متن ساده با هر اندازه ای تشخیص می دهد..  توسعه دهنده ی ابری IBM Watson  همچنین به سایر ابزارهای محاسبات شناختی جالب توجه قدرت می بخشد.

۱۵– نرم افزار Receptiviti

با پشتیبانی دهه ها تحقیق در زمینه روانشناسی زبان، نرم افزار تجزیه و تحلیل شخصیت طبیعی زبان Receptiviti از فرایند کلمات هدف و دسته های احساسات مختلف برای استخراج احساسات و شخصیت فرد از متن استفاده می کند. فرایند تجزیه و تحلیل متن زبان و تعداد کلمات ( LIWC ) آن ها حتی توسط IBM Watson استفاده می شود. با استفاده از REST API و SDK در همه زبان های اصلی برنامه نویسی، نرم افزار Receptiviti قدرتمند و قابل استفاده به نظر می رسد.

۱۶– نرم افزار AlchemyAPI

نرم افزار Alchemy API تعداد زیادی متن را اسکن می کند تا ارتباط کلمات کلیدی و معنای مثبت / منفی مرتبط با آن ها را برای دریافت احساس نگرش یا نظر فرد مورد نظر تعیین کند. برای دریافت درجه احساس کلی مثبت، ترکیبی از احساس مثبت یا منفی می توانید یک URL وارد کنید. اگرچه این نرم افزار بیشتر برای تعریف طبقه بندی ها و ارتباط کلمات کلیدی است، اما این نرم افزار همچنین ابزار ارزیابی کلی احساسات برای سند سازی نیز می باشد.

۱۷– نرم افزار Bitext

اپلیکیشن تحلیل متن Bitext یکی دیگر از ابزارهای تجزیه و تحلیل زبان شناختی عمیق است. می توان از آن برای تحلیل روابط، جملات، ساختار و وابستگی های کلمات برای استخراج حس تعصب با عملکرد “امتیازدهی داخلی” استفاده کرد.

۱۸– نرم افزار Mood Patrol

Mood Patrol که توسط کمپانی Soul Hackers Labs در API Mashape ارائه شده است یک اپلیکیشن ساده است که احساسات را از متن استخراج می کند. این نرم افزار برای تجزیه و تحلیل بخشهای کوچک متن برای یافتن نشانه ها، و پاسخ دادن با صفت ها که لحن احساسی را بر اساس ۸ احساس اصلی Plutchik توصیف می کنند ، مناسب است

۱۹– نرم افزار Synesketch

نرم افزار Synesketch اساساً پخش کننده آثار هنری iTunes در قالب کلمات نوشتاری است. این نرم افزار یک ابزار متن باز ابتکاری است که متن را در قالب احساسات تجزیه و تحلیل می کند و لحن احساسی را به برخی تجسم های عالی تبدیل می کند. اگر بخواهیم درباره هوش هیجانی صحبت کنیم- “کد [Synesketch] کلمات را احساس می کند” ، متن را در قالب الگوهای تصویری متحرک نمایش می دهد تا احساسات اساسی را نشان دهد. چند برنامه شخص ثالث قبلاً با این نرم افزار متن باز ساخته شده است تا احساسات را از توییت ها، گفتار، شعر و موارد دیگر شناسایی و تجسم کند.

۲۰– نرم افزار Tone API

Tone API یک نرم افزار با سرعت بالاست که برای بازاریابان ساخته شده است تا پاسخ احساسی به محتوای آن ها توسط مشتریان را اندازه گیری کند. این ابزار بدنه ی متن را در نظر گرفته و از نظر گستردگی، شدت و مقایسه احساسی با سایر متون آن را تحلیل می کند. به نظر می رسد این نرم افزار یک سرویس جالب برای خودکار کردن تحقیقات داخلی برای بهینه سازی انتشار محتوای هوشمند است.

۲۱– نرم افزار Repustate API

نرم افزار Repustate تجزیه و تحلیل احساسات مبتنی بر نظریه زبانشناسی است و نشانه هایی را از  قطبیت، نفی ها، بخشی از گفتار و موارد دیگر برای دستیابی به احساسات آگاهانه از یک سند متنی بررسی می کند.

نرم افزار های تبدیل گفتار به احساسات

در نهایت انسان همچنین از طریق گفتار با ماشین تعامل دارد. تعداد زیادی نرم افزار  تشخیص گفتار در بازار وجود دارد که نتایج آن ها توسط سایر نرم افزار های تجزیه و تحلیل احساسات ذکر شده در بالا قابل پردازش است. شاید به همین دلیل است که یک نرم افزار تحت وب با استفاده ی آسان که بلافاصله احساسات را از صدای ضبط شده تشخیص می دهد چیز نادری است. موارد استفاده برای این فناوری می تواند شامل :

• نظارت بر مراکز خدمات پشتیبانی مشتری
• فراهم آوردن گروه های تجزیه و تحلیل هوش هیجانی خودکار

۲۲– نرم افزار Good Vibrations

نرم افزار Good Vibrations حال و هوای ناشی از صدای ضبط شده را حس می کند. این API و SDK آن از سیگنال های بیولوژیکی جهانی برای انجام تجزیه و تحلیل در لحظه از احساسات کاربر برای شناسایی احساس استرس ، لذت یا بی نظمی استفاده می کنند. این API تحت وب نیست، اما EMOSpeech یک نرم افزار سازمانی است که به مراکز تماس اجازه می دهد احساسات را تجزیه و تحلیل کنند ، و نرم افزار Audeering احساسات ، لحن و جنسیت را در صدای ضبط شده تشخیص می دهد.

۲۳– نرم افزار Vokaturi

ظاهراً نرم افزار Vokaturi می تواند “احساس موجود در صدای گوینده را به همان روشی که انسان می تواند، درک کند.” با استفاده از Open Vokaturi SDK ، توسعه دهندگان می توانند Vokaturi را در برنامه های خود ادغام کنند. با توجه به دارا بودن از یک پایگاه داده ضبط گفتار، نرم افزار Vokaturi درصد احتمالات را برای ۵ حالت احساسی محاسبه می کند: بی طرفی، خوشبختی، غم، عصبانیت و ترس.

نتیجه گیری : آینده ی حوزه ی تشخیص احساسات

هوش احساسی ماشین هنوز در حال تکامل است ، اما آینده به زودی می تواند تبلیغات هدفمندی را ببیند که نه تنها به اطلاعات جمعیتی ما (سن ، جنسیت ، علاقه مندی ها و غیره) بلکه به وضعیت احساسی ما پاسخ دهند. برای تبلیغات در حوزه ی فروش، این اطلاعات می تواند در مواقعی که افراد از لحاظ عاطفی آسیب پذیرتر هستند استفاده شود. اگر کاربر جهت ضبط بصری احساس خود رضایت نداشته باشد، تشخیص احساسات از طریق تشخیص چهره نیز به امری مبهم تبدیل می شود مطمئناً قانون حریم خصوصی داده ها وجود دارد که هر ارائه دهنده اپلیکیشن یا مصرف کننده باید قبل از اجرا از آن ها آگاه باشد. وقتی صحبت از تعامل انسان ماشین است ما فقط در نوک کوه یخ هستیم. اما فناوری های محاسبات شناختی مانند این ها گام های مهیجی در جهت ایجاد هوش هیجانی واقعی ماشین محسوب می شود.