Автоматизоване розпізнавання емоційних станів на сьогодні є невирішеною проблемою. Водночас, застосування методів ідентифікації емоційних станів дозволить зробити крок уперед у розробці людино-машинних інтерфейсів і систем контролю безпеки, що аналізують комплекс характеристик людської поведінки.

Складнощі виникають внаслідок того, що людські емоції зазвичай зовні слабо виражені й швидко змінюються. Прояв емоцій людини може бути зафіксований зняттям показів датчиків фізичного стану (тиску, температури поверхні тіла та органів, електромагнітної активності мозку), але переважна більшість таких характеристик можуть бути отримані у безпосередньому контакті з людиною, що робить неможливим застосування характеристик на практиці. Віддалене розпізнавання можливо виконати візуально (рухи, міміка) та аудіально (за змінами у голосі).

Типова схема розпізнавання емоцій може бути розділена на три етапи (вона представлена на рисунку 1). Після виокремлення фрагментів аудіосигналу із голосом виконується формування вектору ознак для подальшого порівняння з еталонними значеннями.

Для розпізнавання окремих емоцій краще за інші себе зарекомендували просодичні характеристики та їх комбінації. Якість розпізнавання тут повністю залежить від точності методів просодичного аналізу, автоматизувати які можливо тільки для конкретної мови або групи мов.

До акустичних характеристик емоційних станів відношення формант у голосних звуках, тривалість вимови фонем та пауз.

Екстралінгвістичними ознаками є наявність специфічних подій, таких як зітхання, плач, сміх, кашель та ін. Такі ознаки дуже чітко характеризують певні множини емоцій, але наявність цих ознак не є обов’язковою, тому вони виступають допоміжними характеристиками.

Складність для класифікації представляють ділянки, що містять екстралінгвістичні фрагменти (через неможливість системи ідентифікувати диктора таких голосових дій) та просодичні характеристики (через ручну розмітку аудіоматеріалу).