Áp dụng các mô hình học sâu trong nhận dạng âm thanh

Việc áp dụng các mô hình học sâu trong nhận dạng âm thanh đã tạo thành một khuôn khổ kỹ thuật toàn diện.Thu thập các tính năng âm thanh đa kịch bản và hiểu ngữ nghĩa thông qua học tập từ đầu đến cuốiSau đây là các hướng ứng dụng kỹ thuật chính và kiến trúc mô hình điển hình:

• Sử dụng CNNs để tự động học các tính năng địa phương (như cấu trúc hài hòa và các chất tạo thành) từ mel-spectrograms, thay thế kỹ thuật tính năng thủ công truyền thống bằng cách sử dụng MFCC,Cách tiếp cận này cải thiện độ chính xác phân loại 27% trong môi trường ồn ào trên bộ dữ liệu UrbanSound8K.
• Các mô hình nhẹ như MobileNetV3, sử dụng các vòng cong có thể tách theo chiều sâu và các mô-đun chú ý PSA, đạt được độ chính xác nhận dạng âm thanh chim top-5 100% chỉ với các tham số 2,6M.

• Kiến trúc lai CRNN (CNN + BiLS TM) đồng thời nắm bắt các đặc điểm quang phổ và sự phụ thuộc về thời gian của các sự kiện âm thanh, đạt điểm F1 là 92.3% để phát hiện các sự kiện đột ngột như vỡ kính.
• Transformer sử dụng một cơ chế tự chú ý để xử lý các chuỗi âm thanh dài, đạt được độ chính xác hơn 99% trong việc phân loại tiếng khóc của trẻ sơ sinh vì đói và đau.

• Fusion đa phương thức: Việc đào tạo chung của mô hình hình ảnh YOLOv8 và mạng âm thanh LSTM đồng thời phân tích chuyển động của trẻ sơ sinh và tần suất khóc, giảm 38% kết quả dương tính giả.
• Việc triển khai nhẹ: Các chip như WT2605A tích hợp các động cơ suy luận DNN, giảm mức tiêu thụ năng lượng của mô-đun nhận dạng dấu giọng nói xuống còn 15mW.

(Lưu ý: Các con số tham chiếu trong bảng được chỉ ra bên ngoài bảng.)