Touch Gestures Classification by Deep Learning Methods

Abstract

In this study, we carried out social touch gesture classification on two publicly available datasets, Corpus of Social Touch (CoST) and Human-Animal Affective Robot Touch (HAART), and our demo dataset. In order to classify touch gesture datasets, four different models are proposed: 3-dimensional convolutional neural network (3D-CNN), 3-dimensional convolutional-long term short term memory neural network (3D-CNNLSTM), 3-dimensional convolutional-bidirectional long term short term memory neural network (3D-CNN-BiLSTM) + and 3-dimensional convolutional transformers network (3D-CNN-Transformer). The fundamental layer of the proposed deep neural network architectures is 3-dimensional convolution layer that enables to extract spatio-temporal features of touch gestures. In this regard, with the use of spatio-temporal features of touch gestures, generalization performance of proposed four models have been improved using data augmentation techniques by applying randomly shift and rotation, and ensemble learning. Additionally, We also found out that Stochastic Gradient Descent (SGD) optimization algorithm has better generalization performance than Adaptive Moment Estimation (ADAM), which is used more frequently in deep learning. The accuracy of classification results of three dataset is investigated in terms of proposed model. The results showed that the proposed methods, especially ensemble classifier and the ensemble classifier with data augmentation, are beneficial for obtaining more generalizable learning algorithms. The scripts of deep neural network architecture are available upon request.

Bu çalışmada, açık erişime sahip iki veri seti, Corpus of Social Touch (CoST) ve Human-Animal Affective Robot Touch (HAART) ve oluşturduğumuz veri seti üzerinde sosyal dokunma hareketi sınıflandırması gerçekleştirdik. Dokunma hareketi veri setlerini sınıflandırmak için dört farklı model önerilmiştir: 3 boyutlu evrişimli sinir ağı (3D-CNN), 3 boyutlu evrişimli uzun süreli kısa süreli bellek sinir ağı (3D-CNN-LSTM), 3 boyutlu evrişimli çift yönlü uzun süreli kısa süreli bellek sinir ağı (3D-CNN-BiLSTM) ve 3 boyutlu evrişimli dönüştürücü ağı (3D-CNN-Transformer). Önerilen derin sinir ağı mimarilerinin temel katmanı, dokunma hareketlerinin uzamsal-zamansal özniteliklerini çıkarmayı sağlayan 3 boyutlu evrişim katmanıdır. Bu bağlamda, dokunma hareketlerinin uzamsalzamansal özelliklerinin kullanılmasıyla, önerilen dört modelin genelleme performansı, rassal olarak uygulanan dönme ve öteleme gibi veri artırma teknikleri ve toplu öğrenme kullanılarak geliştirilmiştir. Ek olarak, Stokastik Gradyan İniş (SGD) optimizasyon algoritmasının, derin öğrenmede daha sık kullanılan Uyarlamalı Moment Tahmini (ADAM) algoritmasından daha iyi genelleme performansına sahip olduğu sonucuna ulaştık. Üç veri kümesinin sınıflandırma sonuçlarının doğruluğu önerilen modeller ışığında araştırılmıştır. Sonuçlar, önerilen metodların, özellikle toplu sınıflandırıcı ve veri büyütmeli topluluk sınıflandırıcı algoritmalarının, daha genelleştirilebilir öğrenme algoritmaları elde etmek için faydalı olduğunu göstermiştir. Derin öğrenme mimarilerinin kod betik dosyası istek üzerine temin edilebilir.