Tümyönlü Stereoskopik Videonun Verimli Eldesi ve Akışı

Abstract

Tümyönlü kameralar, sanal gerçeklik başlıkları ve GPU‟lar gibi cihazlardaki teknolojik gelişmeler, tümyönlü videoların yaygınlaşmasına olanak sağlamaktadır. Tümyönlü videoların algılanan kalitesini iyileştirmek için, sağ ve sol göze ayrı ayrı oluşturulan görüntülerle stereoskopi sağlanması büyük önem taşımaktadır. Perspektif videolarda stereoskopinin oluşturulması görece kolay olsa da, tümyönlü videolarda bu işlem çok daha karmaşık bir sorundur. Bu nedenle literatürde genellikle çok sayıda düşük görüş açılı kamera içeren ve yüksek maliyetli sistemler öne sürülmektedir. Bu tez kapsamında, üç adet tümyönlü kamera kullanılarak stereoskopinin maliyet ve işlem gücü bakımından verimli bir şekilde elde edilmesi amacıyla bir çalışma gerçekleştirilmiştir. Bu yaklaşımda, stereoskopinin elde edilebilmesi için izleme yönüne göre seçilen kameraların çıktıları örneklenip harmanlandığı bir tasarım uygulanmıştır. Ardından, söz konusu tasarıma göre tümyönlü kamera sistemlerinde dezavantajlı olduğu görülen interpolasyon ve kalibrasyon konularında kalite iyileştirme adımları geliştirilmiştir. Önerilen interpolasyon yöntemi, görüş açısı ve hedef projeksiyon yönteminden bağımsız bir arama tablosu oluşturulmasına olanak tanıyarak, önceki yaklaşımlara kıyasla daha başarılı sonuçlar elde etmiştir. Ayrıca, çok sayıda tümyönlü kamera içeren sistemlerin LCD ekran yardımıyla kalibrasyonunun gerçekleştirildiği önerilen teknik sayesinde, kameraların içsel ve dışsal parametreleri elde edilmiştir. Son olarak, üç kameralı tasarım kalite iyileştirme adımlarıyla bütünleştirilmiş ve verimli video akışına uyumlu hâle gelecek şekilde geliştirilmiştir.Technological advances in devices such as omnidirectional cameras, virtual reality headsets, and GPUs have enabled the widespread adoption of omnidirectional video. In order to improve the perceived quality of omnidirectional video, it is crucial to implement stereoscopy, which provides separate images for the left and right eyes. While creating stereoscopy in perspective video is relatively straightforward, it becomes a significantly more complex problem for omnidirectional video. Consequently, the literature commonly proposes high-cost systems employing multiple low field-of-view cameras. In this dissertation, a study is carried out to obtain stereoscopy in an efficient manner in terms of cost and processing by using three omnidirectional cameras. In this approach, a design is realized in which the outputs of the cameras selected according to the viewing direction are sampled and blended to generate stereoscopy. Subsequently, based on this design, quality improvement steps are proposed to address the disadvantages observed in interpolation and calibration for omnidirectional camera systems. The proposed interpolation method outperforms existing approaches by generating a lookup table independent of viewing angle and target projection type. Furthermore, with the proposed calibration technique for multi-camera systems using an LCD screen, the intrinsic and extrinsic parameters of the cameras are obtained. Finally, the three-camera design is integrated with the developed quality enhancements and refined to accommodate efficient video streaming.