Real-Time Face Tracking with HMDs — A Feasibility StudyHMD ile Gerçek Zamanlı Yüz Takibi — Bir Fizibilite Çalışması
Research · Erasmus+ internship at the University of Salerno (UNISA)Araştırma · Salerno Üniversitesi'nde (UNISA) Erasmus+ stajı
A feasibility study on tracking the faces of the people around an HMD user in real time — on a Varjo XR3, with Unity/Unreal and OpenCV, dlib and VGG Face. I concluded it wasn't feasible at the time due to hardware support and integration constraints: a research attempt that targeted a real gap in the literature and ended with an honest answer.Varjo XR3 ile etraftaki kişilerin yüzünü gerçek zamanlı takip etmenin fizibilitesini araştırdım (Unity/Unreal + OpenCV, dlib, VGG Face). Donanım desteği ve entegrasyon kısıtları nedeniyle o dönem için fizibil olmadığı sonucuna vardım — literatürdeki bir boşluğu hedefleyen, dürüst sonuçlanan bir araştırma denemesi.
- Almost all existing literature tracks the HMD user's own face; tracking the people around the user was largely unexplored. That gap was the target.Mevcut literatürün neredeyse tamamı HMD kullanıcısının kendi yüzünü takip etmeye odaklanıyor; kullanıcının etrafındaki kişileri takip etme tarafı büyük ölçüde boştu. Hedefim bu boşluktu.
- Tested three approaches: dlib failed on hardware incompatibility; OpenCV detected faces fine on the Python side but hit serious performance and compatibility problems when synced with Unity/Unreal; VGG Face was the strongest on paper, but the same integration issues made it impractical too.Üç yaklaşım denedim: dlib donanım uyumsuzluğu yüzünden çalışmadı; OpenCV Python tarafında yüzleri başarıyla tespit etti ama Unity/Unreal ile senkronize etmeye çalıştığımda ciddi performans ve uyumluluk sorunları çıktı; VGG Face kâğıt üzerinde en güçlüsüydü ama aynı entegrasyon sorunları onu da pratikte kullanılamaz hale getirdi.
- Concluded it wasn't feasible then — the Varjo SDK didn't support face tracking directly, expert resources were limited, and EU research and data constraints applied. Together with my mentors, we answered "why doesn't this work" clearly and laid the groundwork for future studies.Varjo SDK'sinin yüz takibini doğrudan desteklememesi, sınırlı uzmanlık kaynakları ve AB'nin bu alandaki araştırma/veri kısıtları nedeniyle projenin o dönem için fizibil olmadığı sonucuna vardık. Mentorlarımla birlikte "bu neden çalışmıyor" sorusuna net bir cevap verdik ve gelecek çalışmalara zemin hazırladık.
- My thanks to Prof. Alessandro Naddeo, Dr. Carlotta Fontana, PhD researcher Alfonso Magliano, and the whole team.Prof. Alessandro Naddeo'ya, Dr. Carlotta Fontana'ya, doktora araştırmacısı Alfonso Magliano'ya ve tüm ekibe teşekkür ederim.