Öne çıkanYayında
CoSigning
Amerikan İşaret Dili (ASL) ile konuşma arasında çift yönlü bir çeviri platformu.
Problem
İşitme engelli bireyler, işaret dili bilmeyen kişilerle günlük iletişimde zorluk yaşıyor.
Çözüm
Konuşmadan işarete: site söylenen cümleyi yakalayıp metne çevirir ve her işaretin videosunu sırayla oynatır. İşaretten konuşmaya: derin öğrenmeye dayalı bir Transformer modeli kamera ya da yüklenen videoyu analiz eder; MediaPipe ile el ve vücut hareketlerini, ViT ile görsel özellikleri çıkarır ve işaretleri sesli okunan İngilizce bir cümleye dönüştürür.
Rolüm
TÜBİTAK 2209-A kapsamında desteklenen bir proje. Platformu baştan sona geliştirdim ve işaret tanımada yaklaşık %94 doğruluğa ulaştım.
- Python
- PyTorch
- Vision Transformer (ViT)
- MediaPipe
- OpenCV
- FastAPI
- JavaScript
- Web Speech API
- HTML
- CSS
