Ana Sayfa › Forumlar › Otonom Sürüş, ADAS & Araç İçi Yazılımlar › Otonom Sürüş Seviyeleri & Sürüş Destek Sistemleri › LiDAR, radar ve kamerayı birleştirince sensör füzyonunda zamanlama işini nasıl hallediyorsunuz? Eşkronizasyon can sıkıcı
- Bu konu 1 yanıt içerir, 2 izleyen vardır ve en son 1 hafta 3 gün önce
Jale Göksu tarafından güncellenmiştir.
-
YazarYazılar
-
Ekim 25, 2026: 4:04 am #86215
Koray NamlıÜyeArkadaşlar merhaba, son zamanlarda otonom sürüş/robot projemde LiDAR + milimeter-wave radar + RGB kamera üçlüsünü birbirine bağlamaya çalışıyorum. Teoride mantıklı görünüyor ama sahada en büyük headacı zamanlama işinde yiyorum. LiDAR 10 Hz’de, radar 20 Hz’de, kamera 30 Hz’de çalışıyor ve hepsi ayrı ayrı clock’a sahip. Bir frame’i füzyona sokmadan önce timestamp’leri nasıl hizalıyorsunuz?
En çok canımı yanatan konu da bu: sensörlerin hepsi farklı zaman damgası taşıyınca, mesela bir nesneyi track ederken LiDAR’dan gelen nokta bulutu ile kameradan gelen bounding box birkaç milisaniye kayabiliyor. Bu kayma füzyon sonucunda nesne pozisyonunu uyduruyor, track’ler sıçrayıyor. Ayrıca her sensörün kendi belirsizliği (covariance) farklı, bunları birleştirirken ağırlıkları nasıl tayin ediyorsunuz? Kalman filtresi kullanan var mı, yoksa direkt bir association sonrası weighted average mı yapıyorsunuz? Tecrübe paylaşan olur mu?
"Basınçlı Fren Hidroliği Değiştirme Cihazı (Eezibleed) ile hava yapmadan tek başına tahliye."Kasım 11, 2026: 8:50 pm #94003
Jale GöksuÜyeReis selamlar, bu işin başındaki herkesin yediği bir tabak aslında, merak etme. İşin aslı iki katmanda çözülüyor: biri zaman, biri belirsizlik.
Önce senkronizasyondan başlayayım. Zaman damgası konusunda iki yol var, ikisini birden yapmak en sağlıklısı. Birincisi hardware trigger: LiDAR’ı master yapıp radar ve kamerayı optik trigger ile o clock’a kilit. Yazılımda timestamp offset’ini düzeltmek için her sensörde bir NTP/PTP sync veya en kolayı bir Arduino ile tüm sensörlere ortak bir 1PPS + IRQ sinyali gönderip offset tablosu çıkarıyorsun. Bu olmazsa part time’da en azından her sensörü aynı ROS topic timestamp’ine yaklaştırmaya çalış, ama cross-sensor latency measure’ını mutlaka log’a yaz. Benim tecrübede en çok sattıği hileyse: her frame’i kaydetmeden önce bir ‘wall-clock reference’ checkpoint’ı al, sonra offline’da bu reference üzerinden interpolyon yap. Gerçek zamanlıda linear interp yeterli, 10-30 Hz aralıklarında quartik polynomial abartılır.
Kayma sorununa gelince, track’lerin sıçraması genelde association yerine geç frame’leri direkt merge ettiğinden oluyor. Frame’i bir iki step geri al, nesneyi kinematik modelle (constant velocity veya IA model) tahmin et, sonra o predicted pozisyona measure’ı eşle. Bu olmadan direkt current frame merge edersen tabii sıçrar.
Belirsizlik kısmı en güzeli burası. Sensörleri ağırlıklı ortalamaya almak yerine covariance’leri doğrudan füzyona sok. En pratik yol: her sensörün measurement covariance matrisini (LiDAR için point cloud variance, radar için RCS’e bağlı SNR-covariance, kamera için detection confidence veya Kalman’nın kendi cov) bir weight vektörüne çevir. Basit ama efektif yöntem her sensörün cov matrisinin determinantını alıp normalize etmek – yani belirsizliği düşük olan sensöre doğal olarak daha fazla oy veriyor. İstersen daha sağlam istersen Mahalanobis mesafeli association + covariance intersection (CI) kullan, bu farklı source’ların cross-correlation’ını bilmediğin durumlarda patlayan estimate’i önmeyi engeller. EKF/UKF’ye her sensörü ayrı measurement update olarak sokarsan covariance propagation’u otomatik halleder, manuel weight’la uğraşmazsın.
Özetleyeyim: hardware sync + offline offset correction ile zamanı çöz, track’lerde kinematik prediction ile eşleme yap, belirsizlik için de covariance’leri füzyona direkt sok (CI ya da cov-det normalize). Bunlar oturmadan weight tayiniyle uğraşma, önce align et. Deneme yaparken cross-correlation plotları ile association accuracy’yi loglayıp hangi sensörün ne kadar katkısı olduğunu görürsün, sonra o weight’ları finetune edersin.
"────────────────────────────────────────""Hız tutkudur, ama güvenlik ve fren disiplini bir sanattır." -
YazarYazılar
- Bu konuyu yanıtlamak için giriş yapmış olmalısınız.
