[공부] Stereo Matching: 원리부터 고전 알고리즘, 학습 기반, Foundation Model까지
disparity 기하 원리, SGM(SGBM), cost volume CNN과 RAFT/IGEV, FoundationStereo까지 stereo matching 방법론 총정리
disparity 기하 원리, SGM(SGBM), cost volume CNN과 RAFT/IGEV, FoundationStereo까지 stereo matching 방법론 총정리
7B ViT와 Gram anchoring으로 dense feature 붕괴를 잡고 frozen backbone만으로 종합 SOTA를 달성한 SSL foundation model
curated LVD-142M 데이터와 개선된 iBOT 기반 recipe로 ViT-g(1.1B)를 학습하고 distillation로 전파해 OpenCLIP를 넘어선 범용 visual feature
label 없는 self-distillation로 ViT를 학습해 attention map에 segmentation이 창발하고 k-NN 분류 78.3%에 도달하는 DINO
noun phrase와 exemplar prompt로 concept의 모든 instance를 검출·분할·추적하는 promptable concept segmentation 모델 SAM 3 논문 리뷰
1M 합성 데이터셋과 monocular prior 적응, disparity transformer로 zero-shot stereo matching을 실현한 논문 리뷰
3DGS novel view 렌더링과 EfficientSAM zero-shot 분할로 재배치된 물체의 3D mask와 6D pose 변화를 추정하는 change detection 논문 리뷰
SE(3)-equivariant 표현 하나로 시간차 scan의 instance matching·registration·reconstruction을 함께 푸는 MoRE² 논문 리뷰
P3P부터 DLT, EPnP, IPPE, SQPnP까지 자주 쓰이는 PnP 풀이법의 원리와 정확도·복잡도 비교
CAD model 유무와 무관하게 novel object의 6D pose estimation과 tracking을 하나의 framework로 통합한 FoundationPose 논문 리뷰
기준 view를 없애고 permutation-equivariant 구조로 affine-invariant pose와 scale-invariant point map을 예측하는 π³ 논문 리뷰
이미지와 선택적 geometric 입력에서 factored representation으로 metric 3D를 직접 회귀하는 통합 feed-forward 모델 MapAnything 논문 리뷰
camera·depth map·point map·3D point track을 단일 feed-forward transformer의 forward 한 번으로 예측하는 3D vision 통합 모델 VGGT 논문 리뷰
optical flow로 model-to-frame과 frame-to-frame registration을 결합해 unseen object의 6DoF pose를 정제·추적하는 GoTrack 논문 리뷰
기존 tracker들을 teacher로 삼아 real video에 pseudo-label을 달고 1,000배 적은 데이터로 SOTA를 넘는 단순화된 point tracker CoTracker3 논문 리뷰
track 간 attention과 support point로 여러 점을 jointly 추적해 occlusion에 강한 transformer 기반 point tracker CoTracker 논문 리뷰
depth와 ray map을 최소 prediction target으로 삼아 plain transformer 하나로 any-view geometry를 통일한 Depth Anything 3 논문 리뷰
실측 label을 전부 synthetic 이미지로 바꾸고 62M pseudo-labeled 실사 이미지로 증류해 정밀도와 robustness를 함께 잡은 Depth Anything V2 논문 리뷰
62M unlabeled 이미지 self-training과 DINOv2 feature alignment로 만든 zero-shot MDE foundation model, Depth Anything 논문 리뷰
matching을 3D 문제로 정식화해 DUSt3R에 local feature head와 InfoNCE loss를 더하고 Map-free localization에서 30%p 개선을 이룬 MASt3R 논문 리뷰
카메라 calibration도 pose도 없이 이미지 쌍에서 pointmap을 직접 회귀해, depth·대응·pose·3D 복원까지 기하 3D 비전 과제 전체를 하나의 모델로 푸는 DUSt3R 논문 리뷰
SAM 기반 ISM과 background token point matching의 PEM으로 zero-shot 6D pose를 구하는 SAM-6D 논문 리뷰
기준점·측정점을 잇는 최적 rigid transform (R, t)을 SVD 한 번으로 구하는 Kabsch 알고리즘
volume rendering의 NeRF와 rasterization의 3DGS, 신경망 기반 연속 표현 비교
부호 거리로 표면을 담는 TSDF와 삼각형 mesh를 뽑아내는 Marching Cubes
outlier 필터와 voxel downsampling으로 point cloud를 다듬는 전처리 기법
SfM(incremental·bundle adjustment)과 MVS로 이어지는 전통 3D reconstruction 파이프라인
카메라 투영 모델·calibration·epipolar geometry·RANSAC·triangulation까지, 두 시점 3D 복원의 기하학
기초 기하학부터 point cloud·voxel·mesh, NeRF·3DGS까지 이어지는 3D Reconstruction 학습 트리
CAD·참조 이미지만으로 novel object의 6DoF를 추정하는 FoundationPose와 SAM-6D
ICP·FPFH+RANSAC·TEASER++로 관측 point cloud를 모델에 정합하는 registration 기반 6DoF 추정
fiducial marker와 PnP 풀이법(P3P·EPnP·IPPE), 평면 pose ambiguity, template 기반 LINEMOD까지 전통 기하 기반 6DoF 추정
로봇 매니퓰레이션을 위한 6DoF pose 추정의 필요성과 마커·점 정합·모델 기반 세 갈래 방법론 개요
7B ViT와 Gram anchoring으로 dense feature 붕괴를 잡고 frozen backbone만으로 종합 SOTA를 달성한 SSL foundation model
curated LVD-142M 데이터와 개선된 iBOT 기반 recipe로 ViT-g(1.1B)를 학습하고 distillation로 전파해 OpenCLIP를 넘어선 범용 visual feature
label 없는 self-distillation로 ViT를 학습해 attention map에 segmentation이 창발하고 k-NN 분류 78.3%에 도달하는 DINO
noun phrase와 exemplar prompt로 concept의 모든 instance를 검출·분할·추적하는 promptable concept segmentation 모델 SAM 3 논문 리뷰
단기 dynamics와 장기 변화를 object fragment factorization으로 통합해 실시간 4D spatio-temporal map을 만드는 Khronos 논문 리뷰
point-to-plane과 point-to-point residual을 평면성 비율 기반 adaptive weight로 결합해 복도 degeneracy에 강건한 LiDAR odometry 논문 리뷰
1M 합성 데이터셋과 monocular prior 적응, disparity transformer로 zero-shot stereo matching을 실현한 논문 리뷰
3DGS novel view 렌더링과 EfficientSAM zero-shot 분할로 재배치된 물체의 3D mask와 6D pose 변화를 추정하는 change detection 논문 리뷰
SE(3)-equivariant 표현 하나로 시간차 scan의 instance matching·registration·reconstruction을 함께 푸는 MoRE² 논문 리뷰
CAD model 유무와 무관하게 novel object의 6D pose estimation과 tracking을 하나의 framework로 통합한 FoundationPose 논문 리뷰
기준 view를 없애고 permutation-equivariant 구조로 affine-invariant pose와 scale-invariant point map을 예측하는 π³ 논문 리뷰
이미지와 선택적 geometric 입력에서 factored representation으로 metric 3D를 직접 회귀하는 통합 feed-forward 모델 MapAnything 논문 리뷰
camera·depth map·point map·3D point track을 단일 feed-forward transformer의 forward 한 번으로 예측하는 3D vision 통합 모델 VGGT 논문 리뷰
optical flow로 model-to-frame과 frame-to-frame registration을 결합해 unseen object의 6DoF pose를 정제·추적하는 GoTrack 논문 리뷰
기존 tracker들을 teacher로 삼아 real video에 pseudo-label을 달고 1,000배 적은 데이터로 SOTA를 넘는 단순화된 point tracker CoTracker3 논문 리뷰
track 간 attention과 support point로 여러 점을 jointly 추적해 occlusion에 강한 transformer 기반 point tracker CoTracker 논문 리뷰
depth와 ray map을 최소 prediction target으로 삼아 plain transformer 하나로 any-view geometry를 통일한 Depth Anything 3 논문 리뷰
실측 label을 전부 synthetic 이미지로 바꾸고 62M pseudo-labeled 실사 이미지로 증류해 정밀도와 robustness를 함께 잡은 Depth Anything V2 논문 리뷰
62M unlabeled 이미지 self-training과 DINOv2 feature alignment로 만든 zero-shot MDE foundation model, Depth Anything 논문 리뷰
matching을 3D 문제로 정식화해 DUSt3R에 local feature head와 InfoNCE loss를 더하고 Map-free localization에서 30%p 개선을 이룬 MASt3R 논문 리뷰
카메라 calibration도 pose도 없이 이미지 쌍에서 pointmap을 직접 회귀해, depth·대응·pose·3D 복원까지 기하 3D 비전 과제 전체를 하나의 모델로 푸는 DUSt3R 논문 리뷰
attention의 병목을 FLOPs가 아닌 HBM 접근으로 규정하고 tiling·recomputation으로 O(N) 메모리의 exact attention을 구현한 FlashAttention 논문 리뷰
SAM 기반 ISM과 background token point matching의 PEM으로 zero-shot 6D pose를 구하는 SAM-6D 논문 리뷰
clipped surrogate objective로 TRPO의 안정성을 1차 최적화만으로 달성한 PPO 논문 리뷰
상관을 모르는 두 추정치를 합칠 때 정보 덧셈이 무너지는 이유, Covariance Intersection의 식·consistency 증명·ω 선택, Split CI와 ICI, SE(3) pose fusion 적용
SE(3)의 exp/log와 접공간 Gaussian, left/right perturbation, adjoint 기반 covariance 전파, error-state KF, 6DoF pose fusion
Bayes filter에서 Kalman filter 유도, Kalman gain의 정보 가중 평균 해석, information filter의 덧셈 update와 다중 센서 fusion, EKF consistency
covariance와 information matrix의 이중성, least squares Hessian이 곧 information matrix인 이유(Laplace 근사, Fisher 정보)
disparity 기하 원리, SGM(SGBM), cost volume CNN과 RAFT/IGEV, FoundationStereo까지 stereo matching 방법론 총정리
P3P부터 DLT, EPnP, IPPE, SQPnP까지 자주 쓰이는 PnP 풀이법의 원리와 정확도·복잡도 비교
기준점·측정점을 잇는 최적 rigid transform (R, t)을 SVD 한 번으로 구하는 Kabsch 알고리즘
volume rendering의 NeRF와 rasterization의 3DGS, 신경망 기반 연속 표현 비교
부호 거리로 표면을 담는 TSDF와 삼각형 mesh를 뽑아내는 Marching Cubes
outlier 필터와 voxel downsampling으로 point cloud를 다듬는 전처리 기법
SfM(incremental·bundle adjustment)과 MVS로 이어지는 전통 3D reconstruction 파이프라인
카메라 투영 모델·calibration·epipolar geometry·RANSAC·triangulation까지, 두 시점 3D 복원의 기하학
기초 기하학부터 point cloud·voxel·mesh, NeRF·3DGS까지 이어지는 3D Reconstruction 학습 트리
CAD·참조 이미지만으로 novel object의 6DoF를 추정하는 FoundationPose와 SAM-6D
ICP·FPFH+RANSAC·TEASER++로 관측 point cloud를 모델에 정합하는 registration 기반 6DoF 추정
fiducial marker와 PnP 풀이법(P3P·EPnP·IPPE), 평면 pose ambiguity, template 기반 LINEMOD까지 전통 기하 기반 6DoF 추정
로봇 매니퓰레이션을 위한 6DoF pose 추정의 필요성과 마커·점 정합·모델 기반 세 갈래 방법론 개요
상관을 모르는 두 추정치를 합칠 때 정보 덧셈이 무너지는 이유, Covariance Intersection의 식·consistency 증명·ω 선택, Split CI와 ICI, SE(3) pose fusion 적용
SE(3)의 exp/log와 접공간 Gaussian, left/right perturbation, adjoint 기반 covariance 전파, error-state KF, 6DoF pose fusion
Bayes filter에서 Kalman filter 유도, Kalman gain의 정보 가중 평균 해석, information filter의 덧셈 update와 다중 센서 fusion, EKF consistency
covariance와 information matrix의 이중성, least squares Hessian이 곧 information matrix인 이유(Laplace 근사, Fisher 정보)
단기 dynamics와 장기 변화를 object fragment factorization으로 통합해 실시간 4D spatio-temporal map을 만드는 Khronos 논문 리뷰
point-to-plane과 point-to-point residual을 평면성 비율 기반 adaptive weight로 결합해 복도 degeneracy에 강건한 LiDAR odometry 논문 리뷰
clipped surrogate objective로 TRPO의 안정성을 1차 최적화만으로 달성한 PPO 논문 리뷰
attention의 병목을 FLOPs가 아닌 HBM 접근으로 규정하고 tiling·recomputation으로 O(N) 메모리의 exact attention을 구현한 FlashAttention 논문 리뷰