[논문리뷰] Grounding Image Matching in 3D with MASt3R (ECCV 2024)
matching을 3D 문제로 정식화해 DUSt3R에 local feature head와 InfoNCE loss를 더하고 Map-free localization에서 30%p 개선을 이룬 MASt3R 논문 리뷰
Tags
- 3D Reconstruction 8
- 6DoF pose estimation 4
- robot vision 3
- zero-shot 3
- SAM-6D 2
- MVS 2
- Transformer 2
- DUSt3R 2
- manipulation 1
- AprilTag 1
- ArUco 1
- PnP 1
- LINEMOD 1
- point cloud registration 1
- ICP 1
- FPFH 1
- TEASER++ 1
- FoundationPose 1
- foundation model 1
- PPO 1
- reinforcement learning 1
- policy gradient 1
- TRPO 1
- camera calibration 1
- epipolar geometry 1
- feature matching 1
- RANSAC 1
- triangulation 1
- SfM 1
- bundle adjustment 1
- COLMAP 1
- point cloud 1
- outlier removal 1
- downsampling 1
- TSDF 1
- voxel 1
- marching cubes 1
- mesh 1
- NeRF 1
- 3D Gaussian Splatting 1
- novel view synthesis 1
- Kabsch 1
- calibration 1
- point set registration 1
- SVD 1
- 6D pose estimation 1
- SAM 1
- point matching 1
- FlashAttention 1
- attention 1
- GPU 1
- tiling 1
- pointmap 1
- MASt3R 1
- image matching 1
- visual localization 1
- Depth Anything 1
- monocular depth estimation 1
- self-training 1
- semi-supervised learning 1
- DINOv2 1
3D Reconstruction
[논문리뷰] DUSt3R: Geometric 3D Vision Made Easy (CVPR 2024)
카메라 calibration도 pose도 없이 이미지 쌍에서 pointmap을 직접 회귀해, depth·대응·pose·3D 복원까지 기하 3D 비전 과제 전체를 하나의 모델로 푸는 DUSt3R 논문 리뷰
[공부] 3D Reconstruction ⑤ 신경망 기반 표현: NeRF vs 3DGS
volume rendering의 NeRF와 rasterization의 3DGS, 신경망 기반 연속 표현 비교
[공부] 3D Reconstruction ④ voxel·volume 표현: TSDF와 Marching Cubes
부호 거리로 표면을 담는 TSDF와 삼각형 mesh를 뽑아내는 Marching Cubes
[공부] 3D Reconstruction ③ point cloud: 노이즈 제거와 downsampling
outlier 필터와 voxel downsampling으로 point cloud를 다듬는 전처리 기법
[공부] 3D Reconstruction ② SfM·MVS: 이미지 뭉치에서 dense 3D까지, 전통 파이프라인
SfM(incremental·bundle adjustment)과 MVS로 이어지는 전통 3D reconstruction 파이프라인
[공부] 3D Reconstruction ① 기초 기하학: camera calibration과 다중 시점 기하학
카메라 투영 모델·calibration·epipolar geometry·RANSAC·triangulation까지, 두 시점 3D 복원의 기하학
[공부] 로봇 비전을 위한 3D Reconstruction: 학습 로드맵
기초 기하학부터 point cloud·voxel·mesh, NeRF·3DGS까지 이어지는 3D Reconstruction 학습 트리
6DoF pose estimation
[공부] Model-based Zero-shot 6DoF 추정: FoundationPose & SAM-6D
CAD·참조 이미지만으로 novel object의 6DoF를 추정하는 FoundationPose와 SAM-6D
[공부] point cloud 정합 기반 6DoF 추정: ICP, FPFH, TEASER++
ICP·FPFH+RANSAC·TEASER++로 관측 point cloud를 모델에 정합하는 registration 기반 6DoF 추정
[공부] 마커 & 기하 기반 6DoF 추정: fiducial marker, PnP, LINEMOD
fiducial marker와 PnP 풀이법(P3P·EPnP·IPPE), 평면 pose ambiguity, template 기반 LINEMOD까지 전통 기하 기반 6DoF 추정
[공부] 매니퓰레이터 조작을 위한 6DoF 포즈 추정: 개요와 방법론 분류
로봇 매니퓰레이션을 위한 6DoF pose 추정의 필요성과 마커·점 정합·모델 기반 세 갈래 방법론 개요
robot vision
[공부] 로봇 calibration을 위한 Kabsch 알고리즘: 기준점·측정점 정렬의 수학
기준점·측정점을 잇는 최적 rigid transform (R, t)을 SVD 한 번으로 구하는 Kabsch 알고리즘
[공부] 로봇 비전을 위한 3D Reconstruction: 학습 로드맵
기초 기하학부터 point cloud·voxel·mesh, NeRF·3DGS까지 이어지는 3D Reconstruction 학습 트리
[공부] 매니퓰레이터 조작을 위한 6DoF 포즈 추정: 개요와 방법론 분류
로봇 매니퓰레이션을 위한 6DoF pose 추정의 필요성과 마커·점 정합·모델 기반 세 갈래 방법론 개요
zero-shot
[논문리뷰] Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data (CVPR 2024)
62M unlabeled 이미지 self-training과 DINOv2 feature alignment로 만든 zero-shot MDE foundation model, Depth Anything 논문 리뷰
[논문리뷰] SAM-6D: Segment Anything Model Meets Zero-Shot 6D Object Pose Estimation (CVPR 2024)
SAM 기반 ISM과 background token point matching의 PEM으로 zero-shot 6D pose를 구하는 SAM-6D 논문 리뷰
[공부] Model-based Zero-shot 6DoF 추정: FoundationPose & SAM-6D
CAD·참조 이미지만으로 novel object의 6DoF를 추정하는 FoundationPose와 SAM-6D
SAM-6D
[논문리뷰] SAM-6D: Segment Anything Model Meets Zero-Shot 6D Object Pose Estimation (CVPR 2024)
SAM 기반 ISM과 background token point matching의 PEM으로 zero-shot 6D pose를 구하는 SAM-6D 논문 리뷰
[공부] Model-based Zero-shot 6DoF 추정: FoundationPose & SAM-6D
CAD·참조 이미지만으로 novel object의 6DoF를 추정하는 FoundationPose와 SAM-6D
MVS
[논문리뷰] DUSt3R: Geometric 3D Vision Made Easy (CVPR 2024)
카메라 calibration도 pose도 없이 이미지 쌍에서 pointmap을 직접 회귀해, depth·대응·pose·3D 복원까지 기하 3D 비전 과제 전체를 하나의 모델로 푸는 DUSt3R 논문 리뷰
[공부] 3D Reconstruction ② SfM·MVS: 이미지 뭉치에서 dense 3D까지, 전통 파이프라인
SfM(incremental·bundle adjustment)과 MVS로 이어지는 전통 3D reconstruction 파이프라인
Transformer
[논문리뷰] DUSt3R: Geometric 3D Vision Made Easy (CVPR 2024)
카메라 calibration도 pose도 없이 이미지 쌍에서 pointmap을 직접 회귀해, depth·대응·pose·3D 복원까지 기하 3D 비전 과제 전체를 하나의 모델로 푸는 DUSt3R 논문 리뷰
[논문리뷰] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (NeurIPS 2022)
attention의 병목을 FLOPs가 아닌 HBM 접근으로 규정하고 tiling·recomputation으로 O(N) 메모리의 exact attention을 구현한 FlashAttention 논문 리뷰
DUSt3R
[논문리뷰] Grounding Image Matching in 3D with MASt3R (ECCV 2024)
matching을 3D 문제로 정식화해 DUSt3R에 local feature head와 InfoNCE loss를 더하고 Map-free localization에서 30%p 개선을 이룬 MASt3R 논문 리뷰
[논문리뷰] DUSt3R: Geometric 3D Vision Made Easy (CVPR 2024)
카메라 calibration도 pose도 없이 이미지 쌍에서 pointmap을 직접 회귀해, depth·대응·pose·3D 복원까지 기하 3D 비전 과제 전체를 하나의 모델로 푸는 DUSt3R 논문 리뷰
manipulation
[공부] 매니퓰레이터 조작을 위한 6DoF 포즈 추정: 개요와 방법론 분류
로봇 매니퓰레이션을 위한 6DoF pose 추정의 필요성과 마커·점 정합·모델 기반 세 갈래 방법론 개요
AprilTag
[공부] 마커 & 기하 기반 6DoF 추정: fiducial marker, PnP, LINEMOD
fiducial marker와 PnP 풀이법(P3P·EPnP·IPPE), 평면 pose ambiguity, template 기반 LINEMOD까지 전통 기하 기반 6DoF 추정
ArUco
[공부] 마커 & 기하 기반 6DoF 추정: fiducial marker, PnP, LINEMOD
fiducial marker와 PnP 풀이법(P3P·EPnP·IPPE), 평면 pose ambiguity, template 기반 LINEMOD까지 전통 기하 기반 6DoF 추정
PnP
[공부] 마커 & 기하 기반 6DoF 추정: fiducial marker, PnP, LINEMOD
fiducial marker와 PnP 풀이법(P3P·EPnP·IPPE), 평면 pose ambiguity, template 기반 LINEMOD까지 전통 기하 기반 6DoF 추정
LINEMOD
[공부] 마커 & 기하 기반 6DoF 추정: fiducial marker, PnP, LINEMOD
fiducial marker와 PnP 풀이법(P3P·EPnP·IPPE), 평면 pose ambiguity, template 기반 LINEMOD까지 전통 기하 기반 6DoF 추정
point cloud registration
[공부] point cloud 정합 기반 6DoF 추정: ICP, FPFH, TEASER++
ICP·FPFH+RANSAC·TEASER++로 관측 point cloud를 모델에 정합하는 registration 기반 6DoF 추정
ICP
[공부] point cloud 정합 기반 6DoF 추정: ICP, FPFH, TEASER++
ICP·FPFH+RANSAC·TEASER++로 관측 point cloud를 모델에 정합하는 registration 기반 6DoF 추정
FPFH
[공부] point cloud 정합 기반 6DoF 추정: ICP, FPFH, TEASER++
ICP·FPFH+RANSAC·TEASER++로 관측 point cloud를 모델에 정합하는 registration 기반 6DoF 추정
FoundationPose
[공부] Model-based Zero-shot 6DoF 추정: FoundationPose & SAM-6D
CAD·참조 이미지만으로 novel object의 6DoF를 추정하는 FoundationPose와 SAM-6D
foundation model
[공부] Model-based Zero-shot 6DoF 추정: FoundationPose & SAM-6D
CAD·참조 이미지만으로 novel object의 6DoF를 추정하는 FoundationPose와 SAM-6D
PPO
[논문리뷰] PPO: Proximal Policy Optimization Algorithms (2017)
clipped surrogate objective로 TRPO의 안정성을 1차 최적화만으로 달성한 PPO 논문 리뷰
reinforcement learning
[논문리뷰] PPO: Proximal Policy Optimization Algorithms (2017)
clipped surrogate objective로 TRPO의 안정성을 1차 최적화만으로 달성한 PPO 논문 리뷰
policy gradient
[논문리뷰] PPO: Proximal Policy Optimization Algorithms (2017)
clipped surrogate objective로 TRPO의 안정성을 1차 최적화만으로 달성한 PPO 논문 리뷰
TRPO
[논문리뷰] PPO: Proximal Policy Optimization Algorithms (2017)
clipped surrogate objective로 TRPO의 안정성을 1차 최적화만으로 달성한 PPO 논문 리뷰
camera calibration
[공부] 3D Reconstruction ① 기초 기하학: camera calibration과 다중 시점 기하학
카메라 투영 모델·calibration·epipolar geometry·RANSAC·triangulation까지, 두 시점 3D 복원의 기하학
epipolar geometry
[공부] 3D Reconstruction ① 기초 기하학: camera calibration과 다중 시점 기하학
카메라 투영 모델·calibration·epipolar geometry·RANSAC·triangulation까지, 두 시점 3D 복원의 기하학
feature matching
[공부] 3D Reconstruction ① 기초 기하학: camera calibration과 다중 시점 기하학
카메라 투영 모델·calibration·epipolar geometry·RANSAC·triangulation까지, 두 시점 3D 복원의 기하학
RANSAC
[공부] 3D Reconstruction ① 기초 기하학: camera calibration과 다중 시점 기하학
카메라 투영 모델·calibration·epipolar geometry·RANSAC·triangulation까지, 두 시점 3D 복원의 기하학
triangulation
[공부] 3D Reconstruction ① 기초 기하학: camera calibration과 다중 시점 기하학
카메라 투영 모델·calibration·epipolar geometry·RANSAC·triangulation까지, 두 시점 3D 복원의 기하학
SfM
[공부] 3D Reconstruction ② SfM·MVS: 이미지 뭉치에서 dense 3D까지, 전통 파이프라인
SfM(incremental·bundle adjustment)과 MVS로 이어지는 전통 3D reconstruction 파이프라인
bundle adjustment
[공부] 3D Reconstruction ② SfM·MVS: 이미지 뭉치에서 dense 3D까지, 전통 파이프라인
SfM(incremental·bundle adjustment)과 MVS로 이어지는 전통 3D reconstruction 파이프라인
COLMAP
[공부] 3D Reconstruction ② SfM·MVS: 이미지 뭉치에서 dense 3D까지, 전통 파이프라인
SfM(incremental·bundle adjustment)과 MVS로 이어지는 전통 3D reconstruction 파이프라인
point cloud
[공부] 3D Reconstruction ③ point cloud: 노이즈 제거와 downsampling
outlier 필터와 voxel downsampling으로 point cloud를 다듬는 전처리 기법
outlier removal
[공부] 3D Reconstruction ③ point cloud: 노이즈 제거와 downsampling
outlier 필터와 voxel downsampling으로 point cloud를 다듬는 전처리 기법
downsampling
[공부] 3D Reconstruction ③ point cloud: 노이즈 제거와 downsampling
outlier 필터와 voxel downsampling으로 point cloud를 다듬는 전처리 기법
TSDF
[공부] 3D Reconstruction ④ voxel·volume 표현: TSDF와 Marching Cubes
부호 거리로 표면을 담는 TSDF와 삼각형 mesh를 뽑아내는 Marching Cubes
voxel
[공부] 3D Reconstruction ④ voxel·volume 표현: TSDF와 Marching Cubes
부호 거리로 표면을 담는 TSDF와 삼각형 mesh를 뽑아내는 Marching Cubes
marching cubes
[공부] 3D Reconstruction ④ voxel·volume 표현: TSDF와 Marching Cubes
부호 거리로 표면을 담는 TSDF와 삼각형 mesh를 뽑아내는 Marching Cubes
mesh
[공부] 3D Reconstruction ④ voxel·volume 표현: TSDF와 Marching Cubes
부호 거리로 표면을 담는 TSDF와 삼각형 mesh를 뽑아내는 Marching Cubes
NeRF
[공부] 3D Reconstruction ⑤ 신경망 기반 표현: NeRF vs 3DGS
volume rendering의 NeRF와 rasterization의 3DGS, 신경망 기반 연속 표현 비교
3D Gaussian Splatting
[공부] 3D Reconstruction ⑤ 신경망 기반 표현: NeRF vs 3DGS
volume rendering의 NeRF와 rasterization의 3DGS, 신경망 기반 연속 표현 비교
novel view synthesis
[공부] 3D Reconstruction ⑤ 신경망 기반 표현: NeRF vs 3DGS
volume rendering의 NeRF와 rasterization의 3DGS, 신경망 기반 연속 표현 비교
Kabsch
[공부] 로봇 calibration을 위한 Kabsch 알고리즘: 기준점·측정점 정렬의 수학
기준점·측정점을 잇는 최적 rigid transform (R, t)을 SVD 한 번으로 구하는 Kabsch 알고리즘
calibration
[공부] 로봇 calibration을 위한 Kabsch 알고리즘: 기준점·측정점 정렬의 수학
기준점·측정점을 잇는 최적 rigid transform (R, t)을 SVD 한 번으로 구하는 Kabsch 알고리즘
point set registration
[공부] 로봇 calibration을 위한 Kabsch 알고리즘: 기준점·측정점 정렬의 수학
기준점·측정점을 잇는 최적 rigid transform (R, t)을 SVD 한 번으로 구하는 Kabsch 알고리즘
SVD
[공부] 로봇 calibration을 위한 Kabsch 알고리즘: 기준점·측정점 정렬의 수학
기준점·측정점을 잇는 최적 rigid transform (R, t)을 SVD 한 번으로 구하는 Kabsch 알고리즘
6D pose estimation
[논문리뷰] SAM-6D: Segment Anything Model Meets Zero-Shot 6D Object Pose Estimation (CVPR 2024)
SAM 기반 ISM과 background token point matching의 PEM으로 zero-shot 6D pose를 구하는 SAM-6D 논문 리뷰
SAM
[논문리뷰] SAM-6D: Segment Anything Model Meets Zero-Shot 6D Object Pose Estimation (CVPR 2024)
SAM 기반 ISM과 background token point matching의 PEM으로 zero-shot 6D pose를 구하는 SAM-6D 논문 리뷰
point matching
[논문리뷰] SAM-6D: Segment Anything Model Meets Zero-Shot 6D Object Pose Estimation (CVPR 2024)
SAM 기반 ISM과 background token point matching의 PEM으로 zero-shot 6D pose를 구하는 SAM-6D 논문 리뷰
FlashAttention
[논문리뷰] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (NeurIPS 2022)
attention의 병목을 FLOPs가 아닌 HBM 접근으로 규정하고 tiling·recomputation으로 O(N) 메모리의 exact attention을 구현한 FlashAttention 논문 리뷰
attention
[논문리뷰] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (NeurIPS 2022)
attention의 병목을 FLOPs가 아닌 HBM 접근으로 규정하고 tiling·recomputation으로 O(N) 메모리의 exact attention을 구현한 FlashAttention 논문 리뷰
GPU
[논문리뷰] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (NeurIPS 2022)
attention의 병목을 FLOPs가 아닌 HBM 접근으로 규정하고 tiling·recomputation으로 O(N) 메모리의 exact attention을 구현한 FlashAttention 논문 리뷰
tiling
[논문리뷰] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (NeurIPS 2022)
attention의 병목을 FLOPs가 아닌 HBM 접근으로 규정하고 tiling·recomputation으로 O(N) 메모리의 exact attention을 구현한 FlashAttention 논문 리뷰
pointmap
[논문리뷰] DUSt3R: Geometric 3D Vision Made Easy (CVPR 2024)
카메라 calibration도 pose도 없이 이미지 쌍에서 pointmap을 직접 회귀해, depth·대응·pose·3D 복원까지 기하 3D 비전 과제 전체를 하나의 모델로 푸는 DUSt3R 논문 리뷰
MASt3R
[논문리뷰] Grounding Image Matching in 3D with MASt3R (ECCV 2024)
matching을 3D 문제로 정식화해 DUSt3R에 local feature head와 InfoNCE loss를 더하고 Map-free localization에서 30%p 개선을 이룬 MASt3R 논문 리뷰
image matching
[논문리뷰] Grounding Image Matching in 3D with MASt3R (ECCV 2024)
matching을 3D 문제로 정식화해 DUSt3R에 local feature head와 InfoNCE loss를 더하고 Map-free localization에서 30%p 개선을 이룬 MASt3R 논문 리뷰
visual localization
[논문리뷰] Grounding Image Matching in 3D with MASt3R (ECCV 2024)
matching을 3D 문제로 정식화해 DUSt3R에 local feature head와 InfoNCE loss를 더하고 Map-free localization에서 30%p 개선을 이룬 MASt3R 논문 리뷰
Depth Anything
[논문리뷰] Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data (CVPR 2024)
62M unlabeled 이미지 self-training과 DINOv2 feature alignment로 만든 zero-shot MDE foundation model, Depth Anything 논문 리뷰
monocular depth estimation
[논문리뷰] Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data (CVPR 2024)
62M unlabeled 이미지 self-training과 DINOv2 feature alignment로 만든 zero-shot MDE foundation model, Depth Anything 논문 리뷰
self-training
[논문리뷰] Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data (CVPR 2024)
62M unlabeled 이미지 self-training과 DINOv2 feature alignment로 만든 zero-shot MDE foundation model, Depth Anything 논문 리뷰
semi-supervised learning
[논문리뷰] Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data (CVPR 2024)
62M unlabeled 이미지 self-training과 DINOv2 feature alignment로 만든 zero-shot MDE foundation model, Depth Anything 논문 리뷰
DINOv2
[논문리뷰] Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data (CVPR 2024)
62M unlabeled 이미지 self-training과 DINOv2 feature alignment로 만든 zero-shot MDE foundation model, Depth Anything 논문 리뷰