Nicolò Iacobone

Esperienza

1. Mar 2026 — Set 2026

   Research Collaborator — ETH Zürich

   Photogrammetry & Remote Sensing (D-BAUG) · da remoto

   3D-Consistent Instance Segmentation on Frozen Feed-Forward Backbones

   • Decoder in stile MaskDINO addestrato su un backbone VGGT-1B rigorosamente congelato, per segmentazione di istanze 3D coerente tra viste, con supervisione solo dalle annotazioni 2D di ScanNet v2. Il caching delle feature per scena ha ridotto il training a ~0,8 GPU-day, contro i ~16 delle due baseline pubblicate.
   • Set di query condiviso tra i bundle di viste: per costruzione una query segue una singola istanza attraverso tutti i frame, grazie a cross-frame attention e ancore 3D, i due meccanismi dominanti nell'ablation.
   • Stack di training e valutazione costruito end to end: quattro adapter per i dataset (ScanNet v2, ScanNet++, Replica, Aria Synthetic Environments) e il bridge 2D→3D completamente unposed (Sim(3)+ICP, lifting delle maschere per voto), valutato con l'evaluator ufficiale e non modificato di ScanNet.
   • Sul benchmark ufficiale ScanNet 3D, unposed, class-agnostic, 50 viste: 0,053 / 0,170 / 0,542 (AP/AP50/AP25), davanti a FAST3DIS (0,038 / 0,096 / 0,316) e IGGT (0,028 / 0,112 / 0,287) su tutte e tre le metriche; entrambi i confronti sono zero-shot su ScanNet.
   • Curve di data scaling, ablazioni confrontate con la varianza misurata tra seed e transfer zero-shot su ScanNet200/ScanNet++/Replica hanno localizzato la perdita residua nel lifting 2D→3D, non nel decoder.

   Codice

2. Lug 2025 — Mar 2026

   Tesi magistrale — ETH Zürich

   In collaborazione con il Politecnico di Torino

   Towards Multi-View 3D Instance Segmentation via Semantic Distillation

   • Framework di distillazione semantica: una testa DPT parallela su MapAnything regredisce le feature di un SAM 2 congelato, sotto una loss di consistenza multi-vista geometry-aware (proiezione, occlusione via Z-buffer, pesatura per confidenza).
   • Stack di training (unfreezing progressivo di DINOv2, bf16 AMP distribuito su SLURM) e strumenti di valutazione: estrazione shardata delle feature del teacher su COCO, feature dello student decodificate dal mask decoder di SAM 2 stesso, visualizzazioni PCA con Rerun.
   • Individuato un collo di bottiglia di capacità degli encoder geometrici nella regressione semantica fine-grained: il vincolo da cui è nato il progetto successivo.

   Codice Fork del teacher SAM 2

Pipeline di annotazione e dati sintetici

1. Lug 2025 — Mar 2026

   Lavoro indipendente su modelli open-source

   • Annotazione automatica di istanze 2D su ScanNet con SAM 3: pipeline SLURM riprendibile che produce pseudo-label per scena, con tracking persistente delle masklet, riassociazione via IoU delle tracce perse, region proposal di Florence-2 al posto di prompt di classe scritti a mano e report di QA per scena.
   • Dati 3D sintetici controllati e point tracking (Kubric, SpaTrackerV2): scene MOVi con moto della camera controllato e maschere di istanza ground-truth, su casi statici, dinamici, con molte occlusioni e con molti oggetti, e tracking 3D di punti in batch inizializzato da quelle maschere.

   SAM 3 Kubric SpaTrackerV2

Formazione

Progetti accademici

Competenze