Facebook AI: 3D ICCV2021: 3DETR end DepthContrast

Facebook AI представили две крутейшие 3D нейронки на ICCV2021: 3DETR и DepthContrast

Понимание 3D на основе трансформера и self-supervised learning’a. И да, есть код и обученные модели!

▪️DepthContrast:
Супервайзд претрейн на огромных датасетах стал основным инструментом для разработки моделей компьютерного зрения. Хотя подход отлично работает для многих доменов, он не получил широкого распространения для задач 3D распознавания.

adPlace

🛋 Пример: ’определение местоположения дивана на трехмерном скане гостиной’.

Собрать и разметить огромный 3D датасет — колоссальная работа. DepthContrast self-supervised претрейн, предложенный FAIR, не требует аннотации.

▪️3DETR:
An End-to-End Transformer Model for 3D Object Detection (3D DEtection TRansformer) без inductive bias.

🗺 На gif‘ке показана карта внимания декодера трансформера 3DETR, изолирующая отдельный объекты. Декодер юзает в основном эту инфу при предсказании 3D-bbox’ов.

ссылка

Знаете к чему это приведет?

Правильно: пиздец биометрии на планете, киберпанк уже тут. Если сегодня комплект паспорт + силиконовая маска, стоит в даркнете (RU) в районе 1 000 000 рублей (около 14 000 -15 000$), то с развитием 3D печати и Deepface технологий, цена стремительно улетит вниз. Останется лишь добавить к комплекту сканер NFC и дубликатор NFC … и хакеры 21 века эволюционируют во что то совершенно невообразимое. Эпично конечно вся эта картина будующего представляется.