Detectron2 - Извлечение особенностей области на пороге обнаружения объекта. ⇐ Python

[Anonymous]

Я пытаюсь извлечь объекты региона, в которых обнаружение класса превышает определенный порог, с помощью платформы детектора 2. Я буду использовать эти функции позже в своем конвейере (аналогично: VilBert, раздел 3.1. Обучение ViLBERT). На данный момент я обучил Mask R-CNN с этой конфигурацией и точно настроил ее на некоторых пользовательских данных. Он работает хорошо. Мне бы хотелось извлечь функции из моей обученной модели для созданной ограничивающей рамки.
Почему я получаю только один экземпляр прогноза, но когда я посмотрите
на прогнозируемые баллы CLS, есть ли более 1, которые превышают
порог?
Я считаю, что это правильный способ создание функций рентабельности инвестиций:
images = ImageList.from_tensors(lst[:1], size_divisibility=32).to("cuda") # preprocessed input tensor
#setup config
cfg = get_cfg()
cfg.merge_from_file(model_zoo.get_config_file("COCO-InstanceSegmentation/mask_rcnn_R_101_FPN_3x.yaml"))
cfg.MODEL.WEIGHTS = os.path.join(cfg.OUTPUT_DIR, "model_final.pth")
cfg.SOLVER.IMS_PER_BATCH = 1
cfg.MODEL.ROI_HEADS.NUM_CLASSES = 1 # only has one class (pnumonia)
#Just run these lines if you have the trained model im memory
cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.7 # set the testing threshold for this model
#build model
model = build_model(cfg)
DetectionCheckpointer(model).load("output/model_final.pth")
model.eval()#make sure its in eval mode

#run model
with torch.no_grad():
features = model.backbone(images.tensor.float())
proposals, _ = model.proposal_generator(images, features)
instances = model.roi_heads._forward_box(features, proposals)

Тогда
pred_boxes = [x.pred_boxes for x in instances]
rois = model.roi_heads.box_pooler([features[f] for f in model.roi_heads.in_features], pred_boxes)

Это должны быть мои функции рентабельности инвестиций.
Что меня очень смущает, так это то, что вместо использования ограничивающих рамок, полученных при выводе, я мог бы использовать предложения и Offer_boxes с оценкой их классов, чтобы получить n лучших функций для этого изображения. Круто, поэтому я попробовал следующее:
proposal_boxes = [x.proposal_boxes for x in proposals]
proposal_rois = model.roi_heads.box_pooler([features[f] for f in model.roi_heads.in_features], proposal_boxes)
#found here: https://detectron2.readthedocs.io/_modu ... heads.html
box_features = model.roi_heads.box_head(proposal_rois)
predictions = model.roi_heads.box_predictor(box_features)
pred_instances, losses = model.roi_heads.box_predictor.inference(predictions, proposals)

Где я должен получить функции своего поля предложения и его cls в моем объекте predictions. Проверяя этот объект predictions, я вижу оценки для каждого поля:
Оценки CLS в объекте Predictions
(tensor([[ 0.6308, -0.4926],
[-1.6662, 1.5430],
[-0.2080, 0.4856],
...,
[-6.9698, 6.6695],
[-5.6361, 5.4046],
[-4.4918, 4.3899]], device='cuda:0', grad_fn=),

После softmaxing и размещения этих оценок cls в кадре данных и установки порога 0,6 я получаю:
pred_df = pd.DataFrame(predictions[0].softmax(-1).tolist())
pred_df[pred_df[0] > 0.6]
0 1
0 0.754618 0.245382
6 0.686816 0.313184
38 0.722627 0.277373

и в моем объекте прогнозов я получаю тот же самый высокий балл, но только 1 экземпляр, а не 2 (я установил cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0,7):
p>
Экземпляры прогнозирования:
[Instances(num_instances=1, image_height=800, image_width=800, fields=[pred_boxes: Boxes(tensor([[548.5992, 341.7193, 756.9728, 438.0507]], device='cuda:0',
grad_fn=)), scores: tensor([0.7546], device='cuda:0', grad_fn=), pred_classes: tensor([0], device='cuda:0')])]

Прогнозы также содержат Тензор: Nx4 или Nx(Kx4) дельты регрессии ограничивающего прямоугольника. которые я точно не знаю, что они делают и как выглядят:< /p>
Дельты регрессии ограничивающей рамки в объекте Predictions
tensor([[ 0.2502, 0.2461, -0.4559, -0.3304],
[-0.1359, -0.1563, -0.2821, 0.0557],
[ 0.7802, 0.5719, -1.0790, -1.3001],
...,
[-0.8594, 0.0632, 0.2024, -0.6000],
[-0.2020, -3.3195, 0.6745, 0.5456],
[-0.5542, 1.1727, 1.9679, -2.3912]], device='cuda:0',
grad_fn=)

Еще странно то, что мои поля предложений и поля прогнозов разные, но похожи:
Ограничительные рамки предложения
[Boxes(tensor([[532.9427, 335.8969, 761.2068, 438.8086],#this box vs the instance box
[102.7041, 352.5067, 329.4510, 440.7240],
[499.2719, 317.9529, 764.1958, 448.1386],
...,
[ 25.2890, 379.3329, 28.6030, 429.9694],
[127.1215, 392.6055, 328.6081, 489.0793],
[164.5633, 275.6021, 295.0134, 462.7395]], device='cuda:0'))]


Подробнее здесь: https://stackoverflow.com/questions/624 ... -detection