# كشف الأشياء بدون تدريب مسبق

تتطلب النماذج المستخدمة تقليديًا في [كشف الأشياء](object_detection) مجموعات بيانات من الصور الموسومة للتدريب، وهي محدودة في قدرتها على كشف مجموعة الفئات الموجودة في بيانات التدريب فقط.

كشف الكائنات بدون تدريب (Zero-shot) هو مهمة في مجال رؤية الحاسوب تهدف إلى تحديد الكائنات وفئاتها في الصور، دون أي تدريب مسبق أو معرفة مسبقة بالفئات. تستقبل نماذج كشف الكائنات بدون تدريب صورة كمدخل، بالإضافة إلى قائمة بالفئات المرشحة، وتُخرج صناديق الحدود (bounding boxes) والوسوم (labels) للمواقع التي تم فيها اكتشاف الكائنات.

> [!NOTE]
> تحتضن Hugging Face العديد من [كواشف الكائنات ذاتية الصفرية ذات المفردات المفتوحة](https://huggingface.co/models?pipeline_tag=zero-shot-object-detection) من هذا النوع.

في هذا الدليل، ستتعلم كيفية استخدام مثل هذه النماذج:

- لاكتشاف الكائنات بناءً على أوامر نصية
- للكشف عن الكائنات على دفعات
- للكشف عن الأشياء الموجّه بالصور

قبل أن تبدأ، تأكد من تثبيت جميع المكتبات اللازمة:

```bash
pip install -q transformers
```

## خط أنابيب كشف الأشياء بدون تدريب مسبق

أبسط طريقة لتجربة الاستدلال باستخدام النماذج هي استخدامه في [pipeline()](/docs/transformers/main/ar/main_classes/pipelines#transformers.pipeline). أنشئ خط أنابيب للكشف عن الأشياء بدون تدريب مسبق من [نقطة تحقق على Hugging Face Hub](https://huggingface.co/models?pipeline_tag=zero-shot-object-detection):

```python
>>> from transformers import pipeline

>>> # Use any checkpoint from the hf.co/models?pipeline_tag=zero-shot-object-detection
>>> checkpoint = "iSEE-Laboratory/llmdet_large"
>>> detector = pipeline(model=checkpoint, task="zero-shot-object-detection")
```

في الخطوة التالية، اختر صورة تريد اكتشاف الكائنات فيها. سنستخدم هنا صورة رائدة الفضاء إيلين كولينز، وهي جزء من مجموعة بيانات [NASA](https://www.nasa.gov/multimedia/imagegallery/index.html) Great Images.

```py
>>> from transformers.image_utils import load_image

>>> url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/zero-sh-obj-detection_1.png"
>>> image = load_image(url)
>>> image
```

     

مرّر الصورة ووسوم الكائنات المرشحة التي تبحث عنها إلى خط الأنابيب. هنا نمرّر الصورة مباشرةً؛ وتشمل الخيارات المناسبة الأخرى مسارًا محليًا إلى صورة أو عنوان URL لصورة. كما نمرّر أوصافًا نصية لجميع العناصر التي نرغب في الاستعلام عنها في الصورة.

```py
>>> predictions = detector(
...     image,
...     candidate_labels=["human face", "rocket", "nasa badge", "star-spangled banner"],
...     threshold=0.45,
... )
>>> predictions
[{'score': 0.8409242033958435,
  'label': 'human face',
  'box': {'xmin': 179, 'ymin': 74, 'xmax': 272, 'ymax': 179}},
 {'score': 0.7380027770996094,
  'label': 'rocket',
  'box': {'xmin': 353, 'ymin': 0, 'xmax': 466, 'ymax': 284}},
 {'score': 0.5850900411605835,
  'label': 'star-spangled banner',
  'box': {'xmin': 0, 'ymin': 0, 'xmax': 96, 'ymax': 511}},
 {'score': 0.5697067975997925,
  'label': 'human face',
  'box': {'xmin': 18, 'ymin': 15, 'xmax': 366, 'ymax': 511}},
 {'score': 0.47813931107521057,
  'label': 'star-spangled banner',
  'box': {'xmin': 353, 'ymin': 0, 'xmax': 459, 'ymax': 274}},
 {'score': 0.46597740054130554,
  'label': 'nasa badge',
  'box': {'xmin': 353, 'ymin': 0, 'xmax': 462, 'ymax': 279}},
 {'score': 0.4585932493209839,
  'label': 'nasa badge',
  'box': {'xmin': 132, 'ymin': 348, 'xmax': 208, 'ymax': 423}}]
```

لنقم بتصور التنبؤات:

```py
>>> from PIL import ImageDraw

>>> draw = ImageDraw.Draw(image)

>>> for prediction in predictions:
...     box = prediction["box"]
...     label = prediction["label"]
...     score = prediction["score"]

...     xmin, ymin, xmax, ymax = box.values()
...     draw.rectangle((xmin, ymin, xmax, ymax), outline="red", width=1)
...     draw.text((xmin, ymin), f"{label}: {round(score,2)}", fill="white")

>>> image
```

     

## كشف الأشياء بدون تدريب مسبق باستخدام النص التوجيهي يدويًا

الآن بعد أن رأيت كيفية استخدام خط أنابيب كشف الأشياء بدون تدريب مسبق، دعنا نكرر نفس النتيجة يدويًا.

ابدأ بتحميل النموذج والمعالج المرتبط به من [نقطة تحقق على Hugging Face Hub](https://hf.co/iSEE-Laboratory/llmdet_large). سنستخدم هنا نفس نقطة التحقق التي استخدمناها سابقًا:

```py
>>> from transformers import AutoProcessor, AutoModelForZeroShotObjectDetection

>>> model = AutoModelForZeroShotObjectDetection.from_pretrained(checkpoint, device_map="auto")
>>> processor = AutoProcessor.from_pretrained(checkpoint)
```

لنأخذ صورة مختلفة لتغيير الأمور.

```py
>>> url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/zero-sh-obj-detection_3.png"
>>> image = load_image(url)
>>> image
```

     

استخدم المعالج processor لتحضير المدخلات للنموذج.

```py
>>> text_labels = ["hat", "book", "sunglasses", "camera"]
>>> inputs = processor(text=text_labels, images=image, return_tensors="pt").to(model.device)
```

مرّر المدخلات عبر النموذج، ثم عالجها بعد المعالجة، وبيّن النتائج. نظرًا إلى أن معالج الصور قام بتغيير حجم الصور قبل تمريرها إلى النموذج، عليك استخدام طريقة `post_process_object_detection` للتأكد من أن صناديق الحدود المتوقعة تحمل الإحداثيات الصحيحة بالنسبة إلى الصورة الأصلية:

```py
>>> import torch

>>> with torch.inference_mode():
...     outputs = model(**inputs)

>>> results = processor.post_process_grounded_object_detection(
...    outputs, threshold=0.50, target_sizes=[(image.height, image.width)], text_labels=text_labels,
... )[0]

>>> draw = ImageDraw.Draw(image)

>>> scores = results["scores"]
>>> text_labels = results["text_labels"]
>>> boxes = results["boxes"]

>>> for box, score, text_label in zip(boxes, scores, text_labels):
...     xmin, ymin, xmax, ymax = box
...     draw.rectangle((xmin, ymin, xmax, ymax), outline="red", width=1)
...     draw.text((xmin, ymin), f"{text_label}: {round(score.item(),2)}", fill="white")

>>> image
```

     

## المعالجة الدفعية

يمكنك تمرير مجموعات متعددة من الصور واستعلامات النص للبحث عن كائنات مختلفة (أو متطابقة) في عدة صور. دعنا نستخدم صورة رائد الفضاء وصورة الشاطئ معًا. لمعالجة الدفعات، يجب أن تمرر استعلامات النص كقائمة متداخلة إلى المعالج، والصور كقوائم من صور PIL أو متجهات PyTorch أو مصفوفات NumPy.

```py
>>> url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/zero-sh-obj-detection_1.png"
>>> url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/zero-sh-obj-detection_3.png"
>>> images = [load_image(url1), load_image(url2)]
>>> text_queries = [
...     ["human face", "rocket", "nasa badge", "star-spangled banner"],
...     ["hat", "book", "sunglasses", "camera", "can"],
... ]
>>> inputs = processor(text=text_queries, images=images, return_tensors="pt", padding=True)
```

سابقًا، كنتَ تمرر حجم الصورة الواحدة كمُتجه (tensor) في مرحلة ما بعد المعالجة، لكن يمكنك أيضًا تمرير مجموعة (tuple)، أو، في حالة وجود عدة صور، قائمة من المجموعات. لننشئ تنبؤات للعينتين ونُظهر الثانية (`image_idx = 1`).

```py
>>> with torch.no_grad():
>>>     outputs = model(**inputs)

>>> target_sizes = [(image.height, image.width) for image in images]
>>> results = processor.post_process_grounded_object_detection(
...     outputs, threshold=0.3, target_sizes=target_sizes, text_labels=text_labels,
... )
```

لنقم بتصور النتائج:

```py
>>> image_idx = 1
>>> draw = ImageDraw.Draw(images[image_idx])

>>> scores = results[image_idx]["scores"].tolist()
>>> text_labels = results[image_idx]["text_labels"]
>>> boxes = results[image_idx]["boxes"].tolist()

>>> for box, score, text_label in zip(boxes, scores, text_labels):
>>>     xmin, ymin, xmax, ymax = box
>>>     draw.rectangle((xmin, ymin, xmax, ymax), outline="red", width=1)
>>>     draw.text((xmin, ymin), f"{text_label}: {round(score,2)}", fill="white")

>>> images[image_idx]
```

     

## كشف الكائنات الموجّه بالصور

بالإضافة إلى كشف الأشياء بدون تدريب باستخدام استعلامات نصية، تتيح نماذج مثل [OWL-ViT](https://huggingface.co/collections/ariG23498/owlvit-689b0d0872a7634a6ea17ae7) و[OWLv2](https://huggingface.co/collections/ariG23498/owlv2-689b0d27bd7d96ba3c7f7530) كشف الأشياء الموجَّه بالصور. وهذا يعني أنه يمكنك استخدام استعلام بصري للعثور على أشياء مشابهة في الصورة المستهدفة.

```py
>>> from transformers import AutoProcessor, AutoModelForZeroShotObjectDetection

>>> checkpoint = "google/owlv2-base-patch16-ensemble"
>>> model = AutoModelForZeroShotObjectDetection.from_pretrained(checkpoint, device_map="auto")
>>> processor = AutoProcessor.from_pretrained(checkpoint)
```

على عكس استعلامات النص، يُسمح بصورة مثال واحدة فقط.

لنأخذ صورة قطتين على أريكة كصورة هدف، وصورة قطة واحدة كاستعلام:

```py
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image_target = Image.open(requests.get(url, stream=True).raw)

>>> query_url = "http://images.cocodataset.org/val2017/000000524280.jpg"
>>> query_image = Image.open(requests.get(query_url, stream=True).raw)
```

لنلقِ نظرة سريعة على الصور:

```py
>>> import matplotlib.pyplot as plt

>>> fig, ax = plt.subplots(1, 2)
>>> ax[0].imshow(image_target)
>>> ax[1].imshow(query_image)
>>> fig.show()
```

     

في خطوة المعالجة المسبقة، عليك الآن استخدام `query_images` بدلاً من استعلامات النص:

```py
>>> inputs = processor(images=image_target, query_images=query_image, return_tensors="pt")
```

بالنسبة للتنبؤات، بدلاً من تمرير المدخلات إلى النموذج، قم بتمريرها إلى [image_guided_detection()](/docs/transformers/main/ar/model_doc/owlvit#transformers.OwlViTForObjectDetection.image_guided_detection). ارسم التنبؤات كما في السابق، لكن الآن لا توجد تسميات.

```py
>>> with torch.no_grad():
...     outputs = model.image_guided_detection(**inputs)
...     target_sizes = torch.tensor([image_target.size[::-1]])
...     results = processor.post_process_image_guided_detection(outputs=outputs, target_sizes=target_sizes)[0]

>>> draw = ImageDraw.Draw(image_target)

>>> scores = results["scores"].tolist()
>>> boxes = results["boxes"].tolist()

>>> for box, score in zip(boxes, scores):
...     xmin, ymin, xmax, ymax = box
...     draw.rectangle((xmin, ymin, xmax, ymax), outline="white", width=4)

>>> image_target
```

     

