بسم الله الرحمن الرحيم

ما هو Cloudflare AutoRag؟

باختصار هي منظومة متكاملة تختصر الوقت والمجهود للمطور لتطبيق RAG عن طريق أتمتة معظم الخطوات وتمكينه من عمل استعلام مباشرة على البيانات باستخدام API أو Workers.

ما هي الخطوات التي يتم أتمتتها؟

• إدخال واستيعاب البيانات (Data Ingestion)
• تحويل المستندات بمختلف أنواعها إلى صيغة Markdown
• تقسيم النص الناتج من التحويل (Chunking)
• تضمين النص بصيغ متجهات (Embedding)
• إنشاء قاعدة بيانات متجهات (Vector DB) وتخزين الـ Embeddings
• إتاحة البحث وتنفيذ الاستعلامات على البيانات المخزنة (Similarity Search) عن طريق واجهة برمجية (API) أو عن طريق برمجيات (Workers)
• تحسين الاستعلام ونتائج الاسترجاع عن طريق النماذج اللغوية الكبيرة (LLM)

كل ما على المطور فعله هو رفع المستندات أو البيانات المطلوبة في مخزن R2 وانتظار اكتمال عملية الفهرسة والبدء بالاستعلام مباشرة.
ويمكن الآن اختبار الخدمة لأنها توفر باقة مجانية (Free Tier).

ما هي نواحي القصور في هذه المنظومة؟

• تحويل مستندات PDF باللغة العربية

  لاحظت عند اختبار النظام أن عملية تحويل مستندات PDF المكتوبة باللغة العربية إلى صيغة Markdown لا تتم بصورة صحيحة، وبالتالي لا يكتمل التخزين ولا يتم الاستعلام بشكل سليم.
  الحل المقترح: تحويل المستندات العربية يدوياً إلى Markdown قبل رفعها إلى R2.

• عدم دعم البحث باستخدام البيانات الوصفية (Metadata)

  لا يوجد دعم حاليًا للبحث باستخدام Metadata.
  الحل المؤقت: تقسيم المستندات إلى مجلدات بحيث يمكن الاستعلام أو التصفية باسم المجلد أو مجموعة المجلدات.

• حجم المستندات المدعوم صغير نسبيًا (4MB)

  الحجم الأقصى للمستند الواحد المدعوم هو 4 ميغابايت.
  الحل: تقسيم المستندات إلى أجزاء أصغر قبل رفعها.

ما هو Cloudflare AutoRag مرة أخرى لكن من منظور تقني؟

هذه المنظومة فعليًا هي إعادة استخدام لخدمات موجودة مسبقًا ضمن منصة Cloudflare، وكل منها يمكن استخدامه بشكل منفصل:

• R2 – هو مخزن الملفات.
• ai.toMarkdown – أداة موجودة ضمن Workers AI لتحويل المستندات إلى Markdown.
• Embedding – يتم باستخدام نماذج الذكاء الصناعي للتضمين، وهي متوفرة ضمن خدمات Workers AI.
• Vectorize – خدمة قاعدة البيانات المتجهية.
• LLMs – لتحسين الاستعلامات، متوفرة كذلك ضمن Workers AI.

خلاصة

كانت هذه مقدمة مختصرة جدًا عن خدمة Cloudflare AutoRag.
أنصح الجميع بالاطلاع على التوثيق الفني في موقع المنصة للاستفادة القصوى من هذه الخدمة المجانية أو المدفوعة.
رابط التوثيق