مراقبة وتقييم مفتوحا المصدر لنماذج LLM
INFRO vs Langfuse
Langfuse منصة مفتوحة المصدر لتتبّع تطبيقات LLM وتقييمها وتحسينها: تتبّعات متداخلة عبر استدعاءات النماذج والأدوات والاسترجاع، وإدارة للمطالبات بإصدارات وتسميات، و LLM كحكَم وتقييم بشري، ومجموعات بيانات وتجارب، ولوحات معلومات للجودة والتكلفة وزمن الاستجابة. مرخَّصة بـ MIT خارج مجلد المؤسسات، وقابلة للاستضافة الذاتية على Docker أو Kubernetes أو Terraform، وهي جزء من ClickHouse منذ يناير 2026 مع بقاء خارطة طريقها كما هي. تسجّل ما فعله تطبيقك؛ ولا تقع في مسار الطلب، فلا توجّه ولا تحوّل تلقائيًا عند الأعطال ولا ترفض طلبًا.
- المراقبة والتقييم هما المهمة كلها. التوجيه والوصول إلى المزوّدين محلولان، ولا أحد يطلب ميزانية ترفض طلبًا، وبوابة في مسار الطلب ستكون نطاقًا لا تحتاج إليه.
- تحتاج إلى إدارة المطالبات. يضع Langfuse إصدارات للمطالبات وينشرها بالتسمية ويقارن الإصدارات من حيث التكلفة وزمن الاستجابة والدرجات. وليس لدى INFRO إدارة للمطالبات، ولا موعد لها.
- تتتبّع الوكلاء، لا استدعاءات النماذج فقط. يسجّل Langfuse شجرة من الـ spans عبر استدعاءات الأدوات وخطوات الاسترجاع واستدعاءات النماذج. أما INFRO فتسجّل سجلًا واحدًا لكل طلب بوابة، وشجرة الـ spans شيء تجمّعه في مجمّعك الخاص.
- التقييم منتج قائم بذاته ستعمل فيه يوميًا: مجموعات بيانات، وتجارب، وطوابير توسيم، ودرجات مخصصة. أما مراقبات التقييم في INFRO فتقيّم نسبة من إجابات المحادثة التي تمر عبرها وفق معايير محددة، وهذا نطاق أضيق بكثير.
- تريد استضافة برمجيات مفتوحة المصدر ذاتيًا، أو البدء دون تكلفة. لدى Langfuse فئة Hobby مجانية وتشغيلها بنفسك مجاني. أما باقات INFRO فمدفوعة مع فترة تجريبية لمدة 14 يومًا، وتعمل في بنيتك التحتية الخاصة بموجب اتفاق مؤسسات فقط.
- تحتاج إلى حفظ تتبّعاتك في منطقة محددة اليوم. تقدّم Langfuse Cloud مناطق في الولايات المتحدة والاتحاد الأوروبي واليابان؛ أما المعالجة الإقليمية في INFRO ففي خارطة الطريق.
هذا القسم ليس مجاملة. إذا كان أحد هذه الأوصاف ينطبق عليك، فاختر Langfuse — العميل الذي يعتمد الطبقة الخاطئة بناءً على نصيحتنا أسوأ لنا من عميل لم نحصل عليه قط.
أين يفترق الاثنان فعلًا.
- إلى جانب الطلب، أو داخله
- يستقبل Langfuse ما يرسله إليه تطبيقك — من حزم SDK الخاصة به، أو من OpenTelemetry، أو من بوابة مثل LiteLLM — ويسجّله بعد الاستدعاء. أما INFRO فهي نقطة النهاية التي يستدعيها تطبيقك: تختار اتصال المزوّد، وتعيد المحاولة وتحوّل الطلب تلقائيًا عند الأعطال عبر حساباتك الخاصة، وتسجّل الطلب أثناء خدمته. الأول يخبرك بما حدث. والثاني يقرر أيضًا ما يحدث، وهو المكان الوحيد الذي تستطيع فيه ميزانية أو قائمة سماح أو قاعدة تحويل أن تعمل.
- التنبيه ليس حدًّا
- يستطيع Langfuse تنبيهك حين يتجاوز الإنفاق عتبة. أما INFRO فتفحص التكلفة التقديرية للطلب مقابل ميزانيات المؤسسة والمشروع والعضو والمفتاح قبل استدعاء المزوّد، وترفضه بخطأ يسمّي الميزانية حين يتجاوزها. وإذا كانت الفاتورة غير المتوقعة هي الخطر الذي تديره، فهذا الفرق هو السؤال كله.
- من أين يأتي رقم التكلفة
- يحتسب Langfuse التكلفة عند الإدخال من تعريفات نماذج يمكنك تحريرها، أو يخزّن التكلفة التي ترسلها إليه كما هي. أما INFRO فتقدّر كل طلب بالسعر المعلن للمورّد، أو من باقة Team بالأسعار التي تحملها عقودك فعلًا، وتقول غير مسعّر بدل أن تخمّن حين لا يتوفر سعر، وفي باقة Business تقارن تقدير الشهر بواجهتي التكلفة API لدى OpenAI و Anthropic وتذكر التباين.
- يمكن أن تعملا معًا
- كثير من الفرق تريد أدوات التقييم وإدارة المطالبات في Langfuse، وطبقة تحكم في مسار الطلب في الوقت نفسه. ترسل INFRO من مسار الطلب spans بصيغة OpenTelemetry إلى المجمّع الذي تحدده (بدءًا من باقة Team)، وLangfuse تستقبل OpenTelemetry. لم ننشر بعد وصفة مجرَّبة لهذا الجمع، فاعتبره نقطة انطلاق لا تكاملًا موثّقًا.
جنبًا إلى جنب.
في عمودنا خانات فارغة أيضًا. فالمقارنة التي يحمل أحد طرفيها علامات صح في كل الخانات لا يصدّقها أحد، ومعه حق.
| القدرة | Langfuse | INFRO |
|---|---|---|
| تقع في مسار الطلب | لايسجّل التتبّعات التي تُرسل إليه | نعمنقطة نهاية متوافقة مع OpenAI |
| التوجيه وإعادة المحاولة والتحويل التلقائي عند الأعطال | لابوابة BYOK ضمن خارطة طريقها | نعمعبر حسابات المزوّدين الخاصة بك |
| ميزانيات ترفض الطلب | لاتنبيهات الإنفاق للإخطار فقط | نعمالمؤسسة، المشروع، العضو، المفتاح |
| قوائم سماح النماذج والمزوّدين | لا | نعم |
| التكلفة التقديرية لكل طلب | نعممستنتجة من تعريفات النماذج، أو مستوردة | نعمبأسعارك المتفاوض عليها بدءًا من Team |
| المطابقة مع فاتورة المزوّد نفسه | لا | جزئيOpenAI وAnthropic في باقة Business، مع بيان الفرق |
| تتبّعات متداخلة للوكلاء | نعمspans تشمل الأدوات والاسترجاع والنماذج | جزئيسجل واحد لكل طلب؛ مع تصدير OpenTelemetry |
| إدارة المطالبات | نعمإصدارات، وتسميات، وبيئة تجريب | لاغير مبني |
| التقييمات ومجموعات البيانات | نعمLLM كحكَم، والتعليق، والتجارب | جزئيمراقبة تقييم لإجابات المحادثة المقدَّمة |
| الاستضافة الذاتية | نعممرخَّص بـ MIT خارج ee/ | جزئياتفاقية مؤسسات |
| بداية مجانية | نعمفئة Hobby، أو استضافة ذاتية | لاباقات مدفوعة، وفترة تجريبية لمدة 14 يومًا |
هذه قراءتنا للوثائق العامة لكل منتج حتى أكتوبر 2026. لا نذكر أسعار المنافسين، فأسعارهم تتغير، والرقم الخاطئ عن عمل غيرك أسوأ من عدم ذكره. هل ترى صفًّا غير صحيح؟ أخبرنا وسنصحّحه.
احسب قيمة الفرق
قدّر تكلفة مزيج النماذج الذي تستخدمه حاليًا بأسعار القائمة لدى مزوّديك، والباقة التي يحتاجها، أو دعنا نطّلع على استخدامك الفعلي ونخبرك أين يمكننا المساعدة وأين لا يمكننا.