اطّلع على كل عملية تشغيل، واستمع إلى كل قارئ، وأدر إصدارات كل مطالبة.
البوابة التي تمر بها طلباتك أصلًا تسجّلها كعمليات تشغيل مع تكلفة المزوّد التقديرية، وتستقبل عليها الدرجات وملاحظات المستخدمين النهائيين، وتملأ المطالبات المُدارة قبل فحوصها. تكامل واحد، على حسابات المزوّدين الخاصة بك.
التسجيل في INFRO ذاتي، دون وسيط. الكتالوج والتوثيق وعقد API متاحة للعموم، والبوابة قيد التشغيل، وكل ما يتجاوز v1 موسوم بـ «لاحقًا». الباقات والفترة التجريبية
عمليات التشغيل
دورة الوكيل، أو إجابة الاسترجاع، أو مسار معالجة المستندات، كلها عدة استدعاءات للنماذج. أرسل معرّف تتبّع واحدًا مع كل منها، فتعرضها INFRO كعملية تشغيل واحدة مع ما كلّفته لدى مزوّدك، فيصبح السؤال: أي عملية تشغيل وأي خطوة.
صف واحد لكل عملية تشغيل
الطلبات التي تتشارك معرّف تتبّع ومسار عمل هي عملية تشغيل واحدة: طلباتها وأخطاؤها ومدتها ونماذجها وتكلفة المزوّد التقديرية ودرجاتها وإصدارات مطالباتها.
اعثر على عملية التشغيل المهمة
رشّح حسب مسار العمل أو النموذج أو المستخدم النهائي أو الأخطاء، ورتّب حسب التكلفة أو المدة ضمن نافذة زمنية تصل إلى 31 يومًا.
ثم كل خطوة
افتح عملية تشغيل في لوحة التحكم، أو استدعِ نقطة نهاية التتبّع، لترى طلباتها بالترتيب مع تكلفة كل خطوة.
ترويسة واحدة في كل استدعاء.
الطلب الذي لا يحمل معرّف تتبّع لا ينتمي إلى أي عملية تشغيل. تُجمَّع عمليات التشغيل حسب مسار العمل ومعرّف التتبّع معًا، لأن معرّفات التتبّع من وضعك، وقد يعيد مساران للعمل استخدام المعرّف نفسه.
تشمل عملية التشغيل استدعاءات النماذج التي مرّت عبر INFRO، وتذكر ذلك في كل إجابة. المواصفات الكاملة في عمليات التشغيل.
# Send the same trace id on every call of one run
curl https://api.infro.io/v1/chat/completions \
-H "Authorization: Bearer $INFRO_API_KEY" \
-H "X-INFRO-Trace-Id: run_42" \
-H "Content-Type: application/json" \
-d '{"model": "anthropic/claude-sonnet-5", "metadata": {"workflow": "support-answer"},
"messages": [{"role": "user", "content": "Where is my order?"}]}'
# Then list the costliest failing runs of that workflow
curl "https://api.infro.io/v1/runs?workflow=support-answer&sort=costliest&has_errors=true" \
-H "Authorization: Bearer $INFRO_API_KEY"الدرجات والملاحظات
تستقر الدرجات الواردة من شيفرتك، ومن مراقبات التقييم، ومن فريقك، ومن الأشخاص الذين يقرؤون إجاباتك، على الطلب وعملية التشغيل وإصدار المطالبة نفسها. الدرجات ليست طلبات عبر البوابة ولا تُحتسب ضمن حصة الطلبات في باقتك.
ملاحظات من الأشخاص الذين يقرؤون الإجابة
تحمل كل استجابة ناجحة رمزًا موقّعًا. ترسله الصفحة التي تعرض الإجابة مع إعجاب أو عدم إعجاب، دون أي مفتاح API في المتصفح.
درجات من شيفرتك
رقم، أو نعم أو لا، أو تسمية، على طلب أو على عملية تشغيل كاملة، مع تعليق اختياري.
من مراقبات التقييم ومن فريقك
تقيّم مراقبات التقييم نسبة من الإجابات المقدَّمة، ويقيّم الأعضاء الطلب من لوحة التحكم. وتظهر كل درجة على الطلب، وعلى عملية التشغيل التي ينتمي إليها، وعلى إصدار المطالبة الخاص به.
الرمز هو الصلاحية الوحيدة.
لا تحتاج نقطة نهاية الملاحظات إلى مفتاح API وتقبل أي مصدر (origin). يسمّي الرمز طلبًا واحدًا، ولا يستطيع تقييم سوى ذلك الطلب، وتنتهي صلاحيته بعد سبعة أيام.
تمرير الرمز من خادمك، والحدود، ومدة الاحتفاظ موضّحة في الدرجات والملاحظات.
// The answer's response carried X-INFRO-Feedback-Token.
const feedbackToken = res.headers.get("X-INFRO-Feedback-Token");
// When the person clicks thumbs up: no API key in the browser.
await fetch("https://api.infro.io/v1/feedback", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ token: feedbackToken, value: true }),
});إدارة المطالبات
احفظ المطالبات كإصدارات مرقّمة ذات تسميات، وسمِّ إحداها في طلب إكمال محادثة. يمرّ الإصدار عبر قائمة السماح وضوابط الحماية والميزانية نفسها التي يمرّ بها كل طلب، لأن البوابة تملؤه قبلها، ويُسجَّل الإصدار على الطلب.
إصدارات لا تتغير
يحمل الإصدار رسائل ذات متغيرات، ويمكن أن يحمل نموذجًا وإعدادات افتراضية. وأي تغيير هو إصدار جديد.
تُملأ قبل الفحوص
تملأ البوابة الإصدار قبل التوجيه وقوائم السماح للنماذج وضوابط الحماية وفحص الإنفاق، فيقرأ كل منها الرسائل النهائية.
نقل production بيد شخص
تُنقل تسميات مثل staging من الشيفرة. أما التسمية المحمية production فينقلها المالك أو المسؤول من لوحة التحكم، وتُسجَّل كل عملية نقل في سجل التدقيق.
سجل كل إصدار
الطلبات، ومعدل الأخطاء، وزمن الاستجابة p50 وp95، وتكلفة المزوّد التقديرية لكل طلب، ومتوسط الدرجة، ونسبة الملاحظات، للنافذة الزمنية التي تختارها.
تراجع بنقل التسمية
وجّه production إلى الإصدار الأقدم. تستخدمه الطلبات خلال خمس ثوانٍ، دون عملية نشر.
حقل أو ترويسة
سمِّ المطالبة في جسم الطلب مع متغيراتها، أو في ترويسة إذا كان العميل لا يستطيع إضافة حقل.
سمِّ المطالبة، والبوابة تتولى الباقي.
تذكر الاستجابة الإصدار الذي أجاب. تُحلّ المطالبات على إكمالات المحادثة، وعلى طلبات Messages وResponses الواردة من وكلاء البرمجة. أما المطالبة التي يجلبها تطبيقك ويرسلها إلى مزوّد مباشرة فلا تفحصها البوابة، والإجابة تذكر ذلك.
التسميات والمتغيرات والتسميات المحمية وواجهة API للإدارة موضّحة في إدارة المطالبات.
curl https://api.infro.io/v1/chat/completions \
-H "Authorization: Bearer $INFRO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "openai/gpt-5",
"prompt": {
"id": "support-reply",
"label": "production",
"variables": { "customer_name": "Ada" }
},
"messages": [{ "role": "user", "content": "Where is my order?" }]
}'المقيّمون
اكتب معايير تقييم، واختر أي نموذج محادثة ربطته، وستجعله INFRO يحكم على الإجابات عبر البوابة: عيّنة من الحركة الحية، أو طلبات سابقة عند الطلب. ويُسجَّل كل حكم درجةً على الطلب الذي قيّمه.
معاييرك، وأي نموذج محادثة
معايير تقييم تتضمن السؤال والإجابة، وفي التجارب المخرجات المتوقعة. ويُرجع الحَكَم رقمًا، أو نجاحًا أو إخفاقًا، أو إحدى فئاتك.
على الحركة الحية، ضمن حد شهري
احكم على نسبة من الإجابات المقدَّمة، مع التصفية حسب المشروع أو النموذج أو إصدار المطالبة أو سير العمل. ويتوقف الحكم الحي لبقية الشهر عند بلوغ حد إنفاق المقيِّم.
أو طلبات سابقة، عند الطلب
احكم في الخلفية على ما يصل إلى 1,000 طلب مسجّل، مع عرض عدد الطلبات وتكلفة المزوّد التقديرية أولًا، وسقف إنفاق يتوقف عنده.
استدعاء الحكم طلبٌ كأي طلب آخر.
يعمل على حساب مزوّدك ويُفوتره لك ذلك المزوّد. ويعمل استدعاء الحكم الحي بالمفتاح الذي أرسل الطلب المُقيَّم، فتنطبق قواعد الوصول إلى النماذج وضوابط الحماية والميزانيات الخاصة بذلك المفتاح، ويبدأ بعد إرسال الإجابة، فلا يبطئها ولا يغيّرها أبدًا. ويُحتسب كل استدعاء للحكم ضمن حصة الطلبات في باقتك.
العناصر النائبة وأنواع المخرجات وحالات الإخفاق موضّحة في المقيِّمات.
# Judge 5% of one model's answers, at most $25 a month
curl -X POST "https://api.infro.io/manage/v1/evaluators" \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"slug": "helpfulness",
"model": "openai/gpt-5.4",
"rubric": "Does the answer address what was asked, accurately and completely?\n\nQuestion: {{input}}\n\nAnswer: {{output}}",
"output": {"type": "numeric"},
"sampling": {"rate": 0.05, "models": ["anthropic/claude-sonnet-5"]},
"monthly_spend_limit": 25
}'مجموعات البيانات والتجارب
ابنِ مجموعة بيانات من الطلبات التي سجّلتها أصلًا، وأعِد تشغيلها عبر البوابة على نماذج وإصدارات مطالبات وإعدادات مختلفة، وقارن ما حققه كلٌّ منها من درجات وما كلّفه، بعد تقدير وضمن سقف.
من حركة طلباتك بنقرة واحدة
أضف طلبًا مسجّلًا، أو كل الطلبات التي تعرضها عوامل التصفية الحالية (حتى 1,000)، مع إجابته كمخرجات متوقعة إن شئت.
أو بالرفع
ملف JSONL أو CSV حتى 5 MB، أو عناصر تُرسل من الشيفرة. وعند وجود مشكلة يُذكر السطر أو الصف.
يُحتفظ بها حتى تحذفها
عناصر اخترت الاحتفاظ بها، غير مرتبطة بمدة الاحتفاظ بسجل الطلبات، وتُحذف مع مجموعة البيانات أو مشروعها أو مؤسستك.
حتى ستة متغيّرات
لكل متغيّر نموذج أو مسار، وإصدار مطالبة، وإعدادات. ويُحكم على كل إجابة بما يصل إلى خمسة مقيِّمات، وتُقارن المتغيّرات بالدرجات ومعدل الأخطاء وزمن الاستجابة والتكلفة التقديرية لكل عنصر.
التقدير أولًا، ثم السقف
عدد الطلبات، وتكلفة المزوّد التقديرية، ونسبتها من حصة الطلبات، قبل تشغيل أي شيء. ويلزم سقف إنفاق لا يقل عن التقدير، ويتوقف التشغيل عنده.
عبر الفحوص نفسها
كل استدعاء طلبٌ عبر البوابة على مزوّديك: تنطبق عليه قواعد الوصول إلى النماذج وضوابط الحماية والبيئة وحدود الإنفاق.
لا يعمل شيء حتى تضع السقف.
النموذج الذي لا يُعرف سعره يظهر «غير مسعّر» ولا يمكن أن تبدأ التجربة، لأن إنفاقه لا يمكن إبقاؤه ضمن السقف. وتبقى أحكام مقيِّماتها داخل التجربة، فلا يغيّر الاختبار أبدًا أي درجة في بيئة الإنتاج.
المتغيّرات وأسباب التوقف والمقارنة موضّحة في التجارب؛ وبناء العناصر ورفعها في مجموعات البيانات.
# Estimate first: nothing runs with dry_run
curl -X POST "https://api.infro.io/manage/v1/experiments" \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"dataset": "support-golden",
"variants": [
{"label": "current", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 3}},
{"label": "candidate", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 4}},
{"label": "cheaper", "model": "openai/gpt-5.4-mini", "prompt": {"slug": "support-reply", "version": 4}}
],
"evaluators": ["helpfulness"],
"dry_run": true
}'قواعد التراجع
تراقب القاعدة تسمية واحدة لمطالبة واحدة. وحين تنخفض درجات الإصدار الذي تشير إليه دون حدك، تعيد القاعدة التسمية إلى الإصدار السابق، أو تكتفي بالتنبيه، وهو النقل المدقَّق نفسه الذي يجريه شخص في لوحة التحكم.
ثلاث إشارات
متوسط درجة ما، أو معدل النجاح لدرجة من نوع نجاح/إخفاق، أو نسبة عدم الإعجاب من مستخدميك النهائيين، يُفحص كل خمس دقائق على النافذة الزمنية التي تحددها متى بلغ عدد الإجابات المقيَّمة ما يكفي.
تراجع، أو تنبيه فقط
تعيد القاعدة التسمية إلى الإصدار السابق أو إلى الإصدار الذي تحدده، أو تكتفي بالتنبيه. وفي الحالتين يُسجَّل ذلك في سجل التدقيق ويُرسل إلى قنوات التنبيه لديك.
التسميات المحمية بموافقة شخص
القاعدة التي تنقل تسمية محمية يحفظها المالك أو المسؤول من لوحة التحكم. ولا يكتب رمز الإدارة قاعدة كهذه أبدًا.
تُقرأ كل قاعدة كجملة واحدة.
تعمل القاعدة مرة واحدة لكل إصدار، ثم تبقى صامتة حتى ينقل أحدٌ التسمية مجددًا. وإذا نقل شخصٌ التسمية أثناء تشغيل الفحص فالأولوية له. تقرأ القواعد الدرجات، وهي لا تُحتسب ضمن حصة الطلبات، ولا تستدعي أي نموذج.
المقاييس والنوافذ الزمنية والتسميات المحمية وواجهة الإدارة API موضّحة في قواعد تراجع المطالبات.
# Roll staging back when users dislike a version
curl https://api.infro.io/manage/v1/prompts/support-reply/rules \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"label": "staging",
"metric": "thumbs_down_share_above",
"threshold": 0.3,
"min_samples": 100,
"window_minutes": 60,
"action": "rollback",
"target_version": "previous"
}'إلى جانب أدواتك
ويمكن أيضًا دفع كل طلب كـ span من OpenTelemetry إلى مجمّع تختاره، من مسار الطلب، مع ضبط نقطة النهاية والترويسات في لوحة التحكم. تبقى عمليات التشغيل والدرجات في INFRO؛ وتبقى تتبّعاتك حيث يقرؤها فريقك أصلًا.
يعملان معًا. Langfuse منصة مفتوحة المصدر للمراقبة والتقييم، فيها طوابير توسيم للمراجعة البشرية وتجارب تشغّل شيفرتك، بما في ذلك الاسترجاع والأدوات، وهو ما ليس لدى INFRO. أما INFRO فتقع في مسار الطلب: توجّه الطلبات، وتحوّلها عند الفشل، وترفض الإنفاق الذي يتجاوز الحد قبل استدعاء مزوّدك، وتعمل حكّامها وتجاربها على المسار نفسه. ولم تُنشر بعد وصفة مُختبرة لإرسال spans من INFRO إلى Langfuse.
الأسئلة الشائعة
هل تستطيع INFRO إدارة المطالبات؟
نعم، في كل باقة. احفظ المطالبة كإصدارات مرقّمة ذات تسميات مثل production وstaging، وسمِّها في طلب إكمال المحادثة بحقل prompt أو بترويسة X-INFRO-Prompt. تملأ البوابة الإصدار قبل التوجيه وقوائم السماح للنماذج وضوابط الحماية وفحص الإنفاق، فيقرأ كل فحص الرسائل النهائية، ويُسجَّل الإصدار على الطلب. لا يتغير الإصدار أبدًا؛ والتراجع هو نقل التسمية إلى إصدار أقدم، تستخدمه الطلبات خلال خمس ثوانٍ ودون عملية نشر. ينقل التسمية المحمية production المالك أو المسؤول من لوحة التحكم.
كيف أجمع ملاحظات المستخدمين على إجابات الذكاء الاصطناعي؟
تحمل كل استجابة ناجحة لمفتاح بوابة ترويسة X-INFRO-Feedback-Token: رمزًا توقّعه INFRO يسمّي طلبًا واحدًا وصالحًا لسبعة أيام. سلّمه إلى الصفحة التي تعرض الإجابة، وعندما ينقر الشخص على إعجاب أو عدم إعجاب، أرسله إلى POST /v1/feedback. لا تحتاج نقطة النهاية هذه إلى مفتاح API، فلا يصل مفتاحك إلى المتصفح أبدًا، ولا يستطيع الرمز تقييم سوى طلبه هو. تظهر الملاحظات على الطلب، وعلى عملية التشغيل التي ينتمي إليها، وعلى إصدار المطالبة الذي أجاب، ولا تُحتسب الدرجات ضمن حصة الطلبات لديك.
هل تستطيع INFRO الحكم على جودة إجابات الذكاء الاصطناعي؟
نعم، بالمقيِّمات، في كل باقة. المقيِّم معايير تقييم يطبّقها نموذج محادثة تختاره على الإجابات، عبر أحد اتصالات مزوّديك من خلال البوابة. يحكم على عيّنة من الحركة الحية، ضمن حد إنفاق شهري تضعه، أو على ما يصل إلى 1,000 طلب مسجّل عند الطلب، مع تقدير أولًا وسقف إنفاق. كل حكم درجةٌ على الطلب الذي قيّمه، بجانب درجاتك وملاحظات مستخدميك النهائيين. ويبدأ الحكم بعد إرسال الإجابة، فلا يبطئها ولا يغيّرها أبدًا. وكل استدعاء للحكم طلبٌ على مزوّدك، يُفوتره لك ذلك المزوّد ويُحتسب ضمن حصة الطلبات في باقتك.
ما هي عملية التشغيل في INFRO؟
طلبات مسار عمل واحد حملت معرّف التتبّع نفسه: دورة وكيل، أو إجابة استرجاع، أو مسار معالجة مستندات. أرسل معرّف التتبّع في ترويسة X-INFRO-Trace-Id أو في metadata.trace_id، ومسار العمل في metadata، فتعرض GET /v1/runs ولوحة التحكم صفًا واحدًا لكل عملية تشغيل مع طلباتها وأخطائها ومدتها ونماذجها وتكلفة المزوّد التقديرية ودرجاتها وإصدارات مطالباتها. تشمل عملية التشغيل استدعاءات النماذج التي مرّت عبر INFRO؛ ولا تدخل قاعدة بيانات المتجهات والاسترجاع والحوسبة الخاصة بك في أرقامها.
هل يستطيع تطبيقي جلب مطالبة واستدعاء المزوّد بنفسه؟
نعم: تُرجع GET /v1/prompts رسائل إصدار وإعداداته مع أي مفتاح بوابة مسموح له باستخدام المطالبة. المطالبة المستخدمة بهذه الطريقة لا تُطبَّق عليها القواعد، لأن INFRO لا ترى الاستدعاء أبدًا: لا ينطبق عليها أي من ضوابط الحماية أو قائمة السماح أو حد الإنفاق، ولا يسجّل أي طلب الإصدار، والإجابة تذكر ذلك. تسمية المطالبة في طلب إكمال محادثة عبر INFRO هي ما يطبّق الفحوص.
كيف أختبر تغييرًا في المطالبة أو النموذج قبل طرحه؟
شغّل تجربة. ابنِ مجموعة بيانات من الطلبات المسجّلة بنقرة واحدة، أو ارفعها بصيغة JSONL أو CSV، ثم أعِد تشغيلها عبر البوابة على ما يصل إلى ستة متغيّرات: نموذج أو مسار، وإصدار مطالبة، وإعدادات. وتحكم مقيِّماتك على كل إجابة. يأتي التقدير أولًا: عدد الطلبات وتكلفة المزوّد التقديرية لكل متغيّر. ولكي تبدأ، تضع سقف إنفاق لا يقل عن ذلك التقدير، ويتوقف التشغيل إذا بلغ إنفاقه السقف. وتعرض المقارنة درجات كل متغيّر، ومعدل الأخطاء، وزمن الاستجابة p50 وp95، والتكلفة التقديرية لكل عنصر، ويؤدي Promote في لوحة التحكم إلى نقل تسمية المطالبة إلى الإصدار الذي شغّله المتغيّر.
هل يمكن للمطالبة أن تعود تلقائيًا إلى إصدار سابق حين تنخفض الجودة؟
نعم، بقاعدة تراجع على تسمية مثل production. كل خمس دقائق تقرأ القاعدة درجات الإجابات المقدَّمة من الإصدار الذي تشير إليه تلك التسمية، على نافذة زمنية تختارها: متوسط درجة ما، أو معدل النجاح لدرجة من نوع نجاح/إخفاق، أو نسبة عدم الإعجاب من مستخدميك النهائيين. وحين يتجاوز الرقم حدك مع بلوغ الحد الأدنى من الإجابات المقيَّمة، تعيد القاعدة التسمية إلى الإصدار السابق، أو تكتفي بالتنبيه. كل نقل مسجّل في سجل التدقيق ويُرسل إلى قنوات التنبيه لديك. والقاعدة التي تنقل تسمية محمية يحفظها المالك أو المسؤول من لوحة التحكم.
تجد بقية الأسئلة حول INFRO في صفحة الأسئلة الشائعة.
ابدأ الآن
الجودة والتحكم في سجل واحد.
الطلب الذي وُجِّه وقُدِّرت تكلفته وفُحص هو نفسه الطلب الذي قُيِّم، في كل باقة.