Fall back to primary ingest when backup route cannot open (v2.30-ingest-fallback)
Browse files- ingest.py +1 -1
- test_ingest_routes.py +70 -0
- youtube_manager.py +61 -2
ingest.py
CHANGED
|
@@ -6,7 +6,7 @@ import os, threading, time
|
|
| 6 |
from datetime import datetime
|
| 7 |
from zoneinfo import ZoneInfo
|
| 8 |
|
| 9 |
-
APP_VERSION = 'relay-v2.
|
| 10 |
|
| 11 |
|
| 12 |
def env_rtmp_destination():
|
|
|
|
| 6 |
from datetime import datetime
|
| 7 |
from zoneinfo import ZoneInfo
|
| 8 |
|
| 9 |
+
APP_VERSION = 'relay-v2.30-ingest-fallback'
|
| 10 |
|
| 11 |
|
| 12 |
def env_rtmp_destination():
|
test_ingest_routes.py
CHANGED
|
@@ -73,4 +73,74 @@ class DiagnosticTests(unittest.TestCase):
|
|
| 73 |
local=s.command('out.flv',{'codec':'h264'})
|
| 74 |
self.assertEqual(local[local.index('-loglevel')+1],'info')
|
| 75 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 76 |
if __name__=='__main__':unittest.main(argv=[sys.argv[0]],verbosity=2)
|
|
|
|
| 73 |
local=s.command('out.flv',{'codec':'h264'})
|
| 74 |
self.assertEqual(local[local.index('-loglevel')+1],'info')
|
| 75 |
|
| 76 |
+
class _FakeSender:
|
| 77 |
+
"""أصغر مرسل يراه _note_early_exit: فشل خرج لم يفتح الاتصال أصلًا."""
|
| 78 |
+
def __init__(self,phase='opening',output=0.0):
|
| 79 |
+
self.last_exit_code=187;self.last_failure_side='output';self.last_source_gap=0.0
|
| 80 |
+
self._snap={'output_seconds':output,'rtmp_phase':phase,'source_bytes':309046,'send_mode':'copy'}
|
| 81 |
+
def snapshot(self):return dict(self._snap)
|
| 82 |
+
def send_mode(self):return 'copy'
|
| 83 |
+
|
| 84 |
+
class IngestFallbackTests(unittest.TestCase):
|
| 85 |
+
"""حادثة 2026-10-14: البديل b.rtmps لا يفتح TLS من المساحة، والتفضيل المحفوظ
|
| 86 |
+
كان يُعيد تثبيته في كل تجديد فلا يبدأ الحدث أبدًا. الرجوع للأساسي بعد فتحين فاشلين."""
|
| 87 |
+
def setUp(self):
|
| 88 |
+
self.tmp=tempfile.TemporaryDirectory();self.addCleanup(self.tmp.cleanup)
|
| 89 |
+
self.mgr=ManagedYouTube('/bin/true',lambda u:None,lambda *a:None,lambda:['alice'],
|
| 90 |
+
pathlib.Path(self.tmp.name)/'journal.json')
|
| 91 |
+
self.mgr.journal.change(lambda d:d.update(channel={'id':'CHANNEL'},streams={'alice':{'id':'STREAM'}}))
|
| 92 |
+
self.primary='rtmps://a.rtmps.youtube.com/live2/test-ingest-only'
|
| 93 |
+
self.backup='rtmps://b.rtmps.youtube.com:443/live2/test-ingest-only?backup=1'
|
| 94 |
+
self.mgr._ingest_routes['alice']={'urls':[self.primary,self.backup], 'channel_id':'CHANNEL','stream_id':'STREAM'}
|
| 95 |
+
self.mgr.destinations['alice']=self.backup
|
| 96 |
+
self.mgr._ingest_preferred['alice']=1
|
| 97 |
+
|
| 98 |
+
def test_never_opened_classification(self):
|
| 99 |
+
self.assertTrue(ManagedYouTube._never_opened(_FakeSender('opening')))
|
| 100 |
+
self.assertTrue(ManagedYouTube._never_opened(_FakeSender('handshake')))
|
| 101 |
+
self.assertTrue(ManagedYouTube._never_opened(_FakeSender('')))
|
| 102 |
+
self.assertFalse(ManagedYouTube._never_opened(_FakeSender('publish'))) # رفض نشر لا فشل فتح
|
| 103 |
+
self.assertFalse(ManagedYouTube._never_opened(_FakeSender('accepted')))
|
| 104 |
+
self.assertFalse(ManagedYouTube._never_opened(_FakeSender('opening',output=3.0))) # وصل خرج فعلًا
|
| 105 |
+
|
| 106 |
+
def test_second_open_failure_falls_back_to_primary_and_blocks_backup(self):
|
| 107 |
+
s=_FakeSender()
|
| 108 |
+
self.mgr._note_early_exit('alice',s,11.0)
|
| 109 |
+
self.assertEqual(self.mgr.destinations['alice'],self.backup) # فرصة فتح ثانية أولًا
|
| 110 |
+
self.assertEqual(self.mgr._ingest_open_failures.get('alice'),1)
|
| 111 |
+
self.mgr.hammer['alice']=3 # عقوبة متراكمة على البديل الميت يجب أن تذهب معه
|
| 112 |
+
self.mgr._note_early_exit('alice',s,11.0)
|
| 113 |
+
self.assertEqual(self.mgr.destinations['alice'],self.primary)
|
| 114 |
+
self.assertEqual(self.mgr._ingest_preferred['alice'],0)
|
| 115 |
+
self.assertIn(1,self.mgr._ingest_route_blocked.get('alice') or set())
|
| 116 |
+
self.assertNotIn('alice',self.mgr.hammer)
|
| 117 |
+
self.assertNotIn('alice',self.mgr._ingest_open_failures)
|
| 118 |
+
|
| 119 |
+
def test_blocked_backup_is_not_switched_back_to(self):
|
| 120 |
+
s=_FakeSender()
|
| 121 |
+
self.mgr._note_early_exit('alice',s,11.0)
|
| 122 |
+
self.mgr._note_early_exit('alice',s,11.0)
|
| 123 |
+
self.assertFalse(self.mgr.switch_ingest_route('alice'))
|
| 124 |
+
self.assertEqual(self.mgr.destinations['alice'],self.primary)
|
| 125 |
+
|
| 126 |
+
def test_stable_stream_forgives_blocked_route(self):
|
| 127 |
+
s=_FakeSender()
|
| 128 |
+
self.mgr._note_early_exit('alice',s,11.0)
|
| 129 |
+
self.mgr._note_early_exit('alice',s,11.0)
|
| 130 |
+
self.assertIn(1,self.mgr._ingest_route_blocked.get('alice') or set())
|
| 131 |
+
self.mgr.mark_stream_stable('alice')
|
| 132 |
+
self.assertFalse(self.mgr._ingest_route_blocked.get('alice'))
|
| 133 |
+
self.assertTrue(self.mgr.switch_ingest_route('alice')) # يُجرَّب من جديد في حادثة قادمة
|
| 134 |
+
|
| 135 |
+
def test_publish_rejection_on_backup_is_not_counted_as_open_failure(self):
|
| 136 |
+
self.mgr._note_early_exit('alice',_FakeSender('publish'),11.0)
|
| 137 |
+
self.assertFalse(self.mgr._ingest_open_failures.get('alice'))
|
| 138 |
+
self.assertEqual(self.mgr._ingest_preferred['alice'],1) # مسار الرفض الطبيعي لا الرجوع الفوري
|
| 139 |
+
|
| 140 |
+
def test_open_failure_on_primary_is_not_counted(self):
|
| 141 |
+
self.mgr.destinations['alice']=self.primary
|
| 142 |
+
self.mgr._ingest_preferred['alice']=0
|
| 143 |
+
self.mgr._note_early_exit('alice',_FakeSender('opening'),11.0)
|
| 144 |
+
self.assertFalse(self.mgr._ingest_open_failures.get('alice'))
|
| 145 |
+
|
| 146 |
if __name__=='__main__':unittest.main(argv=[sys.argv[0]],verbosity=2)
|
youtube_manager.py
CHANGED
|
@@ -33,6 +33,8 @@ class ManagedYouTube:
|
|
| 33 |
self.senders={} # session_key -> {'thread','stop','sender'}
|
| 34 |
self.destinations={} # username -> rtmps url (in-memory only, never persisted)
|
| 35 |
self._ingest_routes={};self._ingest_preferred={}
|
|
|
|
|
|
|
| 36 |
self.scan=max(8,int(os.getenv('YOUTUBE_SCAN_SECONDS') or os.getenv('CHECK_INTERVAL','20')))
|
| 37 |
self.end_grace=max(15,int(os.getenv('YOUTUBE_END_GRACE','40')))
|
| 38 |
self._unstable={}
|
|
@@ -535,13 +537,47 @@ class ManagedYouTube:
|
|
| 535 |
choices=routes.get('urls') or []
|
| 536 |
if len(choices)<2:return False
|
| 537 |
current=self.destinations.get(user)
|
| 538 |
-
|
|
|
|
| 539 |
if not alt:return False
|
| 540 |
self._ingest_preferred[user]=choices.index(alt)
|
| 541 |
self.destinations[user]=alt
|
|
|
|
| 542 |
self.log(user,'[RECOVERY] تجربة مستقبل RTMPS البديل من يوتيوب بنفس المصدر والحدث؛ بلا إنشاء مفتاح جديد')
|
| 543 |
return True
|
| 544 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 545 |
def ensure_stream(self,user):
|
| 546 |
d=self.journal.read();st=d['streams'].get(user) or {}
|
| 547 |
markers=self.stream_markers(user,bool(st.get('legacy')))
|
|
@@ -805,7 +841,7 @@ class ManagedYouTube:
|
|
| 805 |
store.clear();cleared.append(name)
|
| 806 |
if self.destinations:
|
| 807 |
self.destinations.clear();cleared.append('destinations')
|
| 808 |
-
self._ingest_routes.clear();self._ingest_preferred.clear()
|
| 809 |
try:
|
| 810 |
for user in list(hub.light_reservations):
|
| 811 |
hub.release_light(user)
|
|
@@ -1231,6 +1267,9 @@ class ManagedYouTube:
|
|
| 1231 |
# 25 ث مُسلَّمة تُثبت أن المسار الحالي يكفي: يُلغى تناوب النقل الذي فرضه الجوع
|
| 1232 |
self.starve.pop(user, None)
|
| 1233 |
self._skip_hold.discard(user)
|
|
|
|
|
|
|
|
|
|
| 1234 |
cleared = 0
|
| 1235 |
for k in list(self.retry_at):
|
| 1236 |
if self.journal.read()['events'].get(k, {}).get('username') == user:
|
|
@@ -1272,6 +1311,26 @@ class ManagedYouTube:
|
|
| 1272 |
% (gap, code, '؛ أُلغي تأجيل سابق' if was is not None else ''))
|
| 1273 |
self.retry[user] = self.retry_min
|
| 1274 |
return
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1275 |
if lasted >= 25:
|
| 1276 |
# نفس الدالة التي يستدعيها المرسل وهو يعمل: نسخة واحدة من التعافي لا نسختان.
|
| 1277 |
# A confirmed output failure still becomes attempt #1 after clearing old history;
|
|
|
|
| 33 |
self.senders={} # session_key -> {'thread','stop','sender'}
|
| 34 |
self.destinations={} # username -> rtmps url (in-memory only, never persisted)
|
| 35 |
self._ingest_routes={};self._ingest_preferred={}
|
| 36 |
+
self._ingest_open_failures={} # username -> مرات متتالية لم يُفتح فيها الاتصال على المسار الحالي
|
| 37 |
+
self._ingest_route_blocked={} # username -> فهارس مسارات لم تفتح أصلًا؛ لا تُعاد تجربتها حتى يثبت مسار
|
| 38 |
self.scan=max(8,int(os.getenv('YOUTUBE_SCAN_SECONDS') or os.getenv('CHECK_INTERVAL','20')))
|
| 39 |
self.end_grace=max(15,int(os.getenv('YOUTUBE_END_GRACE','40')))
|
| 40 |
self._unstable={}
|
|
|
|
| 537 |
choices=routes.get('urls') or []
|
| 538 |
if len(choices)<2:return False
|
| 539 |
current=self.destinations.get(user)
|
| 540 |
+
blocked=self._ingest_route_blocked.get(user) or set()
|
| 541 |
+
alt=next((u for i,u in enumerate(choices) if u!=current and i not in blocked),None)
|
| 542 |
if not alt:return False
|
| 543 |
self._ingest_preferred[user]=choices.index(alt)
|
| 544 |
self.destinations[user]=alt
|
| 545 |
+
self._ingest_open_failures.pop(user,None) # مسار جديد: عدّاد فتح جديد
|
| 546 |
self.log(user,'[RECOVERY] تجربة مستقبل RTMPS البديل من يوتيوب بنفس المصدر والحدث؛ بلا إنشاء مفتاح جديد')
|
| 547 |
return True
|
| 548 |
|
| 549 |
+
@staticmethod
|
| 550 |
+
def _never_opened(sender):
|
| 551 |
+
"""الاتصال لم يُفتح أصلًا: لا ثانية خرج واحدة ولم نبلغ حتى أمر النشر.
|
| 552 |
+
هذا فشل وصول إلى العنوان (TLS/شبكة) لا رفض نشر — علاجه الرجوع عن العنوان
|
| 553 |
+
لا إعادة قراءة المفتاح ولا تغيير الترميز."""
|
| 554 |
+
try:snap=sender.snapshot() or {}
|
| 555 |
+
except Exception:snap={}
|
| 556 |
+
if float(snap.get('output_seconds') or 0)>0:return False
|
| 557 |
+
return str(snap.get('rtmp_phase') or '') in ('','opening','handshake')
|
| 558 |
+
|
| 559 |
+
def fallback_ingest_route(self,user):
|
| 560 |
+
"""المسار غير الأساسي لم يفتح الاتصال أصلًا مرتين متتاليتين: أُغلق هذا المسار
|
| 561 |
+
حتى يثبت مسار آخر، ورجع التفضيل إلى الأساسي بنفس المفتاح والحدث. بلا هذا كان
|
| 562 |
+
ensure_stream يُعيد تثبيت العنوان البديل غير القابل للوصول في كل تجديد فتموت
|
| 563 |
+
كل محاولة قبل أول إطار (حادثة 2026-10-14: بث حيّ لم يبدأ على يوتيوب أبدًا)."""
|
| 564 |
+
routes=self._ingest_routes.get(user) or {}
|
| 565 |
+
d=self.journal.read()
|
| 566 |
+
if (routes.get('channel_id')!=(d.get('channel') or {}).get('id') or
|
| 567 |
+
routes.get('stream_id')!=(d.get('streams',{}).get(user) or {}).get('id')):
|
| 568 |
+
return False # نفس حارس ملكية switch_ingest_route
|
| 569 |
+
choices=routes.get('urls') or []
|
| 570 |
+
if len(choices)<2:return False
|
| 571 |
+
pref=int(self._ingest_preferred.get(user,0) or 0)
|
| 572 |
+
if pref<=0 or pref>=len(choices):return False
|
| 573 |
+
self._ingest_route_blocked.setdefault(user,set()).add(pref)
|
| 574 |
+
self._ingest_preferred[user]=0
|
| 575 |
+
self.destinations[user]=choices[0]
|
| 576 |
+
self._ingest_open_failures.pop(user,None)
|
| 577 |
+
self.log(user,'[RECOVERY] مستقبل RTMPS البديل لم يفتح الاتصال أصلًا مرتين (لا إطار واحد مُرسل)؛ '
|
| 578 |
+
'أُغلق هذا المسار حتى يثبت مسار، ورجعنا إلى المستقبل الأساسي بنفس المفتاح والحدث')
|
| 579 |
+
return True
|
| 580 |
+
|
| 581 |
def ensure_stream(self,user):
|
| 582 |
d=self.journal.read();st=d['streams'].get(user) or {}
|
| 583 |
markers=self.stream_markers(user,bool(st.get('legacy')))
|
|
|
|
| 841 |
store.clear();cleared.append(name)
|
| 842 |
if self.destinations:
|
| 843 |
self.destinations.clear();cleared.append('destinations')
|
| 844 |
+
self._ingest_routes.clear();self._ingest_preferred.clear();self._ingest_open_failures.clear();self._ingest_route_blocked.clear()
|
| 845 |
try:
|
| 846 |
for user in list(hub.light_reservations):
|
| 847 |
hub.release_light(user)
|
|
|
|
| 1267 |
# 25 ث مُسلَّمة تُثبت أن المسار الحالي يكفي: يُلغى تناوب النقل الذي فرضه الجوع
|
| 1268 |
self.starve.pop(user, None)
|
| 1269 |
self._skip_hold.discard(user)
|
| 1270 |
+
# مسار أثبت نفسه: تُنسى إخفاقات الفتح وحظر المسارات (قد يتعافى البديل لاحقًا)
|
| 1271 |
+
self._ingest_open_failures.pop(user, None)
|
| 1272 |
+
self._ingest_route_blocked.pop(user, None)
|
| 1273 |
cleared = 0
|
| 1274 |
for k in list(self.retry_at):
|
| 1275 |
if self.journal.read()['events'].get(k, {}).get('username') == user:
|
|
|
|
| 1311 |
% (gap, code, '؛ أُلغي تأجيل سابق' if was is not None else ''))
|
| 1312 |
self.retry[user] = self.retry_min
|
| 1313 |
return
|
| 1314 |
+
if output_side and int(self._ingest_preferred.get(user,0) or 0)>0 and self._never_opened(sender):
|
| 1315 |
+
# مسار بديل لم يفتح الاتصال أصلًا (TLS/وصول، لا إطار واحد): عقوبات «الوجهة
|
| 1316 |
+
# أغلقت بعد بدء النشر» لا تنطبق — العنوان غير قابل للوصول من هنا. محاولة فتح
|
| 1317 |
+
# ثانية فورية، ثم رجوع قسري إلى الأساسي بلا بقايا تأجيل تراكمت على البديل.
|
| 1318 |
+
opens=int(self._ingest_open_failures.get(user,0) or 0)+1
|
| 1319 |
+
self._ingest_open_failures[user]=opens
|
| 1320 |
+
if opens>=2 and self.fallback_ingest_route(user):
|
| 1321 |
+
self.hammer.pop(user,None)
|
| 1322 |
+
for k,ev in self.journal.read()['events'].items():
|
| 1323 |
+
if ev.get('username')==user:
|
| 1324 |
+
self.retry_at.pop(k,None)
|
| 1325 |
+
if str(ev.get('note') or '').startswith('إعادة الاتصال مؤجّلة'):
|
| 1326 |
+
self.event_note(k,'')
|
| 1327 |
+
self.retry[user]=self.retry_min
|
| 1328 |
+
return
|
| 1329 |
+
if opens==1:
|
| 1330 |
+
self.retry[user]=self.retry_min
|
| 1331 |
+
self.log(user,'[WATCHDOG] مستقبل RTMPS البديل لم يفتح الاتصال أصلًا (لا إطار مُرسل)؛ محاولة فتح ثانية فورية قبل الحكم على المسار')
|
| 1332 |
+
return
|
| 1333 |
+
# تعذّر الرجوع (تغيّرت الملكية؟): يكمل مسار العقوبات الطبيعي أدناه
|
| 1334 |
if lasted >= 25:
|
| 1335 |
# نفس الدالة التي يستدعيها المرسل وهو يعمل: نسخة واحدة من التعافي لا نسختان.
|
| 1336 |
# A confirmed output failure still becomes attempt #1 after clearing old history;
|