Reoo88 commited on
Commit
893f4d2
·
verified ·
1 Parent(s): 113ea7a

Fall back to primary ingest when backup route cannot open (v2.30-ingest-fallback)

Browse files
Files changed (3) hide show
  1. ingest.py +1 -1
  2. test_ingest_routes.py +70 -0
  3. youtube_manager.py +61 -2
ingest.py CHANGED
@@ -6,7 +6,7 @@ import os, threading, time
6
  from datetime import datetime
7
  from zoneinfo import ZoneInfo
8
 
9
- APP_VERSION = 'relay-v2.29-smart-mode'
10
 
11
 
12
  def env_rtmp_destination():
 
6
  from datetime import datetime
7
  from zoneinfo import ZoneInfo
8
 
9
+ APP_VERSION = 'relay-v2.30-ingest-fallback'
10
 
11
 
12
  def env_rtmp_destination():
test_ingest_routes.py CHANGED
@@ -73,4 +73,74 @@ class DiagnosticTests(unittest.TestCase):
73
  local=s.command('out.flv',{'codec':'h264'})
74
  self.assertEqual(local[local.index('-loglevel')+1],'info')
75
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
76
  if __name__=='__main__':unittest.main(argv=[sys.argv[0]],verbosity=2)
 
73
  local=s.command('out.flv',{'codec':'h264'})
74
  self.assertEqual(local[local.index('-loglevel')+1],'info')
75
 
76
+ class _FakeSender:
77
+ """أصغر مرسل يراه _note_early_exit: فشل خرج لم يفتح الاتصال أصلًا."""
78
+ def __init__(self,phase='opening',output=0.0):
79
+ self.last_exit_code=187;self.last_failure_side='output';self.last_source_gap=0.0
80
+ self._snap={'output_seconds':output,'rtmp_phase':phase,'source_bytes':309046,'send_mode':'copy'}
81
+ def snapshot(self):return dict(self._snap)
82
+ def send_mode(self):return 'copy'
83
+
84
+ class IngestFallbackTests(unittest.TestCase):
85
+ """حادثة 2026-10-14: البديل b.rtmps لا يفتح TLS من المساحة، والتفضيل المحفوظ
86
+ كان يُعيد تثبيته في كل تجديد فلا يبدأ الحدث أبدًا. الرجوع للأساسي بعد فتحين فاشلين."""
87
+ def setUp(self):
88
+ self.tmp=tempfile.TemporaryDirectory();self.addCleanup(self.tmp.cleanup)
89
+ self.mgr=ManagedYouTube('/bin/true',lambda u:None,lambda *a:None,lambda:['alice'],
90
+ pathlib.Path(self.tmp.name)/'journal.json')
91
+ self.mgr.journal.change(lambda d:d.update(channel={'id':'CHANNEL'},streams={'alice':{'id':'STREAM'}}))
92
+ self.primary='rtmps://a.rtmps.youtube.com/live2/test-ingest-only'
93
+ self.backup='rtmps://b.rtmps.youtube.com:443/live2/test-ingest-only?backup=1'
94
+ self.mgr._ingest_routes['alice']={'urls':[self.primary,self.backup], 'channel_id':'CHANNEL','stream_id':'STREAM'}
95
+ self.mgr.destinations['alice']=self.backup
96
+ self.mgr._ingest_preferred['alice']=1
97
+
98
+ def test_never_opened_classification(self):
99
+ self.assertTrue(ManagedYouTube._never_opened(_FakeSender('opening')))
100
+ self.assertTrue(ManagedYouTube._never_opened(_FakeSender('handshake')))
101
+ self.assertTrue(ManagedYouTube._never_opened(_FakeSender('')))
102
+ self.assertFalse(ManagedYouTube._never_opened(_FakeSender('publish'))) # رفض نشر لا فشل فتح
103
+ self.assertFalse(ManagedYouTube._never_opened(_FakeSender('accepted')))
104
+ self.assertFalse(ManagedYouTube._never_opened(_FakeSender('opening',output=3.0))) # وصل خرج فعلًا
105
+
106
+ def test_second_open_failure_falls_back_to_primary_and_blocks_backup(self):
107
+ s=_FakeSender()
108
+ self.mgr._note_early_exit('alice',s,11.0)
109
+ self.assertEqual(self.mgr.destinations['alice'],self.backup) # فرصة فتح ثانية أولًا
110
+ self.assertEqual(self.mgr._ingest_open_failures.get('alice'),1)
111
+ self.mgr.hammer['alice']=3 # عقوبة متراكمة على البديل الميت يجب أن تذهب معه
112
+ self.mgr._note_early_exit('alice',s,11.0)
113
+ self.assertEqual(self.mgr.destinations['alice'],self.primary)
114
+ self.assertEqual(self.mgr._ingest_preferred['alice'],0)
115
+ self.assertIn(1,self.mgr._ingest_route_blocked.get('alice') or set())
116
+ self.assertNotIn('alice',self.mgr.hammer)
117
+ self.assertNotIn('alice',self.mgr._ingest_open_failures)
118
+
119
+ def test_blocked_backup_is_not_switched_back_to(self):
120
+ s=_FakeSender()
121
+ self.mgr._note_early_exit('alice',s,11.0)
122
+ self.mgr._note_early_exit('alice',s,11.0)
123
+ self.assertFalse(self.mgr.switch_ingest_route('alice'))
124
+ self.assertEqual(self.mgr.destinations['alice'],self.primary)
125
+
126
+ def test_stable_stream_forgives_blocked_route(self):
127
+ s=_FakeSender()
128
+ self.mgr._note_early_exit('alice',s,11.0)
129
+ self.mgr._note_early_exit('alice',s,11.0)
130
+ self.assertIn(1,self.mgr._ingest_route_blocked.get('alice') or set())
131
+ self.mgr.mark_stream_stable('alice')
132
+ self.assertFalse(self.mgr._ingest_route_blocked.get('alice'))
133
+ self.assertTrue(self.mgr.switch_ingest_route('alice')) # يُجرَّب من جديد في حادثة قادمة
134
+
135
+ def test_publish_rejection_on_backup_is_not_counted_as_open_failure(self):
136
+ self.mgr._note_early_exit('alice',_FakeSender('publish'),11.0)
137
+ self.assertFalse(self.mgr._ingest_open_failures.get('alice'))
138
+ self.assertEqual(self.mgr._ingest_preferred['alice'],1) # مسار الرفض الطبيعي لا الرجوع الفوري
139
+
140
+ def test_open_failure_on_primary_is_not_counted(self):
141
+ self.mgr.destinations['alice']=self.primary
142
+ self.mgr._ingest_preferred['alice']=0
143
+ self.mgr._note_early_exit('alice',_FakeSender('opening'),11.0)
144
+ self.assertFalse(self.mgr._ingest_open_failures.get('alice'))
145
+
146
  if __name__=='__main__':unittest.main(argv=[sys.argv[0]],verbosity=2)
youtube_manager.py CHANGED
@@ -33,6 +33,8 @@ class ManagedYouTube:
33
  self.senders={} # session_key -> {'thread','stop','sender'}
34
  self.destinations={} # username -> rtmps url (in-memory only, never persisted)
35
  self._ingest_routes={};self._ingest_preferred={}
 
 
36
  self.scan=max(8,int(os.getenv('YOUTUBE_SCAN_SECONDS') or os.getenv('CHECK_INTERVAL','20')))
37
  self.end_grace=max(15,int(os.getenv('YOUTUBE_END_GRACE','40')))
38
  self._unstable={}
@@ -535,13 +537,47 @@ class ManagedYouTube:
535
  choices=routes.get('urls') or []
536
  if len(choices)<2:return False
537
  current=self.destinations.get(user)
538
- alt=next((u for u in choices if u!=current),None)
 
539
  if not alt:return False
540
  self._ingest_preferred[user]=choices.index(alt)
541
  self.destinations[user]=alt
 
542
  self.log(user,'[RECOVERY] تجربة مستقبل RTMPS البديل من يوتيوب بنفس المصدر والحدث؛ بلا إنشاء مفتاح جديد')
543
  return True
544
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
545
  def ensure_stream(self,user):
546
  d=self.journal.read();st=d['streams'].get(user) or {}
547
  markers=self.stream_markers(user,bool(st.get('legacy')))
@@ -805,7 +841,7 @@ class ManagedYouTube:
805
  store.clear();cleared.append(name)
806
  if self.destinations:
807
  self.destinations.clear();cleared.append('destinations')
808
- self._ingest_routes.clear();self._ingest_preferred.clear()
809
  try:
810
  for user in list(hub.light_reservations):
811
  hub.release_light(user)
@@ -1231,6 +1267,9 @@ class ManagedYouTube:
1231
  # 25 ث مُسلَّمة تُثبت أن المسار الحالي يكفي: يُلغى تناوب النقل الذي فرضه الجوع
1232
  self.starve.pop(user, None)
1233
  self._skip_hold.discard(user)
 
 
 
1234
  cleared = 0
1235
  for k in list(self.retry_at):
1236
  if self.journal.read()['events'].get(k, {}).get('username') == user:
@@ -1272,6 +1311,26 @@ class ManagedYouTube:
1272
  % (gap, code, '؛ أُلغي تأجيل سابق' if was is not None else ''))
1273
  self.retry[user] = self.retry_min
1274
  return
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1275
  if lasted >= 25:
1276
  # نفس الدالة التي يستدعيها المرسل وهو يعمل: نسخة واحدة من التعافي لا نسختان.
1277
  # A confirmed output failure still becomes attempt #1 after clearing old history;
 
33
  self.senders={} # session_key -> {'thread','stop','sender'}
34
  self.destinations={} # username -> rtmps url (in-memory only, never persisted)
35
  self._ingest_routes={};self._ingest_preferred={}
36
+ self._ingest_open_failures={} # username -> مرات متتالية لم يُفتح فيها الاتصال على المسار الحالي
37
+ self._ingest_route_blocked={} # username -> فهارس مسارات لم تفتح أصلًا؛ لا تُعاد تجربتها حتى يثبت مسار
38
  self.scan=max(8,int(os.getenv('YOUTUBE_SCAN_SECONDS') or os.getenv('CHECK_INTERVAL','20')))
39
  self.end_grace=max(15,int(os.getenv('YOUTUBE_END_GRACE','40')))
40
  self._unstable={}
 
537
  choices=routes.get('urls') or []
538
  if len(choices)<2:return False
539
  current=self.destinations.get(user)
540
+ blocked=self._ingest_route_blocked.get(user) or set()
541
+ alt=next((u for i,u in enumerate(choices) if u!=current and i not in blocked),None)
542
  if not alt:return False
543
  self._ingest_preferred[user]=choices.index(alt)
544
  self.destinations[user]=alt
545
+ self._ingest_open_failures.pop(user,None) # مسار جديد: عدّاد فتح جديد
546
  self.log(user,'[RECOVERY] تجربة مستقبل RTMPS البديل من يوتيوب بنفس المصدر والحدث؛ بلا إنشاء مفتاح جديد')
547
  return True
548
 
549
+ @staticmethod
550
+ def _never_opened(sender):
551
+ """الاتصال لم يُفتح أصلًا: لا ثانية خرج واحدة ولم نبلغ حتى أمر النشر.
552
+ هذا فشل وصول إلى العنوان (TLS/شبكة) لا رفض نشر — علاجه الرجوع عن العنوان
553
+ لا إعادة قراءة المفتاح ولا تغيير الترميز."""
554
+ try:snap=sender.snapshot() or {}
555
+ except Exception:snap={}
556
+ if float(snap.get('output_seconds') or 0)>0:return False
557
+ return str(snap.get('rtmp_phase') or '') in ('','opening','handshake')
558
+
559
+ def fallback_ingest_route(self,user):
560
+ """المسار غير الأساسي لم يفتح الاتصال أصلًا مرتين متتاليتين: أُغلق هذا المسار
561
+ حتى يثبت مسار آخر، ورجع التفضيل إلى الأساسي بنفس المفتاح والحدث. بلا هذا كان
562
+ ensure_stream يُعيد تثبيت العنوان البديل غير القابل للوصول في كل تجديد فتموت
563
+ كل محاولة قبل أول إطار (حادثة 2026-10-14: بث حيّ لم يبدأ على يوتيوب أبدًا)."""
564
+ routes=self._ingest_routes.get(user) or {}
565
+ d=self.journal.read()
566
+ if (routes.get('channel_id')!=(d.get('channel') or {}).get('id') or
567
+ routes.get('stream_id')!=(d.get('streams',{}).get(user) or {}).get('id')):
568
+ return False # نفس حارس ملكية switch_ingest_route
569
+ choices=routes.get('urls') or []
570
+ if len(choices)<2:return False
571
+ pref=int(self._ingest_preferred.get(user,0) or 0)
572
+ if pref<=0 or pref>=len(choices):return False
573
+ self._ingest_route_blocked.setdefault(user,set()).add(pref)
574
+ self._ingest_preferred[user]=0
575
+ self.destinations[user]=choices[0]
576
+ self._ingest_open_failures.pop(user,None)
577
+ self.log(user,'[RECOVERY] مستقبل RTMPS البديل لم يفتح الاتصال أصلًا مرتين (لا إطار واحد مُرسل)؛ '
578
+ 'أُغلق هذا المسار حتى يثبت مسار، ورجعنا إلى المستقبل الأساسي بنفس المفتاح والحدث')
579
+ return True
580
+
581
  def ensure_stream(self,user):
582
  d=self.journal.read();st=d['streams'].get(user) or {}
583
  markers=self.stream_markers(user,bool(st.get('legacy')))
 
841
  store.clear();cleared.append(name)
842
  if self.destinations:
843
  self.destinations.clear();cleared.append('destinations')
844
+ self._ingest_routes.clear();self._ingest_preferred.clear();self._ingest_open_failures.clear();self._ingest_route_blocked.clear()
845
  try:
846
  for user in list(hub.light_reservations):
847
  hub.release_light(user)
 
1267
  # 25 ث مُسلَّمة تُثبت أن المسار الحالي يكفي: يُلغى تناوب النقل الذي فرضه الجوع
1268
  self.starve.pop(user, None)
1269
  self._skip_hold.discard(user)
1270
+ # مسار أثبت نفسه: تُنسى إخفاقات الفتح وحظر المسارات (قد يتعافى البديل لاحقًا)
1271
+ self._ingest_open_failures.pop(user, None)
1272
+ self._ingest_route_blocked.pop(user, None)
1273
  cleared = 0
1274
  for k in list(self.retry_at):
1275
  if self.journal.read()['events'].get(k, {}).get('username') == user:
 
1311
  % (gap, code, '؛ أُلغي تأجيل سابق' if was is not None else ''))
1312
  self.retry[user] = self.retry_min
1313
  return
1314
+ if output_side and int(self._ingest_preferred.get(user,0) or 0)>0 and self._never_opened(sender):
1315
+ # مسار بديل لم يفتح الاتصال أصلًا (TLS/وصول، لا إطار واحد): عقوبات «الوجهة
1316
+ # أغلقت بعد بدء النشر» لا تنطبق — العنوان غير قابل للوصول من هنا. محاولة فتح
1317
+ # ثانية فورية، ثم رجوع قسري إلى الأساسي بلا بقايا تأجيل تراكمت على البديل.
1318
+ opens=int(self._ingest_open_failures.get(user,0) or 0)+1
1319
+ self._ingest_open_failures[user]=opens
1320
+ if opens>=2 and self.fallback_ingest_route(user):
1321
+ self.hammer.pop(user,None)
1322
+ for k,ev in self.journal.read()['events'].items():
1323
+ if ev.get('username')==user:
1324
+ self.retry_at.pop(k,None)
1325
+ if str(ev.get('note') or '').startswith('إعادة الاتصال مؤجّلة'):
1326
+ self.event_note(k,'')
1327
+ self.retry[user]=self.retry_min
1328
+ return
1329
+ if opens==1:
1330
+ self.retry[user]=self.retry_min
1331
+ self.log(user,'[WATCHDOG] مستقبل RTMPS البديل لم يفتح الاتصال أصلًا (لا إطار مُرسل)؛ محاولة فتح ثانية فورية قبل الحكم على المسار')
1332
+ return
1333
+ # تعذّر الرجوع (تغيّرت الملكية؟): يكمل مسار العقوبات الطبيعي أدناه
1334
  if lasted >= 25:
1335
  # نفس الدالة التي يستدعيها المرسل وهو يعمل: نسخة واحدة من التعافي لا نسختان.
1336
  # A confirmed output failure still becomes attempt #1 after clearing old history;