Delete bd.py

bd.py

@@ -1,138 +0,0 @@
-# Установка необходимых библиотек
-import sys
-!pip install feedparser requests beautifulsoup4
-
-import pandas as pd
-from datetime import datetime, timedelta
-from bs4 import BeautifulSoup
-import requests
-import re
-
-# 1. Определение RSS-ленты
-rss_url = 'https://vecherka.su/rss/'
-feed = feedparser.parse(rss_url)
-
-# 2. Определение диапазона дат (сегодня и вчера)
-today_date = datetime.now()
-yesterday_date = today_date - timedelta(days=1)
-
-# Форматирование дат в 'DD-MM-YYYY' для последовательного сравнения
-today_str = today_date.strftime('%d-%m-%Y')
-yesterday_str = yesterday_date.strftime('%d-%m-%Y')
-
-# 3. Инициализация списка для хранения новостей
-news_data = []
-
-# 4. Извлечение данных из RSS-ленты
-for entry in feed.entries:
-    title = entry.title
-    news_link = entry.link
-
-    published_date_str = entry.published
-
-    # Попытка парсинга даты в нескольких форматах
-    parsed_date = None
-    try:
-        parsed_date = datetime.strptime(published_date_str, '%a, %d %b %Y %H:%M:%S %z')
-    except ValueError:
-        try:
-            parsed_date = datetime.strptime(published_date_str, '%a, %d %b %Y %H:%M:%S %Z')
-        except ValueError:
-            try:
-                parsed_date = datetime.strptime(published_date_str, '%a, %d %b %Y %H:%M:%S %z')
-            except ValueError:
-                try:
-                    date_parts = published_date_str.split(' ')[1:4]
-                    if len(date_parts) == 3:
-                         parsed_date = datetime.strptime(' '.join(date_parts), '%d %b %Y')
-                    else:
-                        raise ValueError("Insufficient date parts for parsing")
-                except ValueError:
-                    print(f"Could not parse date for entry: {title} - {published_date_str}")
-                    continue
-
-    if parsed_date:
-        article_date_str = parsed_date.strftime('%d-%m-%Y')
-
-        # Фильтрация статей, опубликованных сегодня или вчера
-        if article_date_str == today_str or article_date_str == yesterday_str:
-            image_urls = []
-
-            # Извлечение изображений из media_content
-            if 'media_content' in entry and len(image_urls) < 3:
-                for media in entry.media_content:
-                    if media.get('type', '').startswith('image/') and media.get('url') and media.get('url') not in image_urls:
-                        image_urls.append(media['url'])
-                        if len(image_urls) == 3: break
-
-            # Извлечение изображений из ссылок (rel='enclosure')
-            if 'links' in entry and len(image_urls) < 3:
-                for link in entry.links:
-                    if link.get('rel') == 'enclosure' and link.get('type', '').startswith('image/') and link.get('href') and link.get('href') not in image_urls:
-                        image_urls.append(link['href'])
-                        if len(image_urls) == 3: break
-
-            # Извлечение изображений из HTML-содержимого (summary или content)
-            html_content = ''
-            if 'summary' in entry:
-                html_content = entry.summary
-            elif 'content' in entry and entry.content:
-                html_content = entry.content[0].value
-
-            if html_content and len(image_urls) < 3:
-                soup = BeautifulSoup(html_content, 'html.parser')
-                img_tags = soup.find_all('img')
-                for img in img_tags:
-                    if img.get('src') and img.get('src') not in image_urls:
-                        image_urls.append(img['src'])
-                        if len(image_urls) == 3: break
-
-            # Извлечение полного текста новости по ссылке
-            full_text = ""
-            try:
-                response = requests.get(news_link)
-                response.raise_for_status()
-                article_soup = BeautifulSoup(response.text, 'html.parser')
-                detail_text_div = article_soup.find('div', class_='detail-text')
-                if detail_text_div:
-                    full_text = detail_text_div.get_text(separator=' ', strip=True)
-                    # Удаление предложений, содержащих 'подписывайтесь'
-                    full_text = re.sub(r'[^.!?]*\bподписывайтесь\b[^.!?]*[?.!]', '', full_text, flags=re.IGNORECASE)
-                    full_text = re.sub(r'\s+', ' ', full_text).strip()
-
-                    # Проверка на слово 'Реклама' и пропуск новости при обнаружении
-                    if re.search(r'\bРеклама\b', full_text, re.IGNORECASE):
-                        print(f"Skipping article '{title}' due to 'Реклама' in full text.")
-                        continue
-                else:
-                    print(f"Could not find 'detail-text' div for article: {title}")
-            except requests.exceptions.RequestException as e:
-                print(f"Error fetching content for {news_link}: {e}")
-            except Exception as e:
-                print(f"Error parsing content for {news_link}: {e}")
-
-            # Добавление извлеченных данных в список
-            news_data.append({
-                'title': title,
-                'published': article_date_str,
-                'image_urls': image_urls,
-                'link': news_link,
-                'full_text': full_text
-            })
-
-print(f"Extracted {len(news_data)} articles published today or yesterday.")
-if news_data:
-    print("First extracted article example:", news_data[0])
-else:
-    print("No articles found for today or yesterday.")
-
-# 5. Сохранение данных в CSV-файл
-df = pd.DataFrame(news_data)
-df['image_urls'] = df['image_urls'].apply(lambda x: ', '.join(x))
-
-csv_file_path = 'news_articles.csv'
-df.to_csv(csv_file_path, index=False, encoding='utf-8')
-
-print(f"Данные сохранены в файл: {csv_file_path}")
-print("Первые 5 строк сохраненного файла:")
-print(df.head())