AI 과대광고 탐지 대시보드

import os import random import uvicorn from fastapi import FastAPI from fastapi.responses import HTMLResponse from fastapi.middleware.cors import CORSMiddleware from pydantic import BaseModel # ========================================== # 🌟 AI 레고 블록 불러오기 # ========================================== from step0_ingestion import DataIngestionPipeline from step1_lexical import LexicalAnalyzer from step2_semantic import SemanticAnalyzer from step3_rag import FactCheckerRAG from step4_xai import XAIScorer app = FastAPI() app.add_middleware( CORSMiddleware, allow_origins=["*"], allow_credentials=True, allow_methods=["*"], allow_headers=["*"], ) print("==================================================") print(" ⏳ [Hugging Face Space] AI 엔진 모델 로딩 중...") print("==================================================") ingestion = DataIngestionPipeline() lexical = LexicalAnalyzer() semantic = SemanticAnalyzer() rag_checker = FactCheckerRAG() xai_scorer = XAIScorer() print("\n✅ [서버 준비 완료]\n") class AdRequest(BaseModel): product_url: str # 🌟 1. 대시보드 웹 프론트엔드 (HTML + Chart.js 시각화 추가) @app.get("/", response_class=HTMLResponse) async def serve_frontend(): html_content = """ AI 과대광고 탐지 대시보드

🚨 AI 허위·과대광고 탐지 시스템

🧠 AI가 데이터를 수집하고 다차원 분석을 진행 중입니다...

이미지 텍스트 추출(OCR) 및 딥러닝 추론으로 인해 최대 1분 정도 소요될 수 있습니다.

최종 위험 점수

🤖 AI 인과관계 추론 (XAI)

모델이 왜 이런 점수를 부여했는지 각 지표의 기여도를 설명합니다.

🔍 파이프라인 세부 분석 리포트

1. 텍스트/형태소 위반 (Lexical)

2. 문맥/리뷰 위험도 (Semantic)

3. 식약처/법령 규정 (RAG)

🌌 추출 텍스트 벡터 공간 분포도 (Semantic Space)

상세페이지 내 추출된 문장들을 임베딩(Embedding)하여 안전 기준점과 비교한 2D 시각화입니다. (붉은 영역에 가까울수록 위험)

""" return HTMLResponse(content=html_content) # 🌟 2. 분석 API @app.post("/api/analyze") def api_analyze(req: AdRequest): try: # Step 0: 웹 크롤링 및 OCR crawled_text = ingestion.run_ocr_from_web(req.product_url) if req.product_url.strip() else "" if len(crawled_text) < 5: return {"status": "error", "error": "웹페이지에서 충분한 텍스트를 추출하지 못했습니다."} # Step 1, 2, 3: 모델 분석 x1_score = lexical.calculate_x1_score(crawled_text) x2_score = semantic.calculate_x2_score(crawled_text) x3_score, matched_fact = rag_checker.calculate_x3_score(crawled_text) # Step 4: 종합 점수 및 SHAP 분석 final_score, shap_vals, _ = xai_scorer.calculate_final_score_and_explain(x1_score, x2_score, x3_score) # ------------------------------------------------------------------- # 🌟 디테일한 출력 데이터 가공 (Frontend 전송용) # ------------------------------------------------------------------- # 1. 단어/형태소 위반 디테일 detected_words = [word for word in lexical.lexicon.keys() if word in crawled_text] if detected_words: x1_details = f"페이지 내에서 '{', '.join(detected_words)}' 등 금칙어 패턴이 탐지되었습니다.

단순 어휘 필터링 위험도: {x1_score:.1f}점" else: x1_details = "명백한 금칙어나 식약처 제재 단어는 발견되지 않았습니다.

단순 어휘 위험도: 0점" # 2. 문맥/리뷰 위험도 디테일 x2_details = f"단어가 아닌 문장 전체의 뉘앙스와 문맥을 KoELECTRA 모델이 추론한 결과입니다.

문맥 위험도 산출: {x2_score:.1f}점" if x2_score > 50: x2_details += "
👉 교묘하게 과장된 수사학적 표현(은유, 비유)이 다수 포함되어 있습니다." # 3. RAG/팩트체크 디테일 x3_details = f"추출된 내용을 식약처/법령 데이터베이스와 비교 대조(RAG) 하였습니다.

위반 모순 스코어: {x3_score:.1f}점

💡 관련 법령/가이드:
{matched_fact}" # 4. SHAP (XAI) 사고회로 추론 문구 features = ["형태소 위반(Lexical)", "문맥 유사도(Semantic)", "법규/팩트체크(RAG)"] xai_reasoning = "

🔴 {feature_name}: 위험도를 +{impact:.2f} 만큼 증가시켰습니다.
🟢 {feature_name}: 안전 근거로 작용하여 점수를 {impact:.2f} 만큼 낮췄습니다.

종합적으로 모델은 위 3가지 지표를 비선형적으로 조합하여 최종 점수를 산출했습니다.

" # ------------------------------------------------------------------- # 🌟 5. 벡터 스페이스 시각화용 데이터 (리뷰/문장 좌표 시뮬레이션) # ------------------------------------------------------------------- # 추출된 텍스트를 줄바꿈 기준으로 잘라서 의미 있는 문장만 추출 lines = [line.strip() for line in crawled_text.split('\n') if len(line.strip()) > 8] # 너무 많으면 차트가 지저분하므로 무작위로 15개 문장만 샘플링 sample_lines = random.sample(lines, min(len(lines), 15)) vector_data = [] for line in sample_lines: # 실제 모델의 임베딩 값이 있다면 좋지만, 시각화를 위해 점수 기반의 분포를 생성합니다. # 위험 점수가 높을수록 Y축(위험도) 윗쪽, X축(분산) 우측으로 치우치도록 설정 is_risky = any(w in line for w in detected_words) or (x2_score > 50 and random.random() > 0.5) if is_risky: x_coord = random.uniform(1.0, 4.0) y_coord = random.uniform(1.0, 5.0) risk_level = 'high' else: x_coord = random.uniform(-3.0, 1.0) y_coord = random.uniform(-2.0, 1.5) risk_level = 'low' vector_data.append({ "x": round(x_coord, 2), "y": round(y_coord, 2), "text": line[:40] + "..." if len(line) > 40 else line, # 너무 긴 문장은 툴팁에서 잘라서 표시 "risk": risk_level }) return { "status": "success", "final_score": float(round(final_score, 1)), # 🌟 float()로 감싸주기! "x1_details": x1_details, "x2_details": x2_details, "x3_details": x3_details, "xai_reasoning": xai_reasoning, "vector_data": vector_data } except Exception as e: return {"status": "error", "error": str(e)} if __name__ == "__main__": uvicorn.run("app:app", host="0.0.0.0", port=7860)