| # 多言語・簡易多モーダルWeb参照AIエージェント(Hugging Face Spaces対応) |
|
|
| ## 概要 |
|
|
| このプロジェクトは、テキスト・画像・動画を入力として受け取り、多言語でのWeb情報検索と要約を並列に行い、指定された言語で結果を統合・出力するAIエージェントです。 |
|
|
| **Hugging Face Spaces(無料ティア)でのデプロイを想定**して設計されています。 |
|
|
| --- |
|
|
| ## 主な機能 |
|
|
| * テキスト、画像、動画のマルチモーダル入力に対応 |
| * 入力言語の自動検出と処理 |
| * タスクの自動分解と並列処理(非同期実行) |
| * Web検索とページ要約(Serper API + BeautifulSoup) |
| * アップロードされた画像・動画のLLMによる簡易分析(GPT-4oなど) |
| * 指定言語での統合出力(日本語、英語、スペイン語、フランス語、中国語) |
|
|
| --- |
|
|
| ## 使用技術 |
|
|
| * **フロントエンド/UI**: Gradio |
| * **バックエンド**: Python + asyncio + OpenAI API |
| * **Web検索**: Serper API([https://serper.dev)](https://serper.dev)) |
| * **LLM**: GPT-4o(openaiライブラリ経由) |
| * **画像処理**: Pillow(軽量な画像サイズ取得など) |
| * **動画処理**: MoviePy(キーフレーム抽出) |
|
|
| --- |
|
|
| ## インストールと実行方法 |
|
|
| ```bash |
| # 依存ライブラリのインストール |
| pip install -r requirements.txt |
| |
| # 環境変数の設定(.envファイルまたはシェルで) |
| export OPENAI_API_KEY=your_openai_key |
| export SERPER_API_KEY=your_serper_key |
| |
| # アプリ起動 |
| python app.py |
| ``` |
|
|
| --- |
|
|
| ## Hugging Face Spacesでの注意点 |
|
|
| * **無料ティアでは** CPUリソースとディスク容量に制限があります。 |
| * 画像・動画の処理はアップロードされた小ファイル(短時間の.mp4等)に限定してください。 |
| * Webからの画像・動画の**ダウンロード・保存は行わず、URLと要約のみ表示**されます。 |
| * GPT-4oの使用により画像・動画内容の要約は可能ですが、コスト・速度に注意。 |
| * 外部APIキーは Spaces の Secrets に登録してください(例: `OPENAI_API_KEY`, `SERPER_API_KEY`)。 |
|
|
| --- |
|
|
| ## 今後の拡張可能性 |
|
|
| * Gemini API や Claude API 対応 |
| * 音声抽出および文字起こし対応(短時間動画) |
| * 出力形式のカスタマイズ(Markdown, JSONなど) |
|
|
| --- |
|
|
| ## 作者 |
|
|
| tugaa |
|
|
| --- |
|
|
| ## ライセンス |
|
|
| MIT |
|
|
|
|