feat: support infoquest (#708)

* support infoquest

* support html checker

* support html checker

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* Fix several critical issues in the codebase
- Resolve crawler panic by improving error handling
- Fix plan validation to prevent invalid configurations
- Correct InfoQuest crawler JSON conversion logic

* add test for infoquest

* add test for infoquest

* Add InfoQuest introduction to the README

* add test for infoquest

* fix readme for infoquest

* fix readme for infoquest

* resolve the conflict

* resolve the conflict

* resolve the conflict

* Fix formatting of INFOQUEST in SearchEngine enum

* Apply suggestions from code review

Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>

---------

Co-authored-by: Willem Jiang <143703838+willem-bd@users.noreply.github.com>
Co-authored-by: Willem Jiang <willem.jiang@gmail.com>
Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>

README_ja.md

@@ -11,6 +11,8 @@
 
 現在、DeerFlow は火山引擎の FaaS アプリケーションセンターに正式に入居しています。ユーザーは体験リンクを通じてオンラインで体験し、その強力な機能と便利な操作を直感的に感じることができます。同時に、さまざまなユーザーの展開ニーズを満たすため、DeerFlow は火山引擎に基づくワンクリック展開をサポートしています。展開リンクをクリックして展開プロセスを迅速に完了し、効率的な研究の旅を始めましょう。
 
+DeerFlow は新たにBytePlusが自主開発したインテリジェント検索・クローリングツールセットを統合しました--[InfoQuest (オンライン無料体験をサポート)](https://console.byteplus.com/infoquest/infoquests)
+
 詳細については[DeerFlow の公式ウェブサイト](https://deerflow.tech/)をご覧ください。
 
 ## デモ
@@ -151,6 +153,13 @@ DeerFlow は複数の検索エンジンをサポートしており、`.env`フ
   - `.env`ファイルに`TAVILY_API_KEY`が必要
   - 登録先：<https://app.tavily.com/home>
 
+- **InfoQuest**（推奨）：BytePlusが開発したAI最適化のインテリジェント検索とクローリングツールセット
+  - `.env`ファイルに`INFOQUEST_API_KEY`が必要
+  - 時間範囲フィルタリングとサイトフィルタリングをサポート
+  - 高品質な検索結果とコンテンツ抽出を提供
+  - 登録先：<https://console.byteplus.com/infoquest/infoquests>
+  - ドキュメント：<https://docs.byteplus.com/ja/docs/InfoQuest/What_is_Info_Quest>
+
 - **DuckDuckGo**：プライバシー重視の検索エンジン
   - APIキー不要
 
@@ -169,10 +178,32 @@ DeerFlow は複数の検索エンジンをサポートしており、`.env`フ
 お好みの検索エンジンを設定するには、`.env`ファイルで`SEARCH_API`変数を設定します：
 
 ```bash
-# 選択肢: tavily, duckduckgo, brave_search, arxiv
+# 選択肢: tavily, infoquest, duckduckgo, brave_search, arxiv
 SEARCH_API=tavily
 ```
 
+### クローリングツール
+
+- **Jina**（デフォルト）：無料でアクセス可能なウェブコンテンツクローリングツール
+  - 基本機能を使用するにはAPIキーは不要
+  - APIキーを使用するとより高いアクセスレート制限が適用されます
+  - 詳細については <https://jina.ai/reader> を参照してください
+
+- **InfoQuest**（推奨）：BytePlusが開発したAI最適化のインテリジェント検索とクローリングツールセット
+  - `.env`ファイルに`INFOQUEST_API_KEY`が必要
+  - 設定可能なクローリングパラメータを提供
+  - カスタムタイムアウト設定をサポート
+  - より強力なコンテンツ抽出機能を提供
+  - 詳細については <https://docs.byteplus.com/ja/docs/InfoQuest/What_is_Info_Quest> を参照してください
+
+お好みのクローリングツールを設定するには、`conf.yaml`ファイルで以下を設定します：
+
+```yaml
+CRAWLER_ENGINE:
+  # エンジンタイプ："jina"（デフォルト）または "infoquest"
+  engine: infoquest
+```
+
 ## 特徴
 
 ### コア機能
@@ -186,8 +217,8 @@ SEARCH_API=tavily
 ### ツールと MCP 統合
 
 - 🔍 **検索と取得**
-  - Tavily、Brave Searchなどを通じたWeb検索
-  - Jinaを使用したクローリング
+  - Tavily、InfoQuest、Brave Searchなどを通じたWeb検索
+  - JinaとInfoQuestを使用したクローリング
   - 高度なコンテンツ抽出
 
 - 🔗 **MCPシームレス統合**
@@ -584,4 +615,4 @@ DeerFlow はオープンソースコミュニティの素晴らしい成果の
 
 ## スター履歴
 
-[![Star History Chart](https://api.star-history.com/svg?repos=bytedance/deer-flow&type=Date)](https://star-history.com/#bytedance/deer-flow&Date)
+[![Star History Chart](https://api.star-history.com/svg?repos=bytedance/deer-flow&type=Date)](https://star-history.com/#bytedance/deer-flow&Date)