feat: support infoquest (#708)

* support infoquest

* support html checker

* support html checker

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* Fix several critical issues in the codebase
- Resolve crawler panic by improving error handling
- Fix plan validation to prevent invalid configurations
- Correct InfoQuest crawler JSON conversion logic

* add test for infoquest

* add test for infoquest

* Add InfoQuest introduction to the README

* add test for infoquest

* fix readme for infoquest

* fix readme for infoquest

* resolve the conflict

* resolve the conflict

* resolve the conflict

* Fix formatting of INFOQUEST in SearchEngine enum

* Apply suggestions from code review

Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>

---------

Co-authored-by: Willem Jiang <143703838+willem-bd@users.noreply.github.com>
Co-authored-by: Willem Jiang <willem.jiang@gmail.com>
Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>

README_de.md

@@ -13,6 +13,8 @@
 
 Derzeit ist DeerFlow offiziell in das [FaaS-Anwendungszentrum von Volcengine](https://console.volcengine.com/vefaas/region:vefaas+cn-beijing/market) eingezogen. Benutzer können es über den [Erfahrungslink](https://console.volcengine.com/vefaas/region:vefaas+cn-beijing/market/deerflow/?channel=github&source=deerflow) online erleben, um seine leistungsstarken Funktionen und bequemen Operationen intuitiv zu spüren. Gleichzeitig unterstützt DeerFlow zur Erfüllung der Bereitstellungsanforderungen verschiedener Benutzer die Ein-Klick-Bereitstellung basierend auf Volcengine. Klicken Sie auf den [Bereitstellungslink](https://console.volcengine.com/vefaas/region:vefaas+cn-beijing/application/create?templateId=683adf9e372daa0008aaed5c&channel=github&source=deerflow), um den Bereitstellungsprozess schnell abzuschließen und eine effiziente Forschungsreise zu beginnen.
 
+DeerFlow hat neu die intelligente Such- und Crawling-Toolset von BytePlus integriert - [InfoQuest (unterstützt kostenlose Online-Erfahrung)](https://console.byteplus.com/infoquest/infoquests)
+
 Besuchen Sie [unsere offizielle Website](https://deerflow.tech/) für weitere Details.
 
 ## Demo
@@ -156,6 +158,13 @@ DeerFlow unterstützt mehrere Suchmaschinen, die in Ihrer `.env`-Datei über die
   - Erfordert `TAVILY_API_KEY` in Ihrer `.env`-Datei
   - Registrieren Sie sich unter: https://app.tavily.com/home
 
+- **InfoQuest** (empfohlen): Ein KI-optimiertes intelligentes Such- und Crawling-Toolset, entwickelt von BytePlus
+  - Erfordert `INFOQUEST_API_KEY` in Ihrer `.env`-Datei
+  - Unterstützung für Zeitbereichsfilterung und Seitenfilterung
+  - Bietet qualitativ hochwertige Suchergebnisse und Inhaltsextraktion
+  - Registrieren Sie sich unter: https://console.byteplus.com/infoquest/infoquests
+  - Besuchen Sie https://docs.byteplus.com/de/docs/InfoQuest/What_is_Info_Quest für weitere Informationen
+
 - **DuckDuckGo**: Datenschutzorientierte Suchmaschine
   - Kein API-Schlüssel erforderlich
 
@@ -174,10 +183,32 @@ DeerFlow unterstützt mehrere Suchmaschinen, die in Ihrer `.env`-Datei über die
 Um Ihre bevorzugte Suchmaschine zu konfigurieren, setzen Sie die Variable `SEARCH_API` in Ihrer `.env`-Datei:
 
 ```bash
-# Wählen Sie eine: tavily, duckduckgo, brave_search, arxiv
+# Wählen Sie eine: tavily, infoquest, duckduckgo, brave_search, arxiv
 SEARCH_API=tavily
 ```
 
+### Crawling-Tools
+
+- **Jina** (Standard): Kostenloses, zugängliches Webinhalts-Crawling-Tool
+  - Kein API-Schlüssel erforderlich für grundlegende Funktionen
+  - Mit API-Schlüssel erhalten Sie höhere Zugriffsraten
+  - Weitere Informationen unter <https://jina.ai/reader>
+
+- **InfoQuest** (empfohlen): KI-optimiertes intelligentes Such- und Crawling-Toolset, entwickelt von BytePlus
+  - Erfordert `INFOQUEST_API_KEY` in Ihrer `.env`-Datei
+  - Bietet konfigurierbare Crawling-Parameter
+  - Unterstützt benutzerdefinierte Timeout-Einstellungen
+  - Bietet stärkere Inhaltsextraktionsfähigkeiten
+  - Weitere Informationen unter <https://docs.byteplus.com/de/docs/InfoQuest/What_is_Info_Quest>
+
+Um Ihr bevorzugtes Crawling-Tool zu konfigurieren, setzen Sie Folgendes in Ihrer `conf.yaml`-Datei:
+
+```yaml
+CRAWLER_ENGINE:
+  # Engine-Typ: "jina" (Standard) oder "infoquest"
+  engine: infoquest
+```
+
 ### Private Wissensbasis
 
 DeerFlow unterstützt private Wissensbasen wie RAGFlow und VikingDB, sodass Sie Ihre privaten Dokumente zur Beantwortung von Fragen verwenden können.
@@ -205,8 +236,8 @@ DeerFlow unterstützt private Wissensbasen wie RAGFlow und VikingDB, sodass Sie
 ### Tools und MCP-Integrationen
 
 - 🔍 **Suche und Abruf**
-  - Websuche über Tavily, Brave Search und mehr
-  - Crawling mit Jina
+  - Websuche über Tavily, InfoQuest, Brave Search und mehr
+  - Crawling mit Jina und InfoQuest
   - Fortgeschrittene Inhaltsextraktion
   - Unterstützung für private Wissensbasis
 
@@ -505,7 +536,6 @@ Die Anwendung unterstützt jetzt einen interaktiven Modus mit eingebauten Fragen
 4. Das System wird Ihre Frage verarbeiten und einen umfassenden Forschungsbericht generieren
 
 ### Mensch-in-der-Schleife
-
 DeerFlow enthält einen Mensch-in-der-Schleife-Mechanismus, der es Ihnen ermöglicht, Forschungspläne vor ihrer Ausführung zu überprüfen, zu bearbeiten und zu genehmigen:
 
 1. **Planüberprüfung**: Wenn Mensch-in-der-Schleife aktiviert ist, präsentiert das System den generierten Forschungsplan zur Überprüfung vor der Ausführung
@@ -571,4 +601,4 @@ Ihr unerschütterliches Engagement und Fachwissen waren die treibende Kraft hint
 
 ## Star-Verlauf
 
-[![Star History Chart](https://api.star-history.com/svg?repos=bytedance/deer-flow&type=Date)](https://star-history.com/#bytedance/deer-flow&Date)
+[![Star History Chart](https://api.star-history.com/svg?repos=bytedance/deer-flow&type=Date)](https://star-history.com/#bytedance/deer-flow&Date)