feat: support infoquest (#708)

* support infoquest

* support html checker

* support html checker

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* Fix several critical issues in the codebase
- Resolve crawler panic by improving error handling
- Fix plan validation to prevent invalid configurations
- Correct InfoQuest crawler JSON conversion logic

* add test for infoquest

* add test for infoquest

* Add InfoQuest introduction to the README

* add test for infoquest

* fix readme for infoquest

* fix readme for infoquest

* resolve the conflict

* resolve the conflict

* resolve the conflict

* Fix formatting of INFOQUEST in SearchEngine enum

* Apply suggestions from code review

Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>

---------

Co-authored-by: Willem Jiang <143703838+willem-bd@users.noreply.github.com>
Co-authored-by: Willem Jiang <willem.jiang@gmail.com>
Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>

README_pt.md

@@ -14,6 +14,8 @@
 
 Atualmente, o DeerFlow entrou oficialmente no Centro de Aplicações FaaS da Volcengine. Os usuários podem experimentá-lo online através do link de experiência para sentir intuitivamente suas funções poderosas e operações convenientes. Ao mesmo tempo, para atender às necessidades de implantação de diferentes usuários, o DeerFlow suporta implantação com um clique baseada na Volcengine. Clique no link de implantação para completar rapidamente o processo de implantação e iniciar uma jornada de pesquisa eficiente.
 
+O DeerFlow recentemente integrou o conjunto de ferramentas de busca e rastreamento inteligente desenvolvido independentemente pela BytePlus — [InfoQuest (oferece experiência gratuita online)](https://console.byteplus.com/infoquest/infoquests)
+
 Por favor, visite [Nosso Site Oficial](https://deerflow.tech/) para maiores detalhes.
 
 ## Demo
@@ -158,6 +160,13 @@ DeerFlow suporta múltiplos mecanismos de busca que podem ser configurados no se
   - Requer `TAVILY_API_KEY` no seu arquivo `.env`
   - Inscreva-se em: <https://app.tavily.com/home>
 
+- **InfoQuest** (recomendado): Um conjunto de ferramentas inteligentes de busca e crawling otimizadas para IA, desenvolvido pela BytePlus
+  - Requer `INFOQUEST_API_KEY` no seu arquivo `.env`
+  - Suporte para filtragem por intervalo de tempo e filtragem de sites
+  - Fornece resultados de busca e extração de conteúdo de alta qualidade
+  - Inscreva-se em: <https://console.byteplus.com/infoquest/infoquests>
+  - Visite https://docs.byteplus.com/pt/docs/InfoQuest/What_is_Info_Quest para obter mais informações
+
 - **DuckDuckGo**: Mecanismo de busca focado em privacidade
 
   - Não requer chave API
@@ -178,10 +187,32 @@ DeerFlow suporta múltiplos mecanismos de busca que podem ser configurados no se
 Para configurar o seu mecanismo preferido, defina a variável `SEARCH_API` no seu arquivo:
 
 ```bash
-# Escolha uma: tavily, duckduckgo, brave_search, arxiv
+# Escolha uma: tavily, infoquest, duckduckgo, brave_search, arxiv
 SEARCH_API=tavily
 ```
 
+### Ferramentas de Crawling
+
+- **Jina** (padrão): Ferramenta gratuita de crawling de conteúdo web acessível
+  - Não é necessária chave API para usar recursos básicos
+  - Ao usar uma chave API, você obtém limites de taxa de acesso mais altos
+  - Visite <https://jina.ai/reader> para obter mais informações
+
+- **InfoQuest** (recomendado): Conjunto de ferramentas inteligentes de busca e crawling otimizadas para IA, desenvolvido pela BytePlus
+  - Requer `INFOQUEST_API_KEY` no seu arquivo `.env`
+  - Fornece parâmetros de crawling configuráveis
+  - Suporta configurações de timeout personalizadas
+  - Oferece capacidades mais poderosas de extração de conteúdo
+  - Visite <https://docs.byteplus.com/pt/docs/InfoQuest/What_is_Info_Quest> para obter mais informações
+
+Para configurar sua ferramenta de crawling preferida, defina o seguinte em seu arquivo `conf.yaml`:
+
+```yaml
+CRAWLER_ENGINE:
+  # Tipo de mecanismo: "jina" (padrão) ou "infoquest"
+  engine: infoquest
+```
+
 ## Funcionalidades
 
 ### Principais Funcionalidades
@@ -197,8 +228,8 @@ SEARCH_API=tavily
 
 - 🔍 **Busca e Recuperação**
 
-  - Busca web com Tavily, Brave Search e mais
-  - Crawling com Jina
+  - Busca web com Tavily, InfoQuest, Brave Search e mais
+  - Crawling com Jina e InfoQuest
   - Extração de Conteúdo avançada
 
 - 🔗 **Integração MCP perfeita**
@@ -553,4 +584,4 @@ O seu compromisso inabalável e experiência tem sido a força por trás do suce
 
 ## Histórico-Estrelas
 
-[![Gráfico do Histórico de Estrelas](https://api.star-history.com/svg?repos=bytedance/deer-flow&type=Date)](https://star-history.com/#bytedance/deer-flow&Date)
+[![Gráfico do Histórico de Estrelas](https://api.star-history.com/svg?repos=bytedance/deer-flow&type=Date)](https://star-history.com/#bytedance/deer-flow&Date)