feat: support infoquest (#708)

* support infoquest

* support html checker

* support html checker

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* change line break format

* Fix several critical issues in the codebase
- Resolve crawler panic by improving error handling
- Fix plan validation to prevent invalid configurations
- Correct InfoQuest crawler JSON conversion logic

* add test for infoquest

* add test for infoquest

* Add InfoQuest introduction to the README

* add test for infoquest

* fix readme for infoquest

* fix readme for infoquest

* resolve the conflict

* resolve the conflict

* resolve the conflict

* Fix formatting of INFOQUEST in SearchEngine enum

* Apply suggestions from code review

Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>

---------

Co-authored-by: Willem Jiang <143703838+willem-bd@users.noreply.github.com>
Co-authored-by: Willem Jiang <willem.jiang@gmail.com>
Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>

README_ru.md

@@ -13,6 +13,8 @@
 
 В настоящее время DeerFlow официально вошел в Центр приложений FaaS Volcengine. Пользователи могут испытать его онлайн через ссылку для опыта, чтобы интуитивно почувствовать его мощные функции и удобные операции. В то же время, для удовлетворения потребностей развертывания различных пользователей, DeerFlow поддерживает развертывание одним кликом на основе Volcengine. Нажмите на ссылку развертывания, чтобы быстро завершить процесс развертывания и начать эффективное исследовательское путешествие.
 
+DeerFlow недавно интегрировал интеллектуальный набор инструментов поиска и краулинга, разработанный самостоятельно компанией BytePlus — [InfoQuest (поддерживает бесплатное онлайн-опробование)](https://console.byteplus.com/infoquest/infoquests)
+
 Пожалуйста, посетите [наш официальный сайт](https://deerflow.tech/) для получения дополнительной информации.
 
 ## Демонстрация
@@ -155,6 +157,13 @@ DeerFlow поддерживает несколько поисковых сист
   - Требуется `TAVILY_API_KEY` в вашем файле `.env`
   - Зарегистрируйтесь на: <https://app.tavily.com/home>
 
+- **InfoQuest** (рекомендуется): Набор интеллектуальных инструментов для поиска и сканирования, оптимизированных для ИИ, разработанный компанией BytePlus
+  - Требуется `INFOQUEST_API_KEY` в вашем файле `.env`
+  - Поддержка фильтрации по диапазону времени и фильтрации сайтов
+  - Предоставляет высококачественные результаты поиска и извлечение контента
+  - Зарегистрируйтесь на: <https://console.byteplus.com/infoquest/infoquests>
+  - Посетите https://docs.byteplus.com/ru/docs/InfoQuest/What_is_Info_Quest для получения дополнительной информации
+
 - **DuckDuckGo**: Поисковая система, ориентированная на конфиденциальность
 
   - Не требуется API-ключ
@@ -175,10 +184,32 @@ DeerFlow поддерживает несколько поисковых сист
 Чтобы настроить предпочитаемую поисковую систему, установите переменную `SEARCH_API` в вашем файле `.env`:
 
 ```bash
-# Выберите одно: tavily, duckduckgo, brave_search, arxiv
+# Выберите одно: tavily, infoquest, duckduckgo, brave_search, arxiv
 SEARCH_API=tavily
 ```
 
+### Инструменты сканирования
+
+- **Jina** (по умолчанию): Бесплатный доступный инструмент для сканирования веб-контента
+  - API-ключ не требуется для использования базовых функций
+  - При использовании API-ключа вы получаете более высокие лимиты скорости доступа
+  - Посетите <https://jina.ai/reader> для получения дополнительной информации
+
+- **InfoQuest** (рекомендуется): Набор интеллектуальных инструментов для поиска и сканирования, оптимизированных для ИИ, разработанный компанией BytePlus
+  - Требуется `INFOQUEST_API_KEY` в вашем файле `.env`
+  - Предоставляет настраиваемые параметры сканирования
+  - Поддерживает настройки пользовательских тайм-аутов
+  - Предоставляет более мощные возможности извлечения контента
+  - Посетите <https://docs.byteplus.com/ru/docs/InfoQuest/What_is_Info_Quest> для получения дополнительной информации
+
+Чтобы настроить предпочитаемый инструмент сканирования, установите следующее в вашем файле `conf.yaml`:
+
+```yaml
+CRAWLER_ENGINE:
+  # Тип движка: "jina" (по умолчанию) или "infoquest"
+  engine: infoquest
+```
+
 ## Особенности
 
 ### Ключевые возможности
@@ -193,8 +224,8 @@ SEARCH_API=tavily
 
 - 🔍 **Поиск и извлечение**
 
-  - Веб-поиск через Tavily, Brave Search и другие
-  - Сканирование с Jina
+  - Веб-поиск через Tavily, InfoQuest, Brave Search и другие
+  - Сканирование с Jina и InfoQuest
   - Расширенное извлечение контента
 
 - 🔗 **Бесшовная интеграция MCP**
@@ -567,4 +598,4 @@ DeerFlow создан на основе невероятной работы со
 
 ## История звезд
 
-[![Star History Chart](https://api.star-history.com/svg?repos=bytedance/deer-flow&type=Date)](https://star-history.com/#bytedance/deer-flow&Date)
+[![Star History Chart](https://api.star-history.com/svg?repos=bytedance/deer-flow&type=Date)](https://star-history.com/#bytedance/deer-flow&Date)