Cuill, un futur moteur de recherche à surveiller de très près

Cuill (à prononcer comme “cool” à l'anglaise) est une startup californienne, actuellement en stealth mode, mais qui pourrait bien faire parler d'elle dans les mois qui viennent.

Seuls quelques webmasters ont eu pour l'instant connaissance indirectement de ce projet car le crawler de Cuill (nommé twiceler) a laissé des traces dans les logs de leur site.

C'est également ce qui a attiré notre attention, d'autant plus quand nous avons constaté que le spider en question visite certaines de nos pages avec une fréquence bien supérieure au Googlebot, pourtant la référence en la matière !

Là ou l'histoire devient intéressante, c'est que les fondateurs de Cuill sont de fantastiques références dans le domaine du search, pour lequel ils ont bâti des projets tout simplement pharaoniques :

• Tom Costello a travaillé sur le très secret projet WebFountain d'IBM (aujourd'hui en sommeil) qui consistait voici 3 ans à réindexer l'ensemble du web en moins de 36 heures puis à procéder à une analyse sémantiques des pages de manière à répondre aux besoins spécifiques de certaines entreprises et organismes d'Etat américains.
• Anna Paterson a travaillé sur les deux plus gros index du web : l'architecture TeraGoogle (plus de 15 milliards de page) de Google et le projet Internet Archive (plus de 30 milliards de page), célèbre pour avoir ajouté une dimension temporelle au web en en stockant l'historique. Elle est également l'auteur d'un des rares articles de référence dans le domaine des moteurs de recherche : Why Writing Your Own Search Engine is Hard.
• Russell Power a travaillé sur la partie runtime (celle qui répond aux requêtes) de TeraGoogle.

La seule information qui ait filtré jusqu'à maintenant sur Cuill est que cette startup ambitionnerait de crawler le web pour 1/10 des coûts de Google. Or, les nombreux spiders lâchés dans la nature par Cuill sur une multitude de serveurs (comme nous avons pu le constater) incitent à prendre cette promesse très au sérieux !


Le business model sous-jacent est en tout cas évident : la tâche de crawling mobilise en effet une quantité sans cesse croissante de ressources de la part des moteurs de recherche (Google y consacre par exemple plusieurs centaines de milliers de serveurs).

Abaisser le coût d'acquisition des contenus web et améliorer l'indexation en temps réel constitue donc un enjeu majeur pour les moteurs de recherche et un élement clé pour la croissance future du juteux marché des liens sponsorisés...