¿Qué es mejor, Autonomy IDOL, Fast, GSA o tecnologías abiertas como Lucene/Solr?

Vivimos un momento revolucionario, un momento de cambio. Lucene/Solr está en boca de todos, no solamente forma parte por primera vez de RFIs (Request For Information) de nuevos proyectos de búsqueda sino que está en la agenda de los clientes de software comercial frustrados  por las limitaciones de licenciamiento, soporte e incertidumbre como una vía abierta, un camino abierto al que actualizar sus plataformas.

En Colbenson, con una identidad y especialización en ofrecer soluciones que potencien la Encontrabilidad, implementamos y damos soporte a  las primeras referencias Lucene/Solr  en Medios, Gobierno, Banca y Comercio Electrónico. Sobre este nuevo escenario, es preciso aclarar muchas dudas y así dábamos comienzo en el post anterior desplegando las limitaciones de licenciamiento de código comercial o cerrado.

Continuamos en este post tratando ambos grupos de tecnologías por igual, es decir, dejando a un lado limitaciones en términos de flexibilidad y sentimiento de “Ownership” implícitas al software comercial y avanzando en las diferencias de I+D, Marketing y Funcionales.

I+D

Tanto Autonomy como Microsoft o Google cuentan indudablemente con equipos extraordinarios de desarrollo e innovación. Sin embargo, las rotaciones y volatilidad de personal y conocimientos son elevadas en especial allí donde ha habido numerosas adquisiciones y re-estructuraciones (Venta Fast a MS, Ultraseek, Verity, etc).

En el caso de I+D desde Lucene/Solr, hace ya más de 10 años que desarrolladores por todo el mundo evolucionan el software. Estos programadores y arquitectos no sólo son brillantes sino que les mueve su pasión por las tecnologías de agregación, conexión, enriquecimiento y procesado de información.

El hecho de que Lucene/Solr esté en boca de todos es precisamente consecuencia del desarrollo acelerado que experimenta y de la rápida evolución técnica y funcional hasta el punto de haber alcanzado a las soluciones comerciales.

Hace solo 24 meses la diferenciación entre Lucene/Solr y productos comerciales sofisticados como IDOL o Fast era notable, hoy en día es inapreciable.

Este alcance se produce a consecuencia de la forma distribuida y el fondo colaborativo en que el I+D acontece en código abierto.

Marketing

La mayor fuerza de las empresas privadas de búsqueda radica en sus estrategias de Marketing y sus fuertes estructuras comerciales.

Empresas como Microsoft Fast o Autonomy han liderado históricamente los cuadrantes y estudios comparativos de analistas como IDC, Gartner, Delphy, etc.

La pérdida de diferenciadores por parte del software comercial es uno de los hitos claves para comprender la huida vía marketing hacia nuevos conceptos como eDiscovery, Compliance, Information Governance o Pan-Enterprise Search.

¿Qué diferencia hay entre el Autonomy IDOL empleado en Information Governance y el Autonomy IDOL empleado en Enterprise Search? Marketing.

Funcionalidades

La comunidad más considerada ya reconoce la ausencia de diferenciadores reales entre por ejemplo un Autonomy IDOL y un Lucene/Solr.

En este sentido, y por el bien de la objetividad, cabe recomendar encarecidamente la lectura del foro de discusión surgido el verano pasado en Linkedin vía el grupo Enterprise Search Engine Profesionals. En particular merece la atención de los interesados el hilo derivado del post de Steve Arold: Autonomy No Longer a Search Vendor.

Expertos como Charlie Hull, propietario de Lemur Consulting en Cambridge Reino Unido comentaba en ese mismo foro:

“No hay realmente demasiadas diferencias entre las tecnologías de búsqueda disponibles hoy en día (abiertas o cerradas). Índices invertidos, modelos de ordenado, BM25, etc. Si, ha habido grandes mejoras en escalabilidad y comportamiento así como formas de integrar con otros sistemas, convertir documentos, formatos, presentar resultados, etc. Pero el corazón de todos los productos es solamente un motor de búsqueda. Un motor que no comprende mágicamente que es lo que un usuario intenta encontrar y tampoco sabe lo que es un “concepto”.

¿Cuáles son las funcionalidades necesarias en un proyecto de búsqueda?

• Búsqueda tradicional boleana y básica
• Búsqueda difusa
• Búsqueda paramétrica
• Búsqueda campos, rangos
• Criterios de ordenado personalizados
• Resúmenes contextuales
• Resaltado resúmenes
• Relaciones entre documentos
• Agrupaciones de resultados
• Agrupaciones de documentos
• Multi-idioma

Todas estas funciones y más que se están desarrollando mientras leemos este post están disponibles en Lucene/Solr.

¿Conoces alguna funcionalidad de búsqueda propietaria de producto comercial que no esté disponible en código abierto?

¿Conoces algún cliente donde esa funcionalidad resuelva un problema?

¿Cuáles son los beneficios de utilizar Autonomy IDOL, Fast o  GSA sobre Lucene/Solr?

Recientemente, en el mismo foro, Daniel Inman, Search Architect at PricewaterhouseCoopers (PwC), defendía que disponer de una licencia ofrecía la seguridad de disponer de un acuerdo legal con una empresa que debe de entregar y mantener un producto. Según Daniel, una de las preocupaciones de descargar código abierto es el desconocimiento de qué se obtiene y el hecho de no poder hablar con alguien sobre los aspectos que pueden tumbar tu sistema.

La visión de Daniel es ciertamente extendida, y empresas como Colbenson tenemos que continuar trabajando en dar a conocer que el Software Libre como Lucene/Solr sobre el que desarrollamos es cualificado, evaluado y soportado antes, durante y después de ser integrado en sistemas productivos.

De hecho cualquier proyecto que integra Lucene/Solr siempre conlleva un contrato que obliga a Colbenson a ofrecer dichos servicios y garantías con las mismas restricciones, penalizaciones y formalidad legal que cualquier otro acuerdo de licenciamiento, únicamente que no hay restricciones de licencia y sí de servicio y soporte.

Intentando ser objetivos, Adriaan Bloem, Analista en Real Story Group (antes en CMS Watch o Radiago), respondía a Daniel resaltando que la “seguridad” también puede comprarse desde la oferta de código abierto. Del mismo modo que empresas privadas soportan sistemas operativos de código abierto o gestores de contenidos.

Finalmente, Charlie Hull, citado con anterioridad en este post, resaltaba que contar con una licencia no ofrecía seguridad alguna, de hecho, si un cliente cesa en pagar el cargo de soporte de las licencias (Support Fee), el fabricante cesa en la entrega de licencias y pierdes el derecho de uso, si el fabricante es comprado por otra empresa, nuevas licencias tendrán que ser adquiridas o nuevos cargos sobre las licencias originales, eso sino deciden discontinuar el producto o la plataforma que usas (como recientemente ha sucedido con MS Fast y Linux).

En el momento de cambio actual y fruto de la demanda Lucene/Solr desde varios sectores, en Colbenson vemos la necesidad de tratar todas estas dudas e inquietudes.

Podemos agrupar las dudas en aspectos puramente legales o de licenciamiento, aspectos funcionales, técnico funcionales, de soporte y simplemente comerciales. Hemos compartido algunas de las cuestiones más recurrentes y para continuar avanzando en el próximo post entrevistaremos a Alberto Rodriguez-Tenreiro, Socio fundador y CTO de Colbenson Software Factory.

Alberto suma más de 8 años de experiencia combinada sobre tecnologías de búsqueda comerciales como IDOL y software libre como Lucene/Solr.

Aprovecharemos esta circunstancia para preguntar a Alberto sobre las diferencias técnico-funcionales como rendimiento, escalabilidad, arquitecturas distribuídas o interoperatividad.

Sigamos pues abriendo el camino…