SafeWorld busca convencer al mundo de que los robots con IA generativa no pondrán en peligro a los humanos
Visión fundacional y financiamiento
El director del laboratorio Safe AI de la Universidad Carnegie Mellon, el Dr. Ding Zhao, el ejecutivo veterano de startups Kyle Wong y el ingeniero de aprendizaje automático Simo Rachidi han lanzado Safeworld para abordar la imprevisibilidad de los robots impulsados por IA generativa. La empresa emergió de su fase de sigilo con una ronda de financiación inicial de más de 12 millones de dólares, liderada por Shine Capital y a16z Speedrun, y con la participación de Box Group, el Fondo de Dotación de la Universidad Carnegie Mellon, Innovation Endeavors y SV Angel.
El desafío de seguridad de la IA probabilística
Zhao describe el problema como doble: evaluar el riesgo de un sistema probabilístico y generar confianza. «El desafío de seguridad del que hablamos es una combinación de, por un lado, evaluaciones probabilísticas de IA generativa muy avanzadas: ¿cómo se evalúa el riesgo de un sistema probabilístico? La segunda parte, que es muy difícil, es la cuestión de la confianza, y se necesitan ambas para desplegar un robot», afirma.
Jonathan Lai, socio de a16z Speedrun, advirtió en una entrevista con TechCurnch que la industria debe establecer estándares de seguridad ahora, antes de que los robots compartan hogares y lugares de trabajo. «Cuando los robots estén en los hogares chocando con niños y causando incidentes de seguridad, ya será demasiado tarde», dijo.
Zhao también advierte que muchos subestiman la dificultad de los casos extremos. «Muchas personas subestiman lo difícil que será resolver algunos de estos casos extremos», afirmó. «No es el robot de la aspiradora, en la demostración, el que nos preocupa. Es el robot que se implementa a gran escala, con personas que potencialmente nunca han operado un robot antes».
Plataforma de simulación y escenarios del mundo real
La oferta principal de Safeworld es un conjunto de simulaciones que coloca el software de control real de un robot en entornos virtuales poblados con modelos humanos realistas. El enfoque es similar a los regímenes de prueba utilizados por empresas de vehículos autónomos como Tesla y Wayve, pero Zhao sostiene que los robots enfrentan una tarea más difícil porque operan en entornos no estructurados donde cada instalación tiene sus propias expectativas de seguridad.
Por ejemplo, Wong explica que una esquina sin visibilidad en una fábrica plantea preguntas sobre la velocidad, la distancia de frenado y si un robot detectará a una persona que transporta cajas. Safeworld recrea esa esquina en herramientas como Genesis o MuJoCo, inserta el software del robot y ejecuta miles de escenarios. La imprevisibilidad humana —tropezones, caídas, variaciones en las posturas— hace que el trabajo de simulación sea especialmente exigente. «Los tropezones y las caídas también son un buen ejemplo de algo con lo que hacemos muchas pruebas en la simulación», dijo Wong.
Aunque muchos constructores de robots ya utilizan herramientas internas similares, los fundadores creen que una tercera parte neutral puede validar diseños y permitir que los competidores compartan datos sobre casos de seguridad.
Contexto industrial y alianzas
Vishal Dugar, director de tecnología de Gritt Robotics, está desarrollando el cerebro de IA para robots que asisten a trabajadores en la instalación de paneles fotovoltaicos en grandes parques solares y busca expandirse a tareas de construcción más complejas. Gritt se ha asociado con Safeworld para integrar sus simulaciones de seguridad. Dugar señala que la verificación matemática formal es impráctica para la mayoría de los sistemas. «La dificultad con la mayoría de nuestros sistemas es que es muy difícil probarlo formalmente haciendo matemáticas, escribiendo ecuaciones y diciendo que sí, el sistema está verificado como seguro. Necesariamente tiene que hacerse de manera empírica», afirma.
Sus robots trabajan junto a humanos, por lo que garantizar que un brazo robótico no golpee a un trabajador requiere tener en cuenta innumerables apariencias y comportamientos humanos: arrodillarse, estar de pie, agacharse, correr y variaciones en la vestimenta, el tamaño, la forma, la altura y el color de la piel. «Los humanos tienen muchas clases de apariencias», señala Dugar. «Tienes que responder a todos estos comportamientos que los humanos podrían exhibir potencialmente en estos sitios».
Perspectiva del mercado y modelo de negocio
Aunque la IA generativa en robótica aún está en sus inicios, el equipo de Safeworld cree que están abordando el problema correcto. Zhao predice que la empresa podría ser la primera en ser rentable en este campo. «Probablemente seremos la primera empresa rentable en este campo», afirma. «Porque si alguien quiere implementar algo, necesitará pagarnos para que manejemos la situación». Los fundadores aún están decidiendo si venderán una plataforma a usuarios externos o adoptarán un modelo basado en servicios, pero mantienen su confianza en la demanda de validación de seguridad independiente.








