DOGE desarrolló una IA propensa a errores para ayudar a matar contratos de asuntos de veteranos-ProPublica

Mientras la distribución Trump se preparó para liquidar los contratos en el Área de Asuntos Veteranos este año, los funcionarios recurrieron a un ingeniero de software sin atención médica o experiencia oficial para guiarlos.

El ingeniero, que trabaja para el Área de Eficiencia del Gobierno, rápidamente construyó una útil de inteligencia industrial para identificar qué servicios de empresas privadas no eran esenciales. Él etiquetó esos contratos “munchables”.

El código, utilizando modelos IA anticuados y económicos, produjo resultados con errores evidentes. Por ejemplo, alucinó el tamaño de los contratos, con frecuencia interpretándolos mal e inflando su valencia. Concluyó que más de mil valían $ 34 millones, cuando en verdad algunos eran por tan solo $ 35,000.

La útil Doge AI marcó más de 2,000 contratos para “yantar”. No está claro cuántos han estado o están en camino de ser canceladas: las decisiones de la distribución Trump sobre los contratos de VA han sido en gran medida una caja negra. El VA utiliza contratistas por muchas razones, incluso para apoyar a los hospitales, la investigación y otros servicios destinados a cuidar a los veteranos enfermos.

Funcionarios de VA han dicho que han matado a casi 600 contratos en universal. Los demócratas del Congreso han estado presionando a los líderes de VA por detalles específicos de lo que se ha cancelado sin éxito.

Identificamos al menos dos docenas en la registro de Doge que se han cancelado hasta ahora. Entre los contratos cancelados se encontraba uno para apoyar un dispositivo de secuenciación génica utilizado para desarrollar mejores tratamientos contra el cáncer. Otro fue para el exploración de muestra de mortandad en apoyo de un plan de investigación de VA. Otra era proporcionar herramientas adicionales para calcular y mejorar los cuidados que proporcionan las enfermeras.

ProPublica obtuvo el código y los contratos que marcó de una fuente y los compartió con media docena de IA y expertos en adquisiciones. Todos dijeron que el libreto era defectuoso. Muchos criticaron el concepto de usar IA para enfilar los cortaduras presupuestarios en el VA, y uno lo lumbre “profundamente problemático”.

Cary Coglianese, profesor de derecho y de ciencias políticas en la Universidad de Pensilvania que estudia el uso oficial y la regulación de la inteligencia industrial, dijo que estaba preocupado por el uso de estos modelos de idiomas grandes de uso universal, o LLM. “No creo que los LLM en el estante tengan una gran confiabilidad para poco tan confuso e involucrado como esto”, dijo.

Sahil Lavingia, el programador alistado por Doge, que luego fue dirigido por Elon Musk, reconoció fallas en el código.

“Creo que se cometieron errores”, dijo Lavingia, quien trabajó en Doge durante casi dos meses. “Estoy seguro de que se cometieron errores. Siempre se cometen errores. Nunca recomendaría que cualquiera ejecute mi código y haga lo que dice. Es como ese episodio de ‘oficina’ donde Steve Carell conduce al albufera porque Google Maps dice que conduce al albufera. No conduzcas al albufera”.

Aunque Lavingia ha hablado sobre su tiempo en Doge anteriormente, esta es la primera vez que su trabajo ha sido examinado en detalle y la primera vez que explica públicamente su proceso, hasta líneas específicas de código.

Lavingia tiene casi 15 abriles de experiencia como ingeniero de software y patrón, pero no tiene capacitación formal en IA. Trabajó brevemente en Pinterest antaño de comenzar Gumroad, una pequeña compañía de comercio electrónico que casi se derrumbó en 2015. “Disfruté el 75% de mi compañía, incluidos muchos de mis mejores amigos. Efectivamente apestaba”, dijo. Lavingia mantuvo a flote a la empresa “reemplazando cada proceso manual por uno automatizado”, según una publicación en su blog personal.

Sahil Lavingia en su oficina en Brooklyn


Crédito:
Ben Sklar para ProPublica

Lavingia no tuvo mucho tiempo para sumergirse en cómo el VA maneja el cuidado de los veteranos entre comenzar el 17 de marzo y escribir la útil al día ulterior. Sin requisa, su experiencia con su propia empresa se alineó con la dirección de la distribución Trump, que ha prohijado el uso de la IA en todo el gobierno para racionalizar las operaciones y dosificar mosca.

Lavingia dijo que la estría de tiempo rápida de la orden ejecutiva de Trump en febrero, que le dio a las agencias 30 días para completar una revisión de contratos y subvenciones, era demasiado corta para hacer el trabajo manualmente. “Eso no es posible, tienes 90,000 contratos”, dijo. “A menos que escriba algún código. Pero incluso entonces no es en realidad posible”.

Bajo un crujido de tiempo, Lavingia dijo que terminó la primera traducción de su útil de acuerdo en su segundo día en el trabajo, utilizando AI para ayudarlo a escribir el código para él. Le dijo a ProPublica que luego pasó su primera semana descargando contratos de VA a su computadora portátil y analizándolos.

El secretario de prensa de VA, Pete Kasperowicz, elogió el trabajo de Doge sobre los contratos de investigación en una manifiesto a ProPublica. “Hasta donde sabemos, este tipo de revisión nunca se ha hecho antaño, pero estamos felices de establecer este precedente de sentido global”, dijo.

El VA está revisando todos sus 76,000 contratos para asegurar que cada uno de ellos beneficie a los veteranos y es un buen uso del mosca de los contribuyentes, dijo. Las decisiones de liquidar o estrechar el tamaño de los contratos se toman luego de múltiples revisiones por parte de los empleados de VA, incluidos los expertos en contratación de la agencia y el personal superior, escribió.

Kasperowicz dijo que el VA no cancelará los contratos de trabajo que brinden servicios a los veteranos o que la agencia no puede hacerse sin un plan de contingencia. Agregó que los contratos que son “derrochadores, duplicados o involucrados, VA tiene la capacidad de rendirse”, generalmente se rescindirán.

Funcionarios de Trump han dicho que están trabajando con destino a un “objetivo” de cortar rodeando de 80,000 personas de la fuerza gremial del VA de casi 500,000. La mayoría de los empleados trabajan en uno de los 170 hospitales de VA y casi 1,200 clínicas.

El VA ha dicho que evitaría estrechar los contratos que afectan directamente la atención por temor a que causaría daño a los veteranos. ProPublica informó recientemente que los cortaduras relativamente pequeños en la agencia ya han estado poniendo en peligro el cuidado de los veteranos.

El VA no ha explicado cómo planea mover simultáneamente los servicios internamente, como sugirió el código de Lavingia, el plan, al tiempo que recaudó al personal.

Muchos en el interior del VA le dijeron a ProPublica que el proceso para revisar los contratos era tan opaco que ni siquiera podían ver quién tomó las decisiones finales para matar contratos específicos. Una vez que el libreto de “masticación” había seleccionado una registro de contratos, Lavingia dijo que se lo transmitiría a otros que decidirían qué liquidar y qué apoyar. No hay contratos, dijo, fueron rescindidos “sin revisión humana”.

“Acabo de entregar el [list of contracts] a los empleados de VA “, dijo.” Básicamente pongo a Munchable en la parte superior y luego a los demás a continuación “.

Los empleados de VA dijeron a ProPublica que cuando Dege identificó los contratos que se cancelarán a principios de este año, antaño de que se trajera a Lavingia, a los empleados a veces se les dio poco tiempo para documentar la retención del servicio. Uno recordó acaecer recibido solo unas pocas horas. Los empleados pidieron no ser nombrados porque temían perder sus trabajos por musitar con los periodistas.

Según un correo electrónico interno que mencionado al exploración de inteligencia industrial de Lavingia, los miembros del personal tuvieron que objetar en 255 caracteres o menos, tan pronto como menos del remate de 280 personajes en la plataforma de redes sociales X de Musk.

Un correo electrónico de VA les dice a los empleados que la exculpación de los contratos dirigidos por DOGE debe atenerse a 255 caracteres.


Crédito:
Obtenido por ProPublica

Una vez que comenzó con el exploración de acuerdo de Dege, Lavingia dijo que se enfrentó a limitaciones tecnológicas. Al menos algunos de los errores producidos por su código pueden rastrearse hasta el uso de versiones más antiguas de modelos OpenAI disponibles a través del VA, modelos que no son capaces de resolver tareas complejas, según los expertos consultados por ProPublica.

Adicionalmente, las instrucciones subyacentes de la útil fueron profundamente defectuosas. Los registros muestran que Lavingia programó el sistema AI para hacer juicios complejos basados ​​en las primeras páginas de cada acuerdo, aproximadamente las primeras 2.500 palabras, que contienen solo información sumaria escasa.

“La IA es absolutamente la útil equivocada para esto”, dijo Waldo Jaquith, un ex conocido de Obama que lo supervisó contra el sección del Fisco. “La IA ofrece respuestas de aspecto convincente que con frecuencia son incorrectas. Debe acaecer humanos cuyo trabajo sea hacer este trabajo”.

Las indicaciones de Lavingia no incluyeron el contexto sobre cómo opera el VA, qué contratos son esenciales o cuáles son requeridos por la ley federal. Esto llevó a la IA a determinar una alcoba central del sistema de adquisición de contratos de la agencia era “mordible”.

En el núcleo del aviso de Lavingia está la dirección para dosificar contratos involucrados en la “atención directa al paciente”.

Tal enfoque, dijeron los expertos, no becerrada con la verdad de que el trabajo realizado por médicos y enfermeras para atender a los veteranos en los hospitales solo es posible con un apoyo significativo a su rodeando.

El sistema de Lavingia todavía utilizó AI para extraer detalles como el número de acuerdo y el “valencia total del acuerdo”. Esto condujo a errores evitables, donde AI devolvió el valencia de dólar incorrecto cuando se encontraron múltiples en un acuerdo. Los expertos dijeron que la información correcta estaba fácilmente apto en bases de datos públicas.

Lavingia reconoció que los errores resultaron de este enfoque, pero dijo que esos errores fueron corregidos por el personal de VA.

A fines de marzo, Lavingia publicó una traducción del libreto “Munchable” en su cuenta de Github para invitar a otros a usarlo y mejorarlo, dijo a ProPublica. “Hubiera sido excelente si todo el gobierno federal usara este libreto y cualquier persona en el divulgado pudiera ver que así es como el VA está pensando en estrechar los contratos”.

Según una publicación en su blog, esto se realizó con la aprobación de Musk antaño de dejar a Dogle. “Cuando le preguntó a la sala sobre mejorar la percepción pública de Doge, pregunté si podía obtener el código rajado que había estado escribiendo”, dijo Lavingia. “Dijo que sí, se alineó con el objetivo de Doge de máxima transparencia”.

Esa comprensión eventualmente ha llevado al despido de Lavingia. Lavingia confirmó que fue despedido de Dege luego de dar una entrevista a la revista Fast Company sobre su trabajo con el sección. Un portavoz de VA declinó hacer comentarios sobre el despido de Lavingia.

Los funcionarios de VA se han inepto a sostener si continuarán utilizando la útil “munchable” en el futuro. Pero la distribución puede implementar IA para ayudar a la agencia a reemplazar a los empleados. Los documentos previamente obtenidos por ProPublica muestran a los funcionarios de DOGE propuestos en marzo que consolidan el sección de reclamos de beneficios al aguardar más en la IA.

Y los contratistas del gobierno están prestando atención. Luego de que Lavingia publicó su código, dijo que escuchó de personas que intentaban entender cómo apoyar el mosca fluyendo.

“Obtuve un par de DM de contratistas de VA que tenían preguntas cuando vieron este código”, dijo. “Estaban tratando de cerciorarse de que sus contratos no sean cortados. O cultivarse por qué fueron cortados.

“Al final del día, los humanos son los que terminan los contratos, pero es útil para ellos ver cómo Dege o Trump o los jefes de agencia están pensando en qué contratos van a masticar. La transparencia es poco bueno”.

Si tiene alguna información sobre el mal uso o exceso de IA en el interior de las agencias gubernamentales, Brandon Roberts es un periodista de investigación en el equipo de solicitudes de parte y tiene una gran experiencia utilizando y diseccionando inteligencia industrial. Se le puede contactar en Signal @BrandonRobertz.01 o por correo electrónico [email protected].

Si tiene información sobre el VA que debemos conocer, comuníquese con el reportero Primaveral Coleman en Signal, VColeman91.99 o por correo electrónico, [email protected]y Eric Umansky en Signal, Ericumansky.04, o por correo electrónico, [email protected].

Leave a Comment