AI Hallucination Cases

See here for details.

Order to Show Cause is here.

"No puede soslayarse, como hecho de gravedad institucional, que la defensa técnica del imputado - en el momento procesal que constituye la última instancia de revisión extraordinaria local- haya presentado un escrito elaborado posiblemente mediante el uso de herramientas de inteligencia artificial, u obtenidos a través de medios no confiables y fidedignos sin ejercer el más mínimo control sobre la veracidad de las citas jurisprudenciales, la autenticidad de las fuentes invocadas ni la coherencia dogmática de los fundamentos empleados.

La conducta descripta trasciende el mero error material o descuido profesional: configura un supuesto de negligencia grave incompatible con los deberes de probidad, lealtad y diligencia que rigen la funcióndel abogado defensor.

La defensa penal no puede convertirse en unespacio de experimentación de medios y/o tecnologías de manera irresponsable que - aunque de utilidad potencial - requieren un manejo prudente, crítico y siempre supervisado por el criterio humano. El ejercicio de la defensa en juicio, protegido por el art. 18 de la Constitución Nacional y por los instrumentos internacionales con jerarquía constitucional, exige una intervención personal, reflexiva y fundada de quien ejerce la representación técnica. El uso automático y acrítico de un asistente artificial, o la utilización de fuentes con procedencia desconocida para producir un escrito en la instancia recursiva vulnera no solo el deber de diligencia, sino también el derecho del imputado a una defensa real y efectiva."

"[134] Même si l’arbitre de griefs est un tribunal administratif moins formel que le sont laCour supérieure ou les autres tribunaux judiciaires, notamment parce que ses règles depreuve sont plus souples, il n’en demeure pas moins que c’est un tribunal. À l’évidence,le procureur qui, devant ce tribunal, s’appuie sur de la jurisprudence doit s’assurer qu’elleexiste.

[135] L’arbitre de griefs s’attend à ce que tous les procureurs qui plaident devant luisoient compétents, honnêtes, professionnels et respectueux de son autorité.Manifestement, celui qui soumet au tribunal des références jurisprudentielles inexistantesne satisfait pas ces attentes, car il induit, intentionnellement ou non, le tribunal et la partieadverse en erreur.

[136] Qui plus est, le procureur qui fait référence à de la jurisprudence qui n’existe pasrallonge inutilement l’arbitrage. On reproche déjà, souvent avec raison, la longueur etles coûts élevés associés à l’arbitrage de griefs. Ces problèmes seront exacerbés si lesinformations inexactes générées par les hallucinations d’outils d’intelligence artificielles’introduisent devant les tribunaux d’arbitrage en raison de la négligence des procureurs.Le présent cas en est un bon exemple.

[137] Enfin, le procureur qui fait référence à de la jurisprudence inexistante expose lapartie qu’il représente à devoir compenser les dommages que cela pourrait causer àl’autre partie.

[138] En définitive, référer à des décisions qui n’existent pas, comme l’a fait laprocureure patronale dans le présent dossier, est un geste répréhensible qui ne devraitjamais se produire en arbitrage de griefs. Ce comportement est d’autant plus grave quecette procureure est membre de l’Ordre des conseillers en ressources humaines agréés."

Plaintiff's counsel filed an opposition brief containing several quotations and citations the Court could not verify, including at least one the Court described as a "fabricated quotation." Defendants first identified the potentially inaccurate citations in their reply. The Court ordered disclosure about AI use, production of drafts, metadata and timesheets, and set a hearing to determine responsibility and whether sanctions or bar referral are warranted.

Show Cause Order here. Law firm explained what happened here.

In the ultimate order, the court noted that "In terms of competence, the threat to attorneys using generative artificial intelligence platforms powered by large language models is two-fold. First, danger exists that the attorney does not understand how the technology functions, believing that the output is real instead of “realistic-looking."."

In finding that the law firm acted with integrity, the Court noted with approval that it had repaid the other side's fees, to the tune of 55,721.2 USD.

Order to Show Cause is here.

Show Cause Order is here.