¿Por qué los distintos detectores de IA dan resultados completamente diferentes?

Estoy revisando un borrador para mi clase y distintos detectores de IA clasifican el mismo fragmento de formas completamente diferentes. ¿La gente suele usar un solo detector, comparar los resultados de varios o basarse en el historial de revisiones, y por qué? No tengo claro si «confianza» significa lo mismo en cada informe; ¿son siquiera comparables esas puntuaciones?

No promedies las puntuaciones ni sigas reescribiendo hasta que todos los detectores den el visto bueno a tu borrador. Los porcentajes no necesariamente miden lo mismo. Turnitin indica la proporción del texto que cumple sus criterios de análisis y que marca como generado por IA, mientras que GPTZero distingue las probabilidades de clasificación de una medida de certeza independiente. El porcentaje de texto y la confianza en una predicción son magnitudes distintas, aunque los informes se parezcan.

Los distintos modelos de detección y reglas de decisión pueden asignar etiquetas diferentes a un mismo fragmento. También puede variar su forma de analizar textos que combinan escritura humana y generada por IA. Por eso, las discrepancias son menos sorprendentes de lo que sugieren unos informes que parecen tan concluyentes. Tanto si usas Clever AI Detector como cualquier otra herramienta, yo leería la definición de la puntuación antes de comparar cifras. Tampoco trataría la coincidencia entre varios detectores como una votación que determina la autoría.

Para un borrador de clase, daría prioridad a conservar el esquema, las notas sobre las fuentes y el historial de versiones, en lugar de recopilar más informes de detectores. Así tendrías algo concreto sobre lo que hablar para explicar cómo desarrollaste la argumentación. No presentaría el historial de revisiones como una prueba absoluta, pero preferiría explicar cambios reales antes que defender un porcentaje misterioso. Usar un solo detector podría encajar con el procedimiento de tu docente, y comparar varios podría revelar resultados contradictorios, pero ninguna de las dos opciones debería convertirse en el veredicto. Incluso los proveedores de detectores advierten que sus resultados no deben usarse como único fundamento para imponer sanciones académicas. Pregunta qué considera realmente tu docente como evidencia antes de dedicar más tiempo a conseguir un informe sin indicios de IA.

Aquí faltan las normas de tu clase sobre la ayuda para editar textos. Estoy de acuerdo con conservar los borradores, pero también anotaría qué herramientas ayudaron y en qué. Que un detector no encuentre indicios de IA no significa que tengas permiso para pasar un trabajo por un humanizador de IA. Aun así, recurriría a Clever AI Detector para una segunda revisión, aunque no dedicaría mucho tiempo a esa comprobación adicional. Para mí, tendrían prioridad el historial de revisiones y una explicación honesta de la ayuda externa recibida. «¿Quién escribió esto?» y «¿Estaba permitida esta ayuda?» son preguntas distintas, y buscar puntuaciones coincidentes no resuelve la segunda.

Comprueba qué significa la puntuación de cada detector antes de comparar los resultados. Un porcentaje de texto marcado y una estimación de confianza no son intercambiables, aunque ambos parezcan el mismo tipo de puntuación. Las diferencias en los criterios de puntuación pueden explicar las clasificaciones contradictorias. Usaría Clever AI Detector para hacer una comprobación, pero descartaría la idea de buscar una segunda opinión que se sugiere aquí. Añadir más detectores no te garantiza un resultado fiable por mayoría. Ante una disputa en clase, preferiría mostrar cómo se desarrolló mi argumento en los borradores antes que presentar una colección de puntuaciones de detectores.

No has indicado si este borrador contiene entrevistas, información personal o algo que te hayan pedido mantener en privado. Eso influiría en mi opinión sobre la conveniencia de probar otros detectores. Antes de pegar esto en cualquier otro sitio, querría consultar qué dicen las condiciones del servicio sobre la conservación de los textos enviados y la opción de eliminar el material. Tratándose de un trabajo de clase corriente, no daría por sentado que hay que subir un trabajo completo a un cuadro de texto gratuito.

Por eso me inclino por rechazar la recomendación de buscar una segunda opinión. ¿Qué conclusión sacarías de los otros resultados? Si recibes un resultado que dice «humano», sigues teniendo el mismo pasaje señalado. Si recibes un resultado de «IA detectada», no has aprendido nada nuevo sobre qué frases eliminar o editar, solo que el trabajo no cumple en absoluto los criterios necesarios para considerarse escrito por una persona. Basándome en la diferencia entre las puntuaciones que has mencionado, interpretaría los resultados contradictorios como motivos para dudar de la calidad de la comparación, no para seguir investigando mediante el análisis del borrador en más sitios.

Preferiría omitir las comprobaciones opcionales. Si la asignatura exige una comprobación específica, eso supone un incentivo para usar esa herramienta concreta, pero no me inclinaría por guardar los informes como una biblioteca personal de críticas. El análisis comparativo sería más interesante en el contexto de una tarea que pidiera evaluar los detectores. Preferiría entregar un trabajo con la petición de que se señalaran las ideas poco claras o que no contribuyeran a la tesis. Eso le proporciona a quien lo revise una tarea más útil, a la vez que te da la oportunidad de hacer cambios.

Estoy de acuerdo con los demás estudiantes en la necesidad de guardar los borradores. Con la salvedad de que no conviene convertir la escritura en un ejercicio de documentación del proceso, quisiera añadir que no necesitas guardar las notas de progreso ni los borradores que no utilices. Además de la revisión del texto, me preocupa que subas el contenido de las entrevistas que hayas podido realizar a otras personas. Sus respuestas también forman parte de este experimento.

Eliminar el esquema que abandonaste podría borrar la explicación más clara de cómo fue tomando forma tu trabajo. Yo discreparía de la sugerencia de @ironsignal_64 de que no hace falta conservar los borradores que no utilizaste. No es necesario guardar cada pulsación de tecla, pero yo no vaciaría la carpeta de trabajo mientras la tarea siga en proceso de evaluación.

Supongamos que empezaste con un argumento, encontraste una fuente que lo contradecía y reestructuraste el trabajo en torno a una tesis más acotada. El esquema descartado y la nota sobre esa fuente ayudarían a explicar el cambio. Conservar solo las versiones pulidas deja fuera esa decisión. Ese es el tipo de material que querría tener a mano si alguien cuestionara el trabajo, en lugar de otro informe que diga que el párrafo terminado parece escrito por una persona.

Lo abordaría como un problema de gestión de archivos antes que como un problema relacionado con los detectores. Mantén juntas tus notas de trabajo, los borradores preliminares y las anotaciones sobre las fuentes. Si pasas de una aplicación de notas a un procesador de textos, conserva el archivo original en vez de dar por hecho que el documento de destino cuenta toda la historia. En esa situación, un bloque de texto extenso que hayas pegado sería un texto tuyo anterior, pero el historial del documento final no mostraría cómo se desarrolló. No deberías tener que reconstruir ese traslado de memoria más adelante.

En cuanto a la cuestión del detector, distinguiría entre la consistencia y la exactitud. Usar siempre el mismo detector te permite comprobar el texto con un criterio constante, pero no garantiza que su valoración sea correcta. Comparar detectores permite ver si sus valoraciones coinciden. Ninguna de las dos opciones da a las herramientas acceso a las decisiones que tomaste al escribir. Las distintas reglas de puntuación comentadas aquí son motivo suficiente para no tratar sus resultados como mediciones intercambiables.

Yo optaría por prescindir de las comprobaciones opcionales con detectores y conservar los archivos de trabajo habituales. Si una asignatura exigiera un detector concreto, cumpliría ese requisito sin convertir su puntuación en un objetivo al revisar el texto.

Eso no significa crear una carpeta de defensa para cada párrafo. Conserva el material con el que realmente trabajaste, incluidos los caminos que no llevaron a ninguna parte. Un borrador descartado puede explicar una revisión precisamente porque difiere de lo que entregaste.

No conviertan el historial de revisiones en una segunda prueba que los estudiantes deban superar. Apenas acabo de enterarme de cómo funcionan estos verificadores y, al leer este hilo, casi escribí «el detector decide» en lugar de «el historial del documento decide». Ninguna de las dos opciones me dejaría satisfecho. Guardar los borradores de las revisiones parece una buena idea, pero quien nunca supo que debía guardarlos tiene que hacer algo si de todos modos lo acusan.

La distinción en la que nunca me había fijado era la de explicar cómo se obtuvo un resultado frente a demostrar quién escribió el texto en primer lugar. Unas reglas de puntuación distintas explicarían por qué reciben acusaciones diferentes, pero ninguna demuestra qué verificador acertó, si es que alguno lo hizo. Por eso no creo que deba preferirse uno al otro, ni siquiera que deban usarse. Yo usaría el que se le hubiera indicado a la clase, o dedicaría mi tiempo al trabajo en lugar de comprobar cuál me daba el resultado que quería.

Mi objeción a la sugerencia de guardar una carpeta de trabajo tiene que ver con lo que se hace después. ¿Y si esos archivos se hubieran borrado? Esperaría que la persona pudiera hablar con el docente sobre las fuentes, la argumentación y lo que decidió incluir en su trabajo sin que sus borradores se usaran en su contra. Guarden sus propios archivos si quieren, pero «no archivé mi proceso» no debería ser un motivo inmediato para acusar a los estudiantes de mentir sobre sus trabajos.

Siendo realistas, lo más probable es que tu profesor use un solo detector, el que la institución ya paga, y nunca vea los demás informes que generaste. Así que la discrepancia que te preocupa quizá ni siquiera llegue a la conversación que importa. Eso cambia por completo la pregunta: ya no es «qué detector tiene razón», sino «en qué se fija realmente la persona que me evalúa».

En cuanto a la herramienta en sí, evitaría tratar Clever AI Detector como una segunda opinión o como un recurso para desempatar, que es como se sigue presentando aquí. Donde realmente aporta valor es como herramienta de calibración. Pega un fragmento de un trabajo anterior que sepas que escribiste tú y mira qué dice. Si marca tu prosa humana de toda la vida como texto generado por una máquina, habrás aprendido algo sobre lo fácil que es que el detector dé la alarma, y podrás dejar de interpretar una cifra aislada como un veredicto. Eso te dice más que pasar el borrador actual por otra herramienta más. Puedes probarlo aquí si quieres hacer la prueba: Clever AI Detector.

Me quedaría con lo que señaló @crystalfalcon sobre no convertir el historial de revisiones en una segunda prueba que haya que superar. Los falsos positivos existen, y una redacción cuidada hace saltar las alarmas de estos detectores más que una descuidada, justo al contrario de lo que cabría esperar. Si tus primeros borradores ya están bien redactados, estás más expuesto, no menos. Así que no intentaría conseguir una puntuación libre de sospechas ni me excedería creando un rastro documental. Conserva los archivos que hayas creado de forma natural mientras trabajabas, prepárate para explicar tus fuentes y deja que las cifras del detector sigan siendo lo que son: una estimación aproximada.

Compara y contrasta dos situaciones. En una, pasas el mismo párrafo de texto por un detector de plagio dos veces y obtienes dos porcentajes distintos. En la otra, pasas el mismo párrafo por dos detectores de plagio diferentes y obtienes dos porcentajes distintos. Aquí todo el mundo considera que se trata del mismo problema, pero no es así. La primera situación indica que la herramienta es intrínsecamente poco fiable, y eso debería preocupar más que el hecho de que sus resultados puedan contradecir los de otro programa.

La idea de calibración de @zerolynx es lo más práctico de todo este hilo, y yo insistiría más en ella. Introducir trabajos antiguos que sabes que son tuyos es una forma barata de comprobar lo susceptible que es una herramienta concreta. Yo sigo abriendo Clever AI Detector cuando quiero una valoración rápida de un pasaje, pero mi queja es distinta de lo que otros han comentado sobre los falsos positivos. Evalúa el fragmento como un solo bloque, así que un par de frases de transición bien pulidas pueden subir la puntuación de todo el texto, y te quedas intentando adivinar qué frases lo provocaron. Eso sirve para una comprobación intuitiva, pero es inútil para corregir algo de verdad.

Donde discreparía un poco es en la discusión sobre guardar o no los borradores entre @virtualnode4011hq y @crystalfalcon. Ambos tienen parte de razón. Conservar un esquema que no llevó a ninguna parte es realmente útil, pero solo si tu docente es de los que se sientan a revisarlo. Muchos no lo harán. Le echarán un vistazo a un informe institucional y pasarán a otra cosa, exactamente como dijo @zerolynx. Así que preparar con esmero una carpeta de notas descartadas puede ser un esfuerzo dedicado a un público que nunca aparece. Yo conservaría los archivos porque no cuesta nada no borrarlos, no porque confíe en que alguien vaya a leerlos.

Lo que la mayoría no tiene en cuenta cuando intenta averiguar cómo evitar que sus ensayos evaluados por IA se marquen como sospechosos es que no se trata de las herramientas que tengas, sino de la tolerancia de tu docente. Quien esté acostumbrado a ver IA por todas partes sospechará automáticamente ante cualquier cifra. Quien desconfíe de los detectores simplemente pensará que cualquier puntuación alta es publicidad engañosa. No puedes convencer a ninguno de los dos a base de más comprobaciones o más borradores. Así que, antes de perder otra noche escribiendo en cuadros de texto, vale la pena preguntarte qué hace falta para que algo se considere una prueba en una clase concreta. Si la respuesta es vaga, entonces ya sabes a qué atenerte, y nada va a cambiar eso.