La cobertura del código Jacoco cayó con la migración a Java 11

Tengo varios proyectos de Gradle que se crearon usando Java 8, y después de convertirlos recientemente para usar Java 11, los informes de cobertura de código de Jacoco han informado porcentajes mucho más bajos que antes. En un proyecto, inmediatamente después de la transición, mi cobertura se redujo del 81% al 16%.

Intenté actualizar el complemento Jacoco a 0.8.3 (que tiene soporte oficial para JDK 11 ), Gradle a 5.4 y TestNG a 6.14.3 (no estoy seguro de si esto tiene algún efecto; pensé que no estaría de más estar en la última versión ). Incluso después de estos cambios, el proyecto que mencioné anteriormente tiene una cobertura del 16%. Verifiqué manualmente algunas de las clases en las que informaba una cobertura del 0% y descubrí que en realidad tenían cobertura de prueba.

Por ejemplo, agregué este método a una de mis clases:

public String helloWorld(){
        return "hello";
    }

Luego lo usé en una prueba:

@Test(groups = IntegrationTest.INTEGRATION_GROUP)
    public void testHelloWorld() {
        String helloWorld = authManager.helloWorld();
        assertEquals(helloWorld, "hello");
    }

Y la cobertura reportada como 0:

Si es útil, aquí está mi configuración de Jacoco Gradle. Estoy usando un complemento personalizado para configurarlos.

  class ManagedJacocoPlugin implements ManagedPlugin {
  @Override
  void apply(PluginManager pluginManager) {
    pluginManager.apply(JacocoPlugin.class)
  }

  @Override
  void configure(Project project, GradlePluginConfig pluginConfig) {
    def jacoco = project.extensions.getByName("jacoco")
    jacoco.toolVersion = "0.8.3"

    def jacocoTestReport = project.tasks.getByName('jacocoTestReport')
    jacocoTestReport.reports {
      xml.enabled false
      csv.enabled false
    }

    project.tasks.withType(Test).each { t ->
      t.jacoco {
        destinationFile = project.file("$project.buildDir/jacoco/test.exec")
      }
    }

    jacocoTestReport.dependsOn "integrationTest"
  }
}

Por lo que puedo deducir, Java 11 debería ser totalmente compatible con la cobertura de Jacoco dadas las versiones de las herramientas que estoy usando. ¿Que me estoy perdiendo aqui?

Esta es la pagina https://stackoverflow.com/help/mcve dice sobre cómo crear un ejemplo mínimo, completo y verificable:

Asegúrate de que esté completo

Copie el código de su pregunta en un nuevo archivo o proyecto, luego ejecútelo. Si no se ejecuta para usted, no se ejecutará para nadie más.

Sin embargo, ¿quién sabe qué hay ManagedPluginen tu ejemplo?

Pero bueno, intentemos seguir el consejo anterior y usar lo que tenemos, fingiendo que tenemos tiempo para adivinar y que tendremos suerte si adivinamos correctamente.

Todo excepto ManagedPlugindespués de la adición de muchas piezas faltantes se convierte en un seguimientobuild.gradle

apply plugin: 'java'
apply plugin: 'jacoco'

repositories {
    mavenCentral()
}

dependencies {
    testCompile group: 'org.testng', name: 'testng', version: '6.14.3'
}

test {
    useTestNG() {
        includeGroups('unit')
    }
}

task integrationTest(type: Test, dependsOn: ['test']) {
    useTestNG() {
        includeGroups('integration')
    }
}


def jacoco = project.extensions.getByName("jacoco")
jacoco.toolVersion = "0.8.3"

def jacocoTestReport = project.tasks.getByName('jacocoTestReport')
jacocoTestReport.reports {
    xml.enabled false
    csv.enabled false
}

project.tasks.withType(Test).each { t ->
    t.jacoco {
        destinationFile = project.file("$project.buildDir/jacoco/test.exec")
    }
}

jacocoTestReport.dependsOn "integrationTest"

el método helloWorldentra ensrc/main/Example.java

class Example {
    public String helloWorld() {
        return "hello";
    }
}

el método testHelloWorldentra ensrc/test/ExampleTest.java

import org.testng.annotations.Test;
import static org.testng.Assert.*;

class ExampleTest {
    Example authManager = new Example();

    @Test(groups = "integration")
    public void testHelloWorld() {
        String helloWorld = authManager.helloWorld();
        assertEquals(helloWorld, "hello");
    }
}

La ejecución del gradle clean jacocoTestReportuso de Gralde 5.4 y JDK 11.0.1 produce el siguiente informe

Por lo tanto, podemos concluir que el ejemplo proporcionado definitivamente no está completo.

Intentemos adivinar de nuevo y agregar src/main/java/Example.java

    public void anotherMethod() {
    }

y en src/test/java/ExampleTest.java

    @Test(groups = "unit")
    public void test() {
       new Example().anotherMethod();
    }

Ahora la ejecución de gradle clean jacocoTestReportproduce el siguiente informe

Parece que ahora podemos reproducir tu problema.

¿Por qué anotherMethodno está cubierto? Sigamos otro gran consejo dehttps://stackoverflow.com/help/mcve :

Divide y conquistaras. Cuando tenga una pequeña cantidad de código, pero el origen del problema no esté del todo claro, comience a eliminar el código poco a poco hasta que el problema desaparezca y luego vuelva a agregar la última parte.

que también funciona no solo para el código, sino también para los cambios en las versiones; intentemos revertir el cambio de la versión de Gradle de 5.4 a 4.10.3 y con ello la ejecución de gradle clean jacocoTestReportproduce

Por lo tanto, podemos concluir que se cambió algo en Gradle . Revisemos su registro de cambios -https://docs.gradle.org/5.0/release-notes.html contiene una declaración muy interesante:

El complemento JaCoCo ahora funciona con el caché de compilación y la ejecución de pruebas paralelas

... las tareas que se ejecutan con cobertura de código están configuradas para eliminar los datos de ejecución justo antes de que comiencen a ejecutarse ...

La tarea integrationTestelimina los datos recopilados por tarea test. Intentemos no usar el mismo archivo:

//project.tasks.withType(Test).each { t ->
//    t.jacoco {
//        destinationFile = project.file("$project.buildDir/jacoco/test.exec")
//    }
//}

jacocoTestReport.executionData(test)
jacocoTestReport.executionData(integrationTest)

Ahora la ejecución de gradle clean jacocoTestReporteven con Gradle 5.4 produce