> ## Documentation Index
> Fetch the complete documentation index at: https://docs.niadra.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Reportar um contrafactual

> O que o executor mediu no seu CI: se um elemento do bloco de restrições muda o que uma ferramenta devolve, contra o ruído da própria ferramenta. Posições e sobreposições, nunca itens.



## OpenAPI

````yaml openapi/pt/cell.json POST /v1/measure/counterfactual-runs
openapi: 3.1.0
info:
  title: API de dados da Niadra
  version: '1'
  description: >-
    Escrita, contexto, histórico, objetos, identidade, privacidade e governança
    de um espaço. Cada espaço tem um endereço estável, com o espaço e a região
    no nome.
servers:
  - url: https://{space}.{region}.api.niadra.com
    variables:
      space:
        default: acme-prod
        description: O espaço, que vem na chave de fonte.
      region:
        default: us-east-2
        description: A região do espaço, que também vem na chave.
security: []
paths:
  /v1/measure/counterfactual-runs:
    post:
      tags:
        - signals
      summary: Reportar um contrafactual
      description: >-
        O que um executor no CI da empresa mediu: se um elemento muda o que uma
        ferramenta devolve, contra o ruído da própria ferramenta. Só posições e
        sobreposições (a especificação do contrafactual de ferramenta).


        **Autenticação.** Chave de fonte com o escopo `replay`, ou token de
        pessoa do Console com o papel `analysis` (ou admin). Só responde num
        espaço com a funcionalidade `measurement` ligada (o documento
        `features`); num espaço sem ela, 404.
      operationId: counterfactual_run_v1_measure_counterfactual_runs_post
      requestBody:
        content:
          application/json:
            schema:
              $ref: '#/components/schemas/CounterfactualRunCreate'
        required: true
      responses:
        '201':
          content:
            application/json:
              schema:
                $ref: '#/components/schemas/CounterfactualRun'
          description: O relatório, calculado sobre os casos concluídos.
        '422':
          content:
            application/problem+json:
              schema:
                $ref: '#/components/schemas/Problem'
          description: O pedido não bate com o contrato.
      security:
        - sourceKey: []
        - personToken: []
      x-codeSamples:
        - lang: python
          label: Python
          source: >-
            # niadra counterfactual --tools app.tools:TOOLS --tool
            search_products --element hard --scenario sc_01J9...

            # Runs each recorded call live, with and without the element, and
            reports positions and overlaps only
        - lang: typescript
          label: TypeScript
          source: >-
            // The Python SDK's `niadra counterfactual` command runs the cases;
            the report is read here

            const report = await niadra.api.counterfactualRunRead(runId);

            console.log(report.effect, report.limits);
components:
  schemas:
    CounterfactualRunCreate:
      additionalProperties: false
      description: >-
        O que um executor mediu no CI da empresa para uma ferramenta e um
        elemento (a especificação do contrafactual de ferramenta).
      properties:
        cases:
          items:
            $ref: '#/components/schemas/CounterfactualCase'
          maxItems: 5000
          minItems: 1
          title: Cases
          type: array
        element:
          enum:
            - constraints
            - hard
            - size
            - exclude
          title: Element
          type: string
        k:
          default: 10
          description: As posições comparadas quando uma lista gravada não tem `visible_k`.
          maximum: 100
          minimum: 1
          title: K
          type: integer
        label:
          anyOf:
            - maxLength: 256
              minLength: 1
              type: string
            - type: 'null'
          description: Um nome para a execução, como o commit ou a build em que rodou.
          title: Label
        tool:
          pattern: ^[A-Za-z][A-Za-z0-9_.:-]{0,63}$
          title: Tool
          type: string
      required:
        - tool
        - element
        - cases
      title: CounterfactualRunCreate
      type: object
    CounterfactualRun:
      additionalProperties: false
      description: >-
        Se o elemento muda o que a ferramenta devolve, além do ruído da própria
        ferramenta. Nunca diz se o resultado melhorou, nem como o modelo reage:
        `limits` diz isso, e o que mais segura a resposta.
      properties:
        above_noise:
          title: Above Noise
          type: integer
        below_noise:
          description: Casos concluídos cuja sobreposição fica abaixo do próprio ruído.
          title: Below Noise
          type: integer
        cases:
          title: Cases
          type: integer
        completed:
          title: Completed
          type: integer
        created_at:
          format: date-time
          title: Created At
          type: string
        effect:
          anyOf:
            - type: number
            - type: 'null'
          description: >-
            `noise_floor - overlap`: quanto das primeiras posições o elemento
            move além do ruído.
          title: Effect
        element:
          enum:
            - constraints
            - hard
            - size
            - exclude
          title: Element
          type: string
        engaged:
          $ref: '#/components/schemas/CounterfactualEngagement'
        label:
          anyOf:
            - type: string
            - type: 'null'
          title: Label
        limits:
          items:
            enum:
              - not_quality
              - model_reaction_not_measured
              - trivial_for_hard
              - few_cases
              - noisy_tool
              - cases_skipped
              - dry_run
            type: string
          title: Limits
          type: array
        noise_floor:
          anyOf:
            - type: number
            - type: 'null'
          description: overlap@k médio da base com ela mesma.
          title: Noise Floor
        overlap:
          anyOf:
            - type: number
            - type: 'null'
          description: overlap@k médio da base com a variante.
          title: Overlap
        p_value:
          anyOf:
            - type: number
            - type: 'null'
          description: >-
            O teste do sinal bilateral de `below_noise` contra `above_noise`:
            quão provável é uma divisão assim desigual quando o elemento não
            muda nada.
          title: P Value
        run_id:
          maxLength: 512
          minLength: 1
          title: Run Id
          type: string
        skipped:
          additionalProperties:
            type: integer
          description: Os casos não concluídos.
          propertyNames:
            enum:
              - completed
              - no_dry_run
              - tool_error
              - infrastructure_error
          title: Skipped
          type: object
        ties:
          title: Ties
          type: integer
        tool:
          title: Tool
          type: string
      required:
        - run_id
        - tool
        - element
        - created_at
        - cases
        - completed
        - overlap
        - noise_floor
        - effect
        - below_noise
        - above_noise
        - ties
        - p_value
        - engaged
        - limits
      title: CounterfactualRun
      type: object
    Problem:
      additionalProperties: false
      description: >-
        Detalhes do problema no formato da RFC 9457; `code` vem do catálogo de
        erros versionado.
      properties:
        code:
          title: Code
          type: string
        detail:
          anyOf:
            - type: string
            - type: 'null'
          default: null
          title: Detail
        request_id:
          anyOf:
            - type: string
            - type: 'null'
          default: null
          title: Request Id
        status:
          title: Status
          type: integer
        title:
          title: Title
          type: string
        type:
          default: about:blank
          title: Type
          type: string
      required:
        - title
        - status
        - code
      title: Problem
      type: object
    CounterfactualCase:
      additionalProperties: false
      description: >-
        Uma chamada de ferramenta gravada, rodada ao vivo três vezes no mesmo
        momento: duas com o elemento (a base, cujas duas listas medem o ruído da
        própria ferramenta) e uma sem ele (a variante). Só posições e
        sobreposições: nunca um item, um argumento ou um resultado.
      properties:
        base_count:
          anyOf:
            - minimum: 0
              type: integer
            - type: 'null'
          description: Itens na primeira lista da base.
          title: Base Count
        call_id:
          maxLength: 256
          minLength: 1
          title: Call Id
          type: string
        dry_run:
          default: false
          description: As chamadas rodaram como o ensaio da ferramenta.
          title: Dry Run
          type: boolean
        engaged:
          items:
            $ref: '#/components/schemas/CounterfactualEngaged'
          maxItems: 50
          title: Engaged
          type: array
        k:
          anyOf:
            - maximum: 100
              minimum: 1
              type: integer
            - type: 'null'
          description: >-
            As posições comparadas: o `visible_k` da lista gravada, ou o `k` da
            execução.
          title: K
        noise:
          anyOf:
            - maximum: 1
              minimum: 0
              type: number
            - type: 'null'
          description: 'overlap@k das duas listas da base: o ruído da própria ferramenta.'
          title: Noise
        overlap:
          anyOf:
            - maximum: 1
              minimum: 0
              type: number
            - type: 'null'
          description: overlap@k da primeira lista da base e da lista da variante.
          title: Overlap
        status:
          description: >-
            `no_dry_run` para uma ferramenta que escreve estado e não tem
            ensaio: ela nunca é chamada. `tool_error` quando uma chamada falhou,
            `infrastructure_error` quando o executor não conseguiu rodar o caso.
          enum:
            - completed
            - no_dry_run
            - tool_error
            - infrastructure_error
          title: Status
          type: string
        turn_id:
          pattern: ^[A-Za-z0-9][A-Za-z0-9._-]{0,63}$
          title: Turn Id
          type: string
        variant_count:
          anyOf:
            - minimum: 0
              type: integer
            - type: 'null'
          description: Itens na lista da variante.
          title: Variant Count
      required:
        - turn_id
        - call_id
        - status
      title: CounterfactualCase
      type: object
    CounterfactualEngagement:
      additionalProperties: false
      description: >-
        Para onde foram, sem o elemento, os itens com que a pessoa interagiu,
        nos casos concluídos.
      properties:
        gained:
          description: Entre os primeiros `k` da variante e fora dos da base.
          title: Gained
          type: integer
        items:
          title: Items
          type: integer
        kept:
          description: Entre os primeiros `k` das duas listas.
          title: Kept
          type: integer
        lost:
          description: Entre os primeiros `k` da base e fora dos da variante.
          title: Lost
          type: integer
        mean_shift:
          anyOf:
            - type: number
            - type: 'null'
          description: >-
            A posição na variante menos a posição na base, em média sobre os
            itens que as duas listas têm; positivo quando eles caíram.
          title: Mean Shift
        shown:
          description: Entre os primeiros `k` da lista da base.
          title: Shown
          type: integer
      required:
        - items
        - shown
        - kept
        - lost
        - gained
      title: CounterfactualEngagement
      type: object
    CounterfactualEngaged:
      additionalProperties: false
      description: >-
        Um item com que a pessoa interagiu no turno gravado, pela posição (a
        partir de 1) em cada lista ao vivo; ausente onde a lista não o tem.
      properties:
        base:
          anyOf:
            - maximum: 10000
              minimum: 1
              type: integer
            - type: 'null'
          title: Base
        variant:
          anyOf:
            - maximum: 10000
              minimum: 1
              type: integer
            - type: 'null'
          title: Variant
      title: CounterfactualEngaged
      type: object
  securitySchemes:
    sourceKey:
      type: http
      scheme: bearer
      description: nia_sk_...
    personToken:
      type: http
      scheme: bearer
      bearerFormat: JWT

````