Skip to main content
POST
Python

Autorizações

Authorization
string
header
obrigatório

nia_sk_...

Corpo

application/json

O que um executor mediu no CI da empresa para uma ferramenta e um elemento (a especificação do contrafactual de ferramenta).

cases
CounterfactualCase · object[]
obrigatório
Required array length: 1 - 5000 elements
element
enum<string>
obrigatório
Opções disponíveis:
constraints,
hard,
size,
exclude
tool
string
obrigatório
Pattern: ^[A-Za-z][A-Za-z0-9_.:-]{0,63}$
k
integer
padrão:10

As posições comparadas quando uma lista gravada não tem visible_k.

Intervalo obrigatório: 1 <= x <= 100
label
string | null

Um nome para a execução, como o commit ou a build em que rodou.

Required string length: 1 - 256

Resposta

O relatório, calculado sobre os casos concluídos.

Se o elemento muda o que a ferramenta devolve, além do ruído da própria ferramenta. Nunca diz se o resultado melhorou, nem como o modelo reage: limits diz isso, e o que mais segura a resposta.

above_noise
integer
obrigatório
below_noise
integer
obrigatório

Casos concluídos cuja sobreposição fica abaixo do próprio ruído.

cases
integer
obrigatório
completed
integer
obrigatório
created_at
string<date-time>
obrigatório
effect
number | null
obrigatório

noise_floor - overlap: quanto das primeiras posições o elemento move além do ruído.

element
enum<string>
obrigatório
Opções disponíveis:
constraints,
hard,
size,
exclude
engaged
CounterfactualEngagement · object
obrigatório

Para onde foram, sem o elemento, os itens com que a pessoa interagiu, nos casos concluídos.

limits
enum<string>[]
obrigatório
Opções disponíveis:
not_quality,
model_reaction_not_measured,
trivial_for_hard,
few_cases,
noisy_tool,
cases_skipped,
dry_run
noise_floor
number | null
obrigatório

overlap@k médio da base com ela mesma.

overlap
number | null
obrigatório

overlap@k médio da base com a variante.

p_value
number | null
obrigatório

O teste do sinal bilateral de below_noise contra above_noise: quão provável é uma divisão assim desigual quando o elemento não muda nada.

run_id
string
obrigatório
Required string length: 1 - 512
ties
integer
obrigatório
tool
string
obrigatório
label
string | null
skipped
Skipped · object

Os casos não concluídos.