Linguagem Simples BR · Gabriela Quero

Uma skill é um pacote de instruções que ensina um assistente de IA a fazer uma tarefa. A minha revisa textos em português do Brasil em linguagem simples, um jeito de escrever em que a pessoa encontra a informação, entende e consegue usar. Ela está aberta no GitHub ↗, em beta. Comecei em maio de 2026, pra revisar textos meus. Em setembro decidi publicar, e aí veio a pergunta chata. O que ela faz que um prompt curto não faz?

Cinco textos de órgãos públicos foram revisados de três formas, com a v0.5.1 da skill, no DeepSeek v4-flash. São um trecho da Base Nacional Comum Curricular (BNCC), um manual contábil, um edital, um FAQ de pregão e um ofício da Comissão de Valores Mobiliários (CVM). Cada forma rodou uma vez por texto.

Forma de revisão	Frases acima de 30 palavras	Maior frase, em média	Palavras na resposta, sem tabelas
Só o modelo	11,8%	36,0	1.381
Prompt de 8 linhas	0,0%	21,4	1.320
Com a skill	3,3%	29,4	4.856

O prompt inteiro cabe aqui:

Reescreva em português claro. Frases de até 20 palavras. Voz ativa. Uma ideia por frase. Troque substantivo abstrato por verbo. Não perca nenhum fato, prazo ou condição. Diga a quem a regra se aplica. Não infantilize.

Ele pede frase curta, e a métrica mede frase curta, então a comparação já nasce a favor dele. Ainda assim, a skill perdeu, e o resultado está publicado no README. A tabela mede só tamanho de frase, numa versão antiga. A versão pública hoje é a v0.6.0-beta.5, e essa medição não foi refeita nela.

Daqui pra frente, conto o que sobrou depois desse resultado e quantas vezes a própria avaliação estava errada.

O que tem no projeto

O núcleo é um arquivo de instruções em cima de modelos que já existem. Não treinei modelo nenhum. O fluxo identifica público, suporte e objetivo, diagnostica o texto e decide o que não mexer. Depois reescreve e confere fatos, prazos, condições, grau de certeza e referências legais. A resposta muda se o texto é de órgão público ou privado, e se é curto ou longo. A base é o Manual de Linguagem Simples da Câmara dos Deputados, a Lei 15.263/2025 e a norma ABNT NBR ISO 24495-1, com seus quatro princípios.

Em volta disso ficam os instrumentos:

evals.json ↗, com 11 cenários e 38 critérios verificáveis;
medir.py ↗, que descreve tamanho de frase e marcas de burocratês, sem dar nota de qualidade;
um gabarito de cobertura ↗ pra contar itens de textos legais;
gerar-pacotes-web.py ↗, que monta os pacotes de instalação.

Decidi que todo texto de teste tinha que poder ser publicado junto com o repositório. Na beta.3, isso tirou da distribuição os textos e resultados sem licença clara.

Ter cenário escrito não quer dizer ter passado nele. Não tem script que rode os 11, e não há registro de todos juntos contra uma mesma versão. Eles foram rodando aos poucos, em versões e modelos diferentes. Do cenário 3, não achei execução registrada. E o cenário 5 reprovaria no Opus com a v0.4. Sem acesso à lei, o modelo avisou que trabalhava de memória e listou itens da lei que não existem, como "sem expressões em latim".

Quando o medidor estava errado

A primeira medição tratou tabela como frase. Linha de tabela Markdown não tem ponto final, então o script colava tudo e devolvia "frases" de 212, 210, 155 e 108 palavras.

E o erro tinha lado. A skill entregava tabelas, e as outras formas entregavam texto corrido. Na lei de direitos autorais, a skill aparecia com 30,0% das frases acima de 30 palavras, contra 28,6% do modelo sozinho. Medindo só a resposta, com o Markdown descartado, ficou 8,7% contra 14,3%. A conclusão inverteu.

Entre 04 e 06/09, o medidor levou nove consertos. Depois ganhou um arquivo de controle, com frases de tamanho conhecido, e esse arquivo achou o décimo defeito na primeira execução. A regex que deveria descartar linhas horizontais nunca casava com nada, por causa de dois bytes invisíveis. E só as respostas com a skill traziam essas linhas.

O recorte também pesa. O 3,3% da tabela lá de cima mede só a versão final do texto. Medindo a resposta inteira, com diagnóstico e avisos, a skill cai pra 1,0%, porque as frases curtas dessas partes engordam o denominador. O 1,0% ficava mais bonito e deixava a comparação injusta. E dentro do 3,3%, um único texto responde por 71% da média. Versões vizinhas da skill ficaram em 2,5%, 5,9% e 3,3%. Com uma execução por forma de revisão, diferença de décimo aqui não quer dizer nada.

Quando a conferência estava errada

Uma contagem de 04/09 dizia que a skill cobria 16 dos 18 incisos (os itens numerados) de um artigo de lei, contra 18 do prompt curto. Esse número virou justificativa de uma regra nova e se espalhou por oito documentos. Dois dias depois, um gabarito único mostrou 18 de 18 nas três formas. Os dois incisos "perdidos" estavam lá, marcados pela própria skill. A regra ficou, porque ainda serve como prevenção, e o SKILL.md diz com todas as letras que as três formas empataram.

Aí foi o gabarito que errou. A busca automática por expressões acusou sete omissões, e cinco eram falso negativo, como singular contra plural ou "judiciária" contra "judicial". Sem ler cada caso, o modelo sozinho sairia com 15 de 18, e não 18. Dois itens apareciam omitidos nas três formas ao mesmo tempo, o que já apontava pra um defeito no gabarito. As expressões foram corrigidas depois de ver as saídas, e o gabarito registra isso ↗.

Empate na nota máxima também engana. Na rodada de cobertura ↗, as três formas fizeram 18 de 18, e as três perderam o "tais como" da lei, que deixa a lista aberta. Na versão com a skill, virou "São elas:", uma lista fechada. O gabarito conta omissão, então essa distorção passa batida.

Mais dois casos saíram das conclusões. Estava escrito antes de rodar que o prompt curto cortaria as condições legais pra caber em 20 palavras. Ele manteve todas, e lá se foi esse argumento a favor da skill. E numa rodada com subagentes, as formas sem skill entregaram tabela e avaliação pelos princípios da ISO, formato que ninguém tinha pedido. O modelo já tinha visto a skill, e esse cenário ficou de fora.

A skill disse que conferiu

Na saída do FAQ de pregão ↗, a v0.5.1 declara na própria conferência que preservou o art. 116 da Lei 14.133/2021 e o Parecer da Advocacia-Geral da União, "todas preservadas". Nenhum dos dois está na versão final. No mesmo texto, duas respostas que só remetiam a um anexo viraram um "Sim" sem apoio no original.

O prompt curto não tem etapa de conferência. Mesmo assim, manteve as quatro referências legais e mandou consultar o anexo nas três perguntas em que o original manda. É um texto e uma execução, então não vira taxa. O que fica é que "conferi", na saída de um modelo, não prova que conferiu. Eu comparo trabalhar com IA a orientar um profissional júnior, que vai fazendo e precisa de revisão o tempo todo. Aqui, a máquina ainda assinou a própria revisão.

A correção virou regra e critério. Cada linha da tabela antes/depois passou a exigir trecho original e trecho revisado literais, e o motivo tem que descrever uma mudança que aconteceu. Na beta.1, o mesmo FAQ passou em 8 de 8 linhas, e as referências legais ficaram. Só que não dá pra contar como antes e depois, porque o modelo também mudou (GPT-5.6 no lugar do DeepSeek).

O caso mais limpo é o cenário 11 ↗, um item de edital com "deverá entregar estas" sem dizer o quê. O modelo percebeu a lacuna e mesmo assim escreveu "entregá-las". A regra foi endurecida, e na reexecução, no mesmo modelo, saiu "[referente a confirmar]".

A regra de dado ausente deu mais trabalho. Na beta.3, o Gemini sugeriu completar um prazo com "sexta-feira, dia 10/10". Em 2026, 10/10 cai num sábado, e o original nem dizia qual sexta era. Com a regra nova, o Claude ainda sugeriu 23h59, e o Gemini, 18h e "site X". A instrução precisou citar esses valores como exemplo do que não fazer, e o Gemini ganhou uma variante com três instruções reescritas.

O que sobra a favor da skill

Sobra pouco, e dá pra conferir. Pedindo Leitura Fácil (formato para pessoas com deficiência intelectual), o modelo sozinho adaptou sem avisar nada no DeepSeek e no Opus. O prompt curto fez o mesmo no Opus. Com a skill, a resposta marca a fronteira. Desde a v0.4, as instruções dizem que esse material só vale depois de validado por essas pessoas. E o Opus entregou um "rascunho para validação (ainda não é Leitura Fácil)". Foram execuções únicas, em versões anteriores à beta.

Nas referências legais de um trecho de lei, a skill ficou com 8 de 8, o prompt com 7 e o modelo sozinho com 6. A diferença entre skill e prompt é um artigo vetado, que dá pra omitir sem erro.

O resto são instruções que existem e ganho que não foi medido. O custo, sim, foi medido. Na v0.5.1, as respostas com a skill foram cerca de 3,5 vezes mais longas. Em texto de órgão público, como esses, ela entrega o formato completo. Nos outros casos, responde curto, a não ser que a pessoa peça mais ou use o modo didático.

Um par conferido, da v0.5.1, em ofício da CVM ↗:

Antes: O art. 2º do Anexo Normativo VI à Resolução CVM nº 175 dispõe sobre a aplicação subsidiária de outros anexos normativos ao FIAGRO quando a sua política possibilitar o investimento em mais de 50% do seu patrimônio líquido em ativos que também sejam objeto de investimento de outra categoria de fundo, prevalecendo, em caso de conflito, as regras do Anexo Normativo VI.
Depois: O art. 2º do Anexo Normativo VI à Resolução CVM nº 175 trata da aplicação subsidiária de outros anexos ao FIAGRO. Isso vale quando a política do FIAGRO possibilita investir mais de 50% do patrimônio líquido em ativos que também são objeto de investimento de outra categoria de fundo. Em caso de conflito entre regras, prevalecem as do Anexo Normativo VI.

Uma frase de 62 palavras virou três, com a referência legal, o limite de 50% e a regra de conflito no lugar. Escolhi este par porque outros do mesmo conjunto mudam o sentido ao simplificar. Num deles, "contribuir para reduzir" virou "reduzir".

Distribuição

O gerador parte de uma fonte só e monta os arquivos para Claude e Cowork, ChatGPT e Gemini. Antes de gravar, confere nome, versão, árvore de arquivos e integridade, e os ZIPs usam data fixa pra sair sempre iguais. Em 03/11/26, os quatro arquivos regerados bateram com os hashes da release beta.5. Esse teste precisou de um ajuste temporário, porque o script pede um Python mais novo que o da máquina e não declara isso.

Claude web, Cowork e o núcleo do Gemini passaram num teste curto. ChatGPT e Copilot não foram testados no uso.

A camada educativa

A skill também tem um modo didático, pedido com "me ensina os 3 principais", "me ensina tudo" ou "me ensina sobre" uma diretriz. Ele explica as mudanças com exemplos do próprio texto da pessoa. Esse modo está nas instruções. Não há execução dele nos testes registrados, e nenhum efeito sobre aprendizagem foi medido.

O que esta avaliação não responde

Ninguém do público-alvo leu esses textos, então nenhum número aqui mostra que alguém entendeu melhor. Com uma execução por forma de revisão, também não há taxa de acerto nem estimativa de variação. E as versões antigas não valem automaticamente para a beta atual. Boa parte das auditorias foi feita com a mesma ferramenta que escreveu o projeto.

Ninguém confere tudo, eu também não. O que dá pra aprender é onde olhar. Numa avaliação dessas, olhe antes do resultado, na frase em que o modelo diz que conferiu. Compare com o que ele entregou.

Feito com Claude Code e OpenCode: eu dirigi o projeto, defini o escopo e as regras de fonte, escrevi as regras das primeiras versões, rodei os testes e achei os erros das tabelas e da contagem de incisos. As versões seguintes da skill, os scripts, as auditorias e o rascunho deste texto foram feitos com a ferramenta. Editei o texto linha a linha e assino.