Um assistente que responde a partir dos seus documentos está a fazer algo mais estreito do que parece. Não está a consultar o conhecimento da organização. Está a recuperar algumas passagens e a escrever prosa fluente sobre elas. Tudo o que decide se a resposta está certa acontece antes de o modelo entrar.
Há três pontos de falha, e falham de maneiras diferentes.
1. Recuperou a passagem errada
A pesquisa semântica encontra texto que se parece com a pergunta. Parecença não é relevância, e é nessa distância que nasce a maioria das respostas más.
Pergunte «qual é o nosso período de aviso prévio» e a pesquisa devolve com todo o gosto o parágrafo sobre aviso prévio de um contrato com fornecedores, uma política em rascunho que ninguém adoptou, e a cláusula certa do manual do colaborador — as três genuinamente sobre aviso prévio. Se a ordenação puser o rascunho à frente, a resposta cita o rascunho.
A correcção não é um modelo melhor; é recuperação mais estreita. Pesquisar dentro do caso, do processo ou do tipo de documento a que a pergunta pertence, em vez de pesquisar tudo. Um assistente que sabe que a pergunta é sobre este dossiê está a responder a uma pergunta muito mais fácil do que outro a vasculhar um acervo.
2. Quem perguntou não o podia ver
Esta falha não é um problema de qualidade; é um incidente.
Se a recuperação corre com os acessos da própria aplicação em vez dos de quem pergunta, o assistente passa a ser uma forma de ler documentos através de um sistema que nunca verifica quem está a perguntar. A resposta parece prestável. Não há erro, não há aviso, e nada na conversa diz que uma fronteira foi atravessada — que é precisamente por isso que pode durar muito tempo antes de alguém reparar.
A regra que evita isto não tem glamour nenhum: as permissões aplicam-se quando as passagens são seleccionadas, não quando a resposta é mostrada. Filtrar a saída é tarde de mais, porque o modelo já leu o documento e vai parafraseá-lo. O que quem pergunta não pode abrir não pode sequer entrar no contexto.
3. O documento já não estava actual
A terceira é a mais silenciosa. Uma política substituída, um certificado caducado, um contrato renegociado — cada um é um documento perfeitamente bom que deixou de ser verdade. Nada no ficheiro o diz. Continua bem escrito, continua sobre o tema, continua a ser a melhor correspondência semântica.
É aqui que a qualidade da recuperação deixa de ser um problema de IA e passa a ser de governação. Se o sistema souber que versão substitui qual, que documentos têm data de validade e quais já a passaram, a recuperação pode preferir o actual e dizer quando está a citar algo histórico. Se o sistema não souber, não há engenharia de prompt que recupere: a informação simplesmente não existe.
O resumo incómodo
Duas das três falhas acima não se corrigem dentro do assistente. Corrigem-se com os documentos governados por baixo dele: delimitados para que a recuperação possa ser estreita, com permissões para que a selecção possa ser filtrada, e versionados para que «actual» seja um facto e não um pressuposto.
É por isto que «depois acrescentamos IA» costuma ser um plano caro. O assistente não acrescenta capacidade a um acervo documental; expõe o estado dele. Uma organização cujos documentos estão completos, actuais e com acesso controlado tem um assistente útil quase de imediato. Uma organização onde nada disso é verdade fica com um narrador confiante dos seus piores registos.
O que verificar antes de culpar o modelo
Se um assistente dá respostas erradas sobre os seus documentos, percorra isto por ordem — a causa está quase sempre nos três primeiros.
- O que é que ele recuperou, afinal? Se não consegue ver as passagens por trás de uma resposta, não consegue diagnosticar nada. As fontes não são um adorno; são o único diagnóstico.
- Que permissões foram usadas? Faça uma pergunta que sabe tocar num documento restrito, a partir de uma conta que não o devia ver.
- A fonte estava actual? Verifique se o documento citado é a versão em vigor.
- Só depois olhe para o prompt ou para o modelo.
A ordem importa porque vai do mais barato para o mais caro, e porque os três primeiros explicam a maior parte daquilo que as pessoas atribuem ao quarto.