O vídeo apresenta um programa escrito em Python que faz uso de LLMs, mediadas pela biblioteca litellm, para analisar uma coleção de inquéritos policiais em formato PDF.
Estratégias
Usamos o PyPDF para extrair textos dos PDFs. Preservamos a numeração das páginas para referenciar as respostas.
O texto extraído dos PDFs compõe o prompt, com as perguntas à LLM dirigidas à analise de cada caso.
A biblioteca litellm facilitou o desenvolvimento e abstraiu toda a complexidade das chamadas a APIs. Com ela, é fácil substituir um provedor de LLM por outro.
Privacidade
Provedores de LLMs, como a OpenAI, afirmam que não utilizam os dados de entrada e saída de suas APIs para treinamento. Também garantem que permanecem privados.
Avalie sempre os riscos
Prefira testar a ferramenta com processos não gravados de sigilo ou que serão elegíveis aos bancos públicos de sentenças.
Alucina?
LLMs ainda alucinam bastante.
O emprego da ferramenta no campo profissional deve ser avaliado caso a caso.
Restrições
Observe o número máximo de tokens de entrada e saída do modelo selecionado.
Faça sempre uma avaliação de custo-benefício.
O texto extraído dos PDFs compõe o prompt, com as perguntas à LLM dirigidas à analise de cada caso.
A biblioteca litellm facilitou o desenvolvimento e abstraiu toda a complexidade das chamadas a APIs. Com ela, é fácil substituir um provedor de LLM por outro.
Privacidade
Provedores de LLMs, como a OpenAI, afirmam que não utilizam os dados de entrada e saída de suas APIs para treinamento. Também garantem que permanecem privados.
Avalie sempre os riscos
Prefira testar a ferramenta com processos não gravados de sigilo ou que serão elegíveis aos bancos públicos de sentenças.
Alucina?
LLMs ainda alucinam bastante.
O emprego da ferramenta no campo profissional deve ser avaliado caso a caso.
Restrições
Observe o número máximo de tokens de entrada e saída do modelo selecionado.
Faça sempre uma avaliação de custo-benefício.
Nenhum comentário:
Postar um comentário