O que é processamento de linguagem natural?
O processamento de linguagem natural ou natural language processing (NLP) no original em inglês, é, como o próprio nome sugere, uma técnica de converter uma comunicação humana, como a fala ou um texto, em um sinal que um computador possa compreender.
Sumário
Este mecanismo tem se tornado cada vez mais comum no cotidiano, indo desde digitar uma consulta no google no formato de uma pergunta indo até uma conversa verbal com assistentes virtuais de smartphones como por exemplo, a Siri dos dispositivos Apple.
Como funciona o processamento de linguagem natural?
Como o NLP é um ramo do campo de estudos de machine learning, existem diversas técnicas disponíveis para o uso do processamento de linguagem natural. Cada um destes métodos possui suas particularidades, podendo ter um desempenho melhor para uma determinada aplicação.
A abordagem empregada por cada modelo é muito variada. Podendo ir de uma simples remoção de palavras sem valor para o sentido geral da frase até técnicas de estatística para avaliar a frequência de uso de um dado termo.
Além de suas capacidades individuais, estas técnicas também podem ser utilizadas em conjunto para otimizar o resultado, assim conferindo vantagens e melhor desempenho. Um exemplo de combinação é o emprego da chamada Stop Words, que é utilizada para filtrar palavras que não contribuem para o sentido geral da frase (e.g. “o”, “a”, “por”, “que”, “de” etc) ,em conjunto da TF-IDF (term frequency-inverse document frequency, ou frequência de termo-inverso da frequência do documento em português) que mede a relevância das palavras dentro de um texto dado sua frequência de uso.
Outro método popular de NLP é o chamado Named Entity Recognition (NER) ou Identificação de Entidades Nomeadas, em português. Este método consiste na classificação de palavras chaves, que neste caso são chamadas de entidades. A identificação é feita por meio de um treinamento do algoritmo. Este treinamento permite que o modelo encontre e classifique termos chaves em uma frase, isto é feito sem a necessidade do NER conhecer o seu significado de suas entidades em um texto.
Tendo como exemplo a frase “venda do produto 20 na cidade de São Paulo em 2024”, dado que o NER tenha sido treinado para reconhecer as entidades de transação (compra ou venda), o objeto que foi alvo da transação (item), a posição da transação (localização) e em que momento esta ocorreu (período) o algoritmo poderia identificar algumas entidades na frase. Neste caso o resultado seria próximo do que é apresentado na Figura 1.
Para que serve o processamento de linguagem natural?
Atualmente o âmbito do NLP é utilizado principalmente como interface entre usuários e sistemas computadorizados, eliminando a necessidade de um conhecimento técnico por parte do usuário, uma vez que a comunicação pode ser feita de forma natural.
Seu uso pode se estender a quase todas as aplicações que usem algum tipo de comunicação entre homem e máquina, seja ela, por exemplo, responder dúvidas de usuários utilizando um chatbot, traduzir textos automaticamente, promover um resultado mais assertivo para mecanismos de busca, fazer uma análise de sentimos para estimar comportamento de usuários, entre outras aplicações.
Conclusão
Não há como negar que o papel do processamento de linguagem natural vem se tornando mais proeminente. Desta forma, possibilitando uma interação mais simples e natural entre pessoas e máquinas, permitindo que um dispositivo ou função seja utilizado sem que haja a necessidade de aprender uma nova forma de comunicação como linguagens de programação ou comandos a serem executados em um terminal
Em suma, mesmo tendo sido imaginado nos final dos anos 1940, o NLP vem ganhando mais espaço recentemente, graças ao aumento no poder computacional disponível. Isto permite com que usuários tenham acesso a funções e dispositivos por meio de um conversa ou de um texto simples.
