Descodificar LLMs como o ChatGPT: Os 9 factores não filtrados

Num dia, o ChatGPT dá-te uma resposta que é um grande golo, mesmo no canto. No dia seguinte, o que ele te responde é um 💩. Se está naquela montanha-russa emocional chamada inteligência artificial, em que num segundo é o rei do mundo e no outro está a olhar para o manual de instruções a perguntar-se onde está o problema, este artigo é para si.

LLMs como o ChatGPT, essa maravilha do tecnologia que promete fazer de nós os vida mais fácil, por vezes parece que levanta-se com o pé errado. Mas não é uma questão de sorte; há uma ciência por detrás de toda esta confusão. E sim, ao compreender essas engrenagens, pode passar de um simples utilizador a um mestre na utilização desta ferramenta.

Aqui vamos dar uma vista de olhos ao motor ChatGPT.

Ao contrário do que se diz de coisas como «para conduzir um carro não é necessário saber como funciona o motor de um carro«. No caso da AI, embora qualquer pessoa possa utilizar modelos linguísticos como o ChatGPT, na minha opinião, sim, é preciso saber do que se trata, se se quiser ser um PRO como Michael Schumacher a conduzir.

Imagine que está a tentar conversar com alguém de outra cultura ou mesmo de outra época sem ter qualquer ideia dos seus costumes ou da sua língua. Se não souber o que está em causa no mundo deles, a sua conversa vai provavelmente deixá-lo confuso.

Aqui estão 9 factores cruciais que decidem como o ChatGPT irá responder-lhe.

Por isso, ponha-se à vontade, porque está prestes a entrar no cerne da questão, aquele lugar onde os dados se transformam em palavras e as palavras, esperemos, em algo que se assemelhe a uma excelente resposta coerente.

1️⃣ Aprendizagem automática e formação em redes neurais: a chave para o ChatGPT

Como é que o ChatGPT aprende?

Explicação simplificada do funcionamento da aprendizagem automática:

Imagine que quer ensinar uma criança a reconhecer os diferentes tipos de animais.

1. Mostra-se à criança imagens de diferentes animais: Cães, gatos, cavalos, vacas, etc.

2. Dizer à criança o nome de cada animal: «Isto é um cão», «Isto é um gato», etc.

3. Repete-se este processo várias vezes: Com o tempo, a criança aprende a reconhecer os diferentes animais por si própria.

Este é um exemplo simples de aprendizagem automática:

• A criança é o modelo para aprendizagem automática.
• As imagens de animais são as dados de treino.
• Os nomes dos animais são os seguintes ETIQUETAS DE DADOS.
• O processo de mostrar imagens e rótulos à criança é o processo de formação.

No caso das redes neuronais:

• O modelo de aprendizagem automática é constituído por uma rede de neurónios artificiais.
• Os neurónios artificiais simulam e são inspirados nos neurónios do cérebro humano.
• Os neurónios artificiais ligam-se uns aos outros e formam uma rede.
• A rede neural aprende a executar uma tarefa a partir de dados de treino.

No caso do ChatGPT:

• Os dados de treino são uma grande quantidade de texto e código.
• A rede neural analisa estes dados e aprende a gerar texto semelhante ao que viu no conjunto de dados.
• O ChatGPT pode então utilizar este conhecimento para gerar respostas às suas perguntas, escrever diferentes tipos de conteúdos criativos e traduzir idiomas.

2️⃣ Arquitetura de Transformadores: A rebelião contra a IA da velha guarda

O golpe de Estado no mundo do processamento da linguagem

Trata-se de uma estrutura inovadora que permite ao ChatGPT processar e gerar texto de forma eficiente e precisa.

Arquitetura do transformador. Não, não estamos a falar daqueles robôs gigantes que se transformam em carros desportivos ou camiões. Estamos a falar de algo muito mais impressionante (e útil, a não ser que se tenha de salvar o mundo de uma invasão alienígena). A arquitetura dos transformadores é aquele génio tecnológico que pegou no mundo aborrecido do processamento da linguagem e o virou do avesso.

Como é que funciona?

A arquitetura do Transformer divide o texto em pequenas unidades chamadas «tokens». De seguida, analisa as relações entre estes tokens para compreender o significado do texto como um todo.

Isto permite ao ChatGPT:

• Processar texto de forma mais rápida e eficiente.
• Gerar textos mais coerentes e contextualmente corretos.
• Compreender melhor as relações entre palavras e frases.

3️⃣ Mecanismo de atenção: Concentrar-se no que é importante

Imagine que está numa festa com muitas pessoas a falar.

Para manter uma conversa, é necessário concentrar-se na pessoa que está a falar e filtrar o ruído do resto.

O mecanismo de assistência do ChatGPT funciona de forma semelhante.

Qual é o mecanismo de atenção?

É uma técnica que permite ao ChatGPT concentrar-se nas partes mais relevantes do seu pedido para gerar respostas mais precisas e relevantes.

O mecanismo de atenção é como um holofote que ilumina as partes mais importantes de uma cena.

Em conversa:

• O seu cérebro actua como foco, concentrando-se na pessoa que fala.
• Filtra o ruído de fundo, como as conversas de outras pessoas.
• Concentra-se nas palavras, no tom de voz e na linguagem corporal do orador para compreender o que ele está a dizer.

Da mesma forma:

• O ChatGPT utiliza o mecanismo de atenção para se concentrar nas palavras-chave do seu pedido.
• Atribua maior importância às palavras que são mais relevantes para a tarefa que pretende realizar.
• Gerar uma resposta exacta e relevante com base nas partes mais importantes do seu pedido.

Exemplo:

Quando se pergunta a um LLM aleatório como o ChatGPT, «Qual é a capital de França e o que me podes dizer sobre a Torre Eiffel?, o mecanismo de atenção permite ao ChatGPT discernir que existem duas partes na sua pergunta. Primeiro, identifica a resposta direta (Paris) e depois concentra-se em fornecer informações específicas sobre a Torre Eiffel, em vez de divagar sobre outros monumentos ou aspectos de Paris.

4️⃣ Processamento de linguagem natural (NLP): ChatGPT compreende, não apenas ouve

A arte de compreender o blá blá blá humano

O que é a PNL?

Este é o ramo da inteligência artificial responsável pela compreensão e interpretação da linguagem humana.

Como é que funciona?

A PNL utiliza técnicas de aprendizagem automática para analisar grandes quantidades de dados de texto, identificar padrões e aprender a interpretar o significado de palavras e frases.

Qual é o seu papel no ChatGPT?

É essencial que o ChatGPT compreenda os seus pedidos, gere respostas precisas e relevantes e adapte a sua comunicação a diferentes estilos e contextos.

Exemplos de como a PNL melhorou o ChatGPT:

• Análise de sentimentos: O ChatGPT pode detetar a emoção por detrás de um pedido, seja ela alegria, tristeza, raiva ou frustração, e adaptar a sua resposta em conformidade.
• Tradução automática: O ChatGPT pode traduzir textos de uma língua para outra com maior precisão e fluência graças aos avanços da PNL.
• Geração de texto criativo: O ChatGPT pode escrever poemas, histórias, guiões e outros tipos de conteúdo. criativo com maior originalidade e qualidade graças às técnicas de PNL.

AVISO LEGAL: Enquanto os modelos de linguagem como o ChatGPT não têm sentimentos, Se conseguem «simular» a compreensão dos sentimentos, conseguem «simular» a empatia, de tal forma que parecem muito humanos. É realmente uma tecnologia espantosa, pode tentar fazer-lhes perguntas mais emocionais e pedir-lhes conselhos e pode testar o seu «lado humano».

5️⃣ Aprendizagem auto-supervisionada: o caminho para a independência

Imaginem uma criança a aprender a andar.

Não precisa que ninguém lhe diga como o fazer. Basta ver os outros a caminhar, experimentar por si próprio e, com o tempo, dominar a técnica.

O aprendizagem auto-supervisionada O ChatGPT funciona de forma semelhante.

O que é a aprendizagem auto-supervisionada?

É um método de aprendizagem em que o ChatGPT aprende por si próprio a partir de grandes quantidades de dados, sem necessidade de intervenção humana.

Como é que funciona?

O ChatGPT é alimentado com uma grande quantidade de dados de texto, tais como livros, artigos e conversas. A partir destes dados, aprende a identificar padrões e relações entre palavras.

Isto permite-lhe:

• Melhorar a sua capacidade de produzir textos coerentes e gramaticalmente corretos.
• Adaptar o seu estilo de comunicação a diferentes contextos e situações.
• Compreender melhor as emoções e os sentimentos humanos.

6️⃣ Tokenização: A língua em pedaços

Imagine um puzzle enorme.

Para o montar, é necessário dividi-lo em partes mais pequenas e mais fáceis de gerir.

A tokenização funciona de forma semelhante.

O que é a tokenização?

É o processo de dividir a língua em pequenas unidades chamadas tokens. O ChatGPT usa o tokenização para processar a linguagem de forma mais eficiente.

Como é que funciona?

O ChatGPT divide o texto em tokens de diferentes tipos, tais como palavras, pontuação e símbolos.

Isto permite-lhe:

• Compreender a estrutura do texto.
• Identificar relações entre palavras.
• Gerar um novo texto coerente e gramaticalmente correto.

Vantagens da tokenização:

• Eficiência: Permite ao ChatGPT processar a linguagem mais rapidamente e com maior precisão.
• Exatidão: Reduz a possibilidade de erros na compreensão da língua.
• Flexibilidade: Permite ao ChatGPT adaptar-se a diferentes tipos de linguagem.

7️⃣ Camadas semânticas: A inteligência em ação

Imagine um cozinheiro a preparar um prato delicioso.

Ele não só mistura os ingredientes, como também compreende as propriedades de cada ingrediente para criar uma experiência culinária única.

As camadas semânticas do ChatGPT funcionam de forma semelhante.

O que são camadas semânticas?

Estes são diferentes níveis de compreensão da língua que permitem ao ChatGPT compreender o significado das palavras em diferentes contextos.

Como é que funcionam?

O ChatGPT não só analisa palavras individuais, como também as relaciona com outras palavras, expressões e frases.

Isto permite-lhe:

• Compreender o significado do texto a um nível mais profundo.
• Identificar as intenções do utilizador.
• Gerar respostas mais exactas e coerentes.

Vantagens das camadas semânticas:

• Exatidão: Reduz a possibilidade de erros na compreensão da língua.
• Coerência: Permite ao ChatGPT gerar respostas que se enquadram no contexto da conversa.
• Naturalidade: Permite ao ChatGPT gerar respostas que soam como se tivessem sido escritas por uma pessoa.

Exemplo:

A oração «Que horas são?»pode ter significados diferentes consoante o contexto.

• Se perguntar a uma pessoa que está acordada, isso pode significar que ela quer saber a hora atual.
• Se perguntar a alguém que está a dormir, isso pode significar que essa pessoa quer saber se está na hora de acordar.

Eis alguns exemplos adicionais de como as camadas semânticas podem ajudar o ChatGPT a compreender o significado da linguagem:

• Sarcasmo: O ChatGPT consegue identificar sarcasmo na linguagem e gerar uma resposta adequada ao contexto.
• Humor: O ChatGPT consegue compreender o humor e gerar respostas engraçadas e espirituosas. Desde que saiba como pedir, se disser «conta-me uma anedota», é provável que seja má.
• Emoções: O ChatGPT consegue identificar emoções na linguagem e gerar respostas que são empáticas e simpáticas.

O ChatGPT pode utilizar as camadas semânticas para compreender o contexto da pergunta e gerar a resposta mais exacta.

8️⃣ A importância dos dados de formação:

Imagine um artista a pintar um quadro.

A qualidade dos materiais que utiliza, como as tintas e os pincéis, é fundamental para o resultado final.

Os dados de treino do ChatGPT funcionam de forma semelhante.

O que são dados de treino?

Trata-se de grandes quantidades de texto que são utilizadas para treinar o ChatGPT. Esses dados podem incluir:

• Livros
• Artigos
• Conversas
• Código

Porque é que são importantes?

A qualidade e a diversidade dos dados de formação são cruciais para que o ChatGPT seja capaz de

• Gerar respostas exactas e relevantes.
• Compreender os diferentes tipos de linguagem.
• Evite a parcialidade nas suas respostas.

Se os dados de formação forem de baixa qualidade ou não forem diversificados, o ChatGPT pode gerar respostas.

• Incorreto.
• Irrelevante.
• Tendenciosa.

Exemplo:

Se o ChatGPT for treinado num conjunto de dados que contenha apenas texto de homens, é mais provável que gere respostas que sejam tendenciosas para os homens.

9️⃣ A caixa negra: um mistério a resolver

Vou dar um exemplo com eletricidade para que possamos compreender melhor.

• A nível externo, podemos observar o fluxo de eletricidade através de cabos, fichas, aparelhos e alguns privilegiados sentiram-no no seu próprio corpo ao tocar em fios desencapados 🤭.
• Interior, ou seja, o que realmente acontece, A mecânica exacta de como os electrões fluem e geram energia continua a ser um mistério para muitos.

A rede neural ChatGPT funciona de forma semelhante.

O que é a rede neural?

É a parte central do ChatGPT que lhe permite aprender e gerar respostas. A rede neural é composta por milhões de unidades interligadas, denominadas neurónios artificiais.

Porque é que é uma caixa negra?

É difícil compreender como é que a rede neuronal toma decisões devido à sua complexidade. Não podemos observar diretamente como os neurónios artificiais processam a informação e geram respostas.

Que incertezas cria?

A complexidade da rede neural pode gerar algumas incertezas:

• Vieses que podem estar presentes na rede neural.
• A forma como a rede neuronal toma decisões.
• A possibilidade de a rede neuronal gerar respostas incorrectas ou inadequadas.

Como é que este problema está a ser tratado?

Os investigadores estão a trabalhar em diferentes métodos para:

• Explicar as decisões das redes neuronais.
• Reduzir os enviesamentos na rede neuronal.
• Melhorar a segurança e a fiabilidade da rede neural.

Aqui estão algumas perguntas sem resposta sobre a rede neural ChatGPT:

• Como é que se podem identificar e eliminar os enviesamentos das redes neuronais?
• Como é que as decisões da rede neuronal podem ser explicadas de uma forma compreensível para o ser humano?
• Como se pode garantir que a rede neuronal não gera respostas incorrectas ou inadequadas?

À medida que os investigadores continuam a trabalhar nestas questões, podemos esperar que a rede neural ChatGPT se torne mais transparente e fiável.

Agora que já espreitaram por detrás da cortina, convido-vos a não ficarem sentados com a boca aberta de espanto perante as maravilhas do ChatGPT, como se fosse um truque de magia de uma festa infantil.

Ponha as mãos na massa e comece a fazer experiências com o ChatGPT como se fosse o seu próprio laboratório maluco.

Quer ver como um pequeno ajuste na sua pergunta pode virar a resposta de cabeça para baixo? Curioso sobre como pode fazer com que o ChatGPT mude as suas respostas com sentimentos diferentes, apenas mudando a forma como a pergunta é feita? Bem, neste artigo tens muito para aprender e experimentar.

Não fique aí parado à espera que a inspiração caia do céu. A verdadeira magia do ChatGPT não está nas respostas que ele lhe dá, mas na forma como aprende a tirar o máximo partido delas. Cada pergunta é uma oportunidade para aperfeiçoar o seu ofício, para se tornar num PRo usando LLMs como o ChatGPT.

Então, de que está à espera?

Sem prática não há aprendizagem.

Experimente, jogue, desafie o ChatGPT e a si próprio. E lembre-se, o limite é o seu conhecimento e a sua imaginação.