# Andrew Ng Explores The Rise Of AI Agents And Agentic Reasoning | BUILD 2024 Keynote

Canal: Snowflake Inc.
Data: 20241119

## Transcrições

### Vídeo: https://www.youtube.com/watch?v=KrRD7r7y7NY
Idioma: English (auto-generated)

# Bem-vindo, Andrew: O Futuro das Oportunidades da IA

[Aplausos]

Obrigado! É um momento fantástico para ser um construtor, e estou entusiasmado por estar de volta ao Snowflake Build. Hoje, gostaria de partilhar onde penso que estão algumas das maiores oportunidades da IA.

## A IA como a Nova Eletricidade

Já me devem ter ouvido dizer que acho que a IA é a nova eletricidade. Isso porque a IA, tal como a eletricidade, é uma tecnologia de propósito geral. Se vos perguntar: "Para que serve a eletricidade?", é difícil responder porque serve para tantas coisas diferentes. Da mesma forma, a nova tecnologia de IA está a criar um enorme conjunto de oportunidades para construirmos aplicações que antes não eram possíveis.

## A Pilha da IA

As pessoas perguntam-me muitas vezes: "Ei, Andrew, onde estão as maiores oportunidades da IA?" Isto é o que eu considero como a pilha da IA:

- **Semicondutores**: No nível mais baixo.
- **Infraestrutura Cloud**: Incluindo, claro, a Snowflake.
- **Modelos de Base**: Os treinadores e modelos construídos em cima da infraestrutura.

Muito do entusiasmo mediático e das conversas nas redes sociais tem-se focado nestas novas camadas tecnológicas. Quando surge uma nova tecnologia como a IA generativa, a excitação naturalmente gravita em torno destas camadas fundamentais. Não há nada de errado com isso, mas acredito que há outra camada da pilha que tem de funcionar ainda melhor: a **camada de aplicações**.

Precisamos de aplicações para gerar ainda mais valor e receita para suportar os fornecedores de tecnologia abaixo. É por isso que passo muito do meu tempo a pensar em aplicações de IA, e acredito que é aí que estão muitas das melhores oportunidades.

## Desenvolvimento Mais Rápido de Modelos de Machine Learning

Uma das tendências que tem vindo a crescer nos últimos anos, em grande parte devido à IA generativa, é o desenvolvimento mais rápido de modelos de machine learning. A IA generativa está a permitir-nos construir coisas mais rapidamente do que nunca.

Por exemplo, tomemos o problema de construir uma ferramenta de análise de sentimentos—pegar em texto e determinar se é positivo ou negativo para monitorização de reputação. Um fluxo de trabalho típico usando aprendizagem supervisionada pode levar um mês para recolher dados rotulados, alguns meses para treinar o modelo, e mais alguns meses para o implementar num serviço cloud. No passado, sistemas de IA valiosos podiam levar boas equipas de IA seis a 12 meses para construir.

Com a IA generativa, no entanto, há certas classes de aplicações onde se pode escrever um prompt em dias e implementá-lo tão rapidamente. Isto significa que aplicações que antes levavam meses a construir podem agora ser construídas em talvez 10 dias. Isto abre oportunidades para experimentar, construir novos protótipos e lançar novos produtos de IA.

### Experimentação Rápida como Caminho para a Invenção

A experimentação rápida está a tornar-se um caminho mais promissor para a invenção. Anteriormente, se levava seis meses a construir algo, tínhamos de estudá-lo, garantir que havia procura do utilizador, e documentá-lo antes de nos comprometermos com o esforço. Agora, para equipas de IA em rápida evolução, o padrão de design é juntar um protótipo num fim de semana, construir 20 protótipos, e ver o que resulta. Se 18 deles não funcionarem, ficamos com o que funciona.

Esta iteração e experimentação rápidas estão a tornar-se um novo caminho para inventar novas experiências de utilizador. Uma implicação interessante é que as **avaliações (ou "evals")** estão a tornar-se um maior estrangulamento na forma como construímos coisas.

No mundo da aprendizagem supervisionada, se estiveres a recolher 10.000 pontos de dados para treinar um modelo, recolher mais 1.000 para testes é apenas um aumento de 10% no custo. Mas para muitas aplicações baseadas em modelos de linguagem grandes, se não houver necessidade de dados de treino, abrandar para recolher 1.000 exemplos de teste pode parecer um enorme estrangulamento.

O novo fluxo de trabalho de desenvolvimento muitas vezes parece que estamos a construir e a recolher dados em paralelo em vez de sequencialmente. Construímos um protótipo, e à medida que se torna mais importante, gradualmente construímos o conjunto de testes em paralelo. Vejo inovações emocionantes ainda por vir na forma como construímos avaliações.

## A Velocidade de Prototipagem vs. Produção

A prototipagem de modelos de machine learning tornou-se muito mais rápida, mas construir uma aplicação de software envolve muitos passos: O produto funciona? O design funciona? A integração do software funciona? Há muita "canalização" envolvida. Após a implementação, há DevOps e LOps.

Algumas destas outras peças estão a tornar-se mais rápidas, mas não aceleraram ao mesmo ritmo que a modelação de machine learning. Assim, enquanto a prototipagem é agora muito rápida, levar um protótipo para uma produção robusta e fiável com guardrails ainda leva tempo. A dinâmica interessante é que a velocidade do machine learning está a pressionar as organizações a acelerar todas estas outras partes também.

## Mover Rápido e Ser Responsável

O mantra "mover rápido e partir coisas" ganhou má reputação porque, bem, partiu coisas. Algumas pessoas interpretam isto como significando que não devemos mover rápido, mas discordo. Acho que o melhor mantra é **"mover rápido e ser responsável."**

Estou a ver muitas equipas capazes de prototipar rapidamente, avaliar e testar robustamente sem enviar nada para o mundo mais amplo que possa causar danos ou prejuízos significativos. Equipas inteligentes estão a construir rapidamente e a mover-se rápido, mas também a fazê-lo de uma forma muito responsável. Isto é emocionante—ser capaz de construir e enviar coisas responsavelmente muito mais rápido do que nunca.

## A Ascensão dos Fluxos de Trabalho de IA Agente

De todas as tendências técnicas em IA, aquela que mais me entusiasma são os **fluxos de trabalho de IA agente**. Se me perguntassem qual é a tecnologia de IA mais importante a prestar atenção, diria que é a IA agente.

Quando comecei a falar sobre isto no início deste ano, foi um pouco controverso, mas agora o termo "agentes de IA" tornou-se amplamente utilizado—tanto por pessoas técnicas como não técnicas. Tornou-se um pouco num termo de moda, mas deixem-me partilhar como vejo os agentes de IA e porque acho que são importantes.

### Prompting Zero-Shot vs. Fluxos de Trabalho Agentes

A maioria de nós usa modelos de linguagem grandes hoje com **prompting zero-shot**. Isto significa que damos ao modelo um prompt e pedimos-lhe para gerar uma saída—como escrever um ensaio—do início ao fim de uma só vez, sem qualquer retrocesso ou revisões. É como pedir a alguém para escrever um ensaio desde a primeira palavra até à última sem parar.

Embora os modelos de linguagem grandes se saiam bastante bem com esta abordagem, não é assim que fazemos a nossa melhor escrita. Um **fluxo de trabalho agente**, por outro lado, é mais iterativo. Por exemplo, para gerar um ensaio, podemos pedir à IA para:

1. Escrever um esboço do ensaio.
2. Realizar pesquisa na web (se necessário) e descarregar páginas relevantes para incluir no contexto do modelo.
3. Escrever o primeiro rascunho.
4. Criticar o primeiro rascunho e fazer revisões.

Este processo iterativo permite saídas mais refinadas e de maior qualidade, e é uma das razões pelas quais estou tão entusiasmado com o potencial dos fluxos de trabalho de IA agente.

---

Em conclusão, a IA está a abrir oportunidades incríveis para os construtores, e estou entusiasmado por ver quão rápido o campo está a evoluir. Desde a prototipagem mais rápida até ao desenvolvimento responsável e à ascensão da IA agente, o futuro da IA é brilhante, e mal posso esperar para ver o que vamos construir a seguir. Obrigado!

# Fluxos de Trabalho Agentes: Revolucionando o Desempenho da IA

## Introdução aos Fluxos de Trabalho Agentes

Ao rever um rascunho ou realizar tarefas complexas, o fluxo de trabalho envolve frequentemente um processo cíclico de pensar, pesquisar, rever e iterar. Este ciclo, embora demorado, melhora significativamente a qualidade do resultado. Em várias equipas com as quais colaboro, aplicamos este **fluxo de trabalho agente** para lidar com tarefas intrincadas, como o processamento de documentos legais complexos, assistência em diagnósticos de saúde e gestão de documentação de conformidade governamental. Esta abordagem produz consistentemente resultados superiores em comparação com métodos tradicionais.

## O Poder dos Fluxos de Trabalho Agentes na IA

Uma área que me entusiasma particularmente discutir é a **IA visual**, onde os fluxos de trabalho agentes permitem o processamento de dados de imagem e vídeo. Mas antes de mergulharmos nisso, vamos explorar alguns benchmarks que destacam a eficácia dos fluxos de trabalho agentes.

### Benchmarking de Fluxos de Trabalho Agentes

O **Benchmark HumanEval**, desenvolvido pela OpenAI, mede a capacidade dos grandes modelos de linguagem para resolver puzzles de codificação. A minha equipa recolheu dados sobre este benchmark, e os resultados são impressionantes:

- **GPT-3.5** alcançou uma taxa de sucesso de 48%.
- **GPT-4** mostrou uma melhoria significativa, atingindo 67%.
- No entanto, a melhoria mais notável veio do **GPT-3.5 usando um fluxo de trabalho agente**, que alcançou uma taxa de sucesso de 95%.
- **GPT-4 com um fluxo de trabalho agente** também teve um desempenho excecional.

Estes resultados demonstram que os fluxos de trabalho agentes podem melhorar dramaticamente o desempenho dos modelos de IA.

---

## Quatro Padrões de Design Principais para Fluxos de Trabalho Agentes

Para compreender melhor os fluxos de trabalho agentes, vamos decompor os quatro padrões de design principais que os desenvolvedores utilizam para os construir:

### 1. Reflexão
A reflexão envolve solicitar a um modelo de linguagem que critique e melhore o seu próprio output. Por exemplo:
1. Solicitar ao modelo que gere código para uma tarefa específica.
2. Copiar o código gerado de volta para o prompt e pedir ao modelo que o critique.
3. Utilizar o feedback para melhorar o código.
4. Opcionalmente, executar testes unitários e incorporar os resultados em iterações posteriores.

Este processo iterativo eleva frequentemente o desempenho de base para um nível superior. A reflexão também pode prenunciar **fluxos de trabalho multiagentes**, onde um modelo desempenha o papel de codificador enquanto outro atua como crítico.

### 2. Utilização de Ferramentas
Neste padrão de design, um modelo de linguagem é solicitado a gerar pedidos para chamadas de API. Por exemplo, pode decidir:
- Pesquisar na web.
- Executar código.
- Emitir um reembolso ao cliente.
- Enviar um email.
- Consultar uma entrada de calendário.

Esta capacidade de fazer chamadas de função expande significativamente as capacidades dos fluxos de trabalho agentes.

### 3. Planeamento
O planeamento envolve decompor tarefas complexas numa sequência de ações. Por exemplo:
1. Utilizar um modelo OpenPose para detetar uma pose numa imagem.
2. Gerar uma imagem com base na pose detetada.
3. Descrever a imagem.
4. Utilizar text-to-speech (TTS) para gerar áudio.

Ao planear e executar tarefas passo a passo, os modelos podem lidar com pedidos mais complexos de forma eficaz.

### 4. Colaboração Multiagente
Neste padrão, um único modelo de linguagem é solicitado a desempenhar múltiplos papéis, simulando interações entre diferentes agentes. Por exemplo:
- Um agente pode especializar-se em codificação.
- Outro pode focar-se na revisão e crítica do código.

Esta abordagem tem demonstrado melhorar o desempenho numa variedade de tarefas. É análogo a executar múltiplos processos numa CPU—cada processo lida com uma subtarefa específica, permitindo ao sistema abordar problemas maiores e mais complexos.

---

## A Ascensão dos Agentes Multimodais

Embora grande parte do foco tenha sido nos **grandes modelos de linguagem (LLMs)**, estou particularmente entusiasmado com o potencial dos **grandes modelos multimodais (LMMs)**. Estes modelos podem processar não apenas texto, mas também imagens e vídeos.

Por exemplo, dada uma imagem, um LMM pode realizar **prompting zero-shot**—essencialmente, dar uma vista de olhos na imagem e fornecer um output. No entanto, tal como com os LLMs, os fluxos de trabalho agentes podem melhorar o desempenho dos LMMs. Ao decompor tarefas em passos mais pequenos—como detetar rostos, identificar números e sintetizar a informação—estes modelos podem lidar com tarefas mais complexas de forma eficaz.

---

## Demonstração: Fluxos de Trabalho Agentes na IA Visual

Para ilustrar o poder dos fluxos de trabalho agentes, vamos ver uma demonstração desenvolvida por **Dan Malone** e pela **equipa H AI**. Utilizaremos uma imagem de um jogo de futebol e solicitaremos ao modelo que conte os jogadores na imagem.

### Como Solicitar ao Modelo
Após carregar uma imagem, pode utilizar os prompts sugeridos pelo sistema. Por exemplo:
- “Conte os jogadores na imagem.”
- “Identifique as posições dos jogadores.”
- “Descreva a ação na cena.”

Ao aproveitar os fluxos de trabalho agentes, o modelo pode realizar estas tarefas com uma precisão e eficiência notáveis.

---

## Conclusão

Os fluxos de trabalho agentes representam um salto significativo nas capacidades da IA. Ao incorporar **reflexão**, **utilização de ferramentas**, **planeamento** e **colaboração multiagente**, os desenvolvedores podem construir sistemas que abordam tarefas complexas com uma eficácia sem precedentes. A ascensão dos **agentes multimodais** expande ainda mais as possibilidades, permitindo que a IA processe e analise diversos tipos de dados.

À medida que continuamos a explorar e refinar estes fluxos de trabalho, as aplicações potenciais são virtualmente ilimitadas—desde o processamento de documentos legais até diagnósticos de saúde e muito mais. O futuro da IA não se trata apenas de construir modelos mais inteligentes, mas também de conceber fluxos de trabalho que desbloqueiem o seu potencial total.

# Vision Agent: Transformação do Processamento de Dados de IA Visual

Deixe-me demonstrar como isto funciona. Vamos começar por contar o número de jogadores em campo. Isto inicia um processo que decorre durante alguns minutos para pensar em como escrever código que conte com precisão o número de jogadores no frame. Isto é um pouco complexo porque não queremos contar jogadores em segundo plano.

Já executei isto anteriormente, por isso vamos saltar para o resultado. O código selecionou sete jogadores em campo e, ao contar, verificamos que está correto: 1, 2, 3, 4, 5, 6, 7. Ao ampliar a saída do modelo, confirmamos esta precisão.

## Geração de Código Reutilizável

Um dos resultados é a geração de código Python que pode ser executado repetidamente numa grande coleção de imagens. Isto é particularmente interessante para empresas e equipas com grandes quantidades de dados de IA visual — imagens e vídeos armazenados em vários locais. Até agora, extrair valor destes dados tem sido um desafio.

Para pequenas equipas ou grandes empresas com vastos dados visuais, capacidades como o Vision Agent permitem-lhe aproveitar dados previamente armazenados e extrair valor real deles. Isto representa uma transformação significativa na IA.

## Exemplo de Processamento de Vídeo

Aqui está outro exemplo: dado um vídeo de um jogo de futebol, a tarefa é dividir o vídeo em clips de 5 segundos e encontrar o clip onde um golo é marcado, depois exibir o frame relevante. O sistema gera e avalia o código, e a saída indica que um golo foi marcado por volta do minuto 10:15. Também extrai os frames associados, tornando-o altamente útil para processar dados de vídeo.

## Geração de Metadados

Outra funcionalidade poderosa é a capacidade de dividir um vídeo de entrada em segmentos de 6 segundos, descrever cada segmento e armazenar a informação num Pandas DataFrame juntamente com os nomes dos clips e os tempos de início/fim. Estes metadados podem então ser armazenados em plataformas como o Snowflake, permitindo o desenvolvimento de outras aplicações.

Para demonstrar, construímos uma aplicação de demonstração usando código gerado pelo Vision Agent. Esta aplicação indexa uma coleção de vídeos, permitindo aos utilizadores pesquisar conteúdo específico. Por exemplo, pesquisar por "esquiador no ar" mostra clips com alta similaridade, marcados a verde na linha do tempo. Outra pesquisa por "lobo cinzento à noite" destaca as partes relevantes do vídeo.

## Aplicações Práticas

Esta tecnologia tem inúmeras aplicações práticas. Por exemplo, se estiver à procura da sua mala preta com uma alça arco-íris entre muitos itens semelhantes, o sistema pode rapidamente identificar a correta. As possibilidades são infinitas, e o esforço necessário para construir tais aplicações é agora menor do que nunca.

## Tendências e Oportunidades em IA

Em termos de oportunidades em IA, os workflows agenticos estão a mudar o stack de IA. Há uma nova camada emergente de orquestração agentica, tornando mais fácil para os desenvolvedores construir aplicações. O Vision Agent da Landing AI contribui para isto ao simplificar o processamento de dados de imagem e vídeo.

### Principais Tendências em IA

1. **Velocidade de Geração de Tokens**: Os workflows agenticos geram muitos tokens, e há esforços emocionantes para acelerar este processo através de avanços em semicondutores e software.
2. **Otimização do Uso de Ferramentas**: Os grandes modelos de linguagem estão cada vez mais ajustados para suportar o uso de ferramentas, melhorando as suas capacidades em workflows agenticos.
3. **Engenharia de Dados**: A importância da engenharia de dados está a aumentar, especialmente para gerir dados não estruturados como texto, imagens e vídeo.
4. **Revolução dos Dados Visuais**: Enquanto o processamento de texto já revolucionou muitos campos, a revolução do processamento de imagens está a caminho, prometendo desbloquear ainda mais valor a partir de dados visuais.

Estas tendências estão a moldar o futuro da IA, e estou entusiasmado com as novas possibilidades que trazem.

# A Era da Inteligência Artificial Generativa

Este é um momento extraordinário para ser um desenvolvedor. A Inteligência Artificial Generativa está a permitir-nos aprender e experimentar mais rapidamente do que nunca. Esta tecnologia está a expandir o leque de possibilidades, abrindo portas para inúmeras novas aplicações que podemos construir - tanto no campo da IA visual como noutras áreas - que simplesmente não eram viáveis anteriormente.

## Experimente Você Mesmo

Se estiver interessado em explorar as demonstrações de IA visual que apresentei, visite [va.landing.ai](https://va.landing.ai). Neste site, poderá testar exatamente as mesmas demonstrações que mostrei, obter o código e implementá-lo nas suas próprias aplicações.

## Agradecimentos

Por fim, gostaria de expressar o meu agradecimento a todos. E, por favor, juntem-se a mim para dar as boas-vindas de volta ao palco à Elsa. Obrigado!

---
