MLOps Toy Project - Feature Engineering
03 Dec 2023
Processo de Engenharia de Recursos A engenharia de recursos, também conhecida como feature engineering, desempenha um papel crucial na construção de modelos de aprendizado de máquinas. Nesta seção, vou explorar algumas técnicas amplamente utilizadas para transformar os recursos de entrada...
Modularizacao
Producao
Aprender ensinando
MLOps Toy Project - Data Preprocessing
02 Dec 2023
Pré-processamento de Dados O pré-processamento de dados é uma etapa fundamental na construção de modelos de aprendizado de máquina. Esta fase envolve a preparação dos dados brutos para que possam ser alimentados em algoritmos de Machine Learning. Aqui, vamos modularizar...
Modularizacao
Producao
Aprender ensinando
MLOps Toy Project - Data Ingestion
01 Dec 2023
Automatizando a Aprovação de Cartões de Crédito: De Projeto de Estudos a um Modelo de MLOps Há alguns anos, enquanto estudava Data Science, fiz um projeto que envolvia a análise de aprovações de cartões de crédito. Na época, utilizei uma...
Modularizacao
Producao
Aprender ensinando
MagicMock Example
20 Nov 2023
# funcoes.py def contar_linhas_arquivo(nome_arquivo): with open(nome_arquivo, "r") as arquivo: linhas = arquivo.readlines() return len(linhas) # test_funcoes.py import io import unittest from unittest.mock import MagicMock, patch from funcoes import contar_linhas_arquivo class TestContarLinhasArquivo(unittest.TestCase): @patch("funcoes.open", create=True) def test_contar_linhas_arquivo(self, mock_open): # Configurar o MagicMock...
Example
unit test
Mocks
MLOps - Ambientes de Teste, Homologação e Produção
19 Sep 2023
Desenvolver modelos de Machine Learning é um processo contínuo, com várias etapas envolvidas. À medida que novos modelos surgem, com características aprimoradas, a substituição dos modelos anteriores pode se tornar uma necessidade. No entando, essa transição direta para o ambiente...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Orquestração de Pipelines
18 Sep 2023
Um dos principais componentes do MLOps é a orquestração de pipelines, permitindo criar, gerenciar e automatizar fluxos de trabalho complexos de treinamento, avaliação, implantação e monitoramento de modelos de ML. O Papel da Orquestração de Pipelines de Machine Learning Um...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Documentação
15 Sep 2023
Um elemento frequentemente subestimado ou considerado “burocrático” é a documentação técnica do projeto. No entanto, sua verdadeira importância vai muito além da mera formalidade. Ela desemprenha o papel fundamental de servir como um guia essencial tanto para os desenvolvedores quanto...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Implantação de Modelos
14 Sep 2023
Desenvolvimento de modelos de Machine Learning não termina quando o modelo é treinado e obtém resultados promissores localmente. O real processo que fará com que esse modelo de fato entregue valor é quando você leva esse modelo do ambiente de...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Testes Unitários, de Integração e Outros
10 Sep 2023
Testes são fundamentais em todas as disciplinas da Engenharia de Software, e no desenvolvimento de modelos de Machine Learning, não é diferente. Em projetos bem estruturados, os testes desempenham um papel vital para garantir a qualidade e a confiabilidade dos...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Melhorando Seus Commits
08 Sep 2023
Em artigos anteriores, falei sobre as melhores práticas de codificação, seguindo diretrizes como o PEP8, e explorando ferramentas como pylint e autopep8 que ajudam a manter nosso código limpo e organizado. No entando, há algo que muitas vezes esquecemos: executar...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Monitoramento de Modelos
08 Sep 2023
A criação de um modelo de Machine Learning envolve várias etapas, como: Coleta de Dados: Aquisição de dados relevantes ao problema que deve ser resolvido. Pré-processamento de Dados: Limpeza, transformação e preparação dos dados para o treinamento. Treinamento de Modelo:...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Gerenciamento de Experimentos
08 Sep 2023
O trabalho de aprimorar os modelos envolve experimentar várias arquiteturas, ajustar hiperparâmetros e testar diferentes abordagens. Imagine isso como uma busca pela “fórmula mágica” que fará o seu modelo ter a performace perfeita. Experimentação constante Durante o processo de desenvolvimento...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - CI/CD para Modelos de Machine Learning
08 Sep 2023
Agora vamos explorar o papel fundamental da CI/CD em um pipeline de Machine Learning e como essa abordagem pode melhorar significativamente o ciclo de vida de desenvolvimento de modelos. Os modelos de ML são diferentes do software tradicional. Eles dependem...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - A importância dos arquivos de configuração
08 Sep 2023
Nos meus exemplos anteriores ao escrever algumas coisas ‘hard-coded’ eu percebi que é importânte falar sobre esse assunto. Desenvolver um software eficiente e de fácil manutenção não se trata apenas de escrever código limpo e organizado. Uma parte fundamental é...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Controle de Versão dos Dados
07 Sep 2023
Uma parte frequentemente subestimada do processo de MLOps é o controle de versão dos dados do modelo. Aqui vamos tentar explorar a importância de controlar as versões dos dados e como isso pode impulsionar a qualidade e a colaboração em...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Controle de Versão do Código
05 Sep 2023
Uma parte fundamental do ecossistema de MLOps é o controle de versão do código. Aqui vamos falar um pouco sobre a importância do controle de versão no contexto de Machine Learning e como ele pode aprimorar todo o ciclo de...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Implantação de Contêineres
04 Sep 2023
Em MLOps, a implantação eficiente de modelos de Machine LEarning é essencial. Uma das ferramentas com maior destaque nesse cenário é o Docker. Vamos explorar como o Docker pode resolver problemas comuns na implantação de modelos de ML, incluindo como...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Gerenciamento de Dependências
03 Sep 2023
Ao começar um projeto de Machine Learning, quase de que imediato precisamos instalar bibliotecas e pacotes necessários na máquina e, conforme o projeto avança, percebemos novas necessidades, talvez um pacote novo de pré-processamento de dados ou uma biblioteca de visualização...
Software Engineer
MLOps
Aprender ensinando
Práticas Avançadas de Engenharia de Software para Machine Learning e MLOps
02 Sep 2023
A integração bem-sucedida de Machine Learning (ML) em aplicativos do mundo real requer mais do que apenas a criação de modelos precisos. Requer uma abordagem abrangente de engenharia de software para garantir que seus modelos funcionem de maneira confiável, escalável...
Software Engineer
ML Engineer
Aprender ensinando
De Cientista de Dados a Engenheiro de Machine Learning
20 Aug 2023
Voltando a utilizar esse espaço apenas para guardar minhas ideias e aprender enquanto eu digito. Em 2020, eu embarquei em uma jornada incrível como cientista de dados, explorando profundamente o vasto mundo da ciência de dados e aprendizado de máquina....
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Servindo Modelos de Machine Learning
08 Jun 2023
O processo de coleta de dados, treinamento do modelos e à preparação para a implantação em uma API, é apenas uma das grandes etapas envolvidas na entrega de um modelo de Machine Learning pronto para se tornar um dos pilares...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Fundamentos de APIs em projetos de Machine LEarning
08 May 2023
As APIs (Application Programming Interfaces) são pontes que conectam os modelos de Machine Learning com outrs aplicativos ou serviços que os utilizam. Aqui, tentarei explorar um pouco dos fundamentos, incluindo o que são APIs, por que são importantes em projetos...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Componentes e Artefatos
14 Mar 2023
Componentes no Processo de Machine Learning Os componentes são elementos essenciais que compõem todo o pipeline de desenvolvimento de um projeto de Machine Learning, desde a coleta de dados até a implantação e monitoramento do modelo. Eles devem ser independentes,...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Testes Unitários em Projetos de Machine Learning
10 Mar 2023
Anteriormente, falei sobre o conceito dos testes unitários e sua importância no desenvolvimento de projetos de Machine Learning. Agora, vamos aprofundar ainda mais nesse tópico fundamental, desde a sua criação até a execução de testes unitários especificos para tarefas comuns...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Garantindo a Robustez com Try e Except e Registros de Logs
01 Mar 2023
Durante o desenvolvimento de modelos de Machine Learning, deparar-se com excessões e erros acaba sendo inevitável. Garantir a robustez da implementação em produção é crucial. Vamos falar um pouco sobre a combinação de blocos try e except e o registros...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Refatorando o Código para Produção
25 Feb 2023
No mundo de Machine Learning e Data Sciente, é comum iniciarmos os nossos projetos (e os nossos estudos) em Jupyter Notebooks, eles facilitam a maneira como exploramos os dados e experimentamos os algoritmos, além de manter todas as funções auxiliares...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Criando Sua Própria Estrutura de Projetos de ML com Cookiecutter
24 Jan 2023
Anteriormente exploramos a importância de uma estrutura bem organizada para projetos de Machine Learning. Uma estrutura bem definida facilita o desenvolvimento, a colaboração e a manutenção dos projetos ao longo do tempo. Agora, como tudo em MLOps, vamos dar uma...
Machine Learning Engineer
MLOps
Aprender ensinando
MLOps - Estruturando Seus Projetos de Machine Learning
08 Jan 2023
No desenvolvimento de projetos de Machine Learning, uma estrutura organizada faz toda a diferença. Uma estrutura bem definida torna evidente para todos os membros da equipe onde cada elemento do projeto deve ser alocado, resultando em uma colaboração mais fluida...
Machine Learning Engineer
MLOps
Aprender ensinando
AWS DeepRacer e o Reinforcement Learning
03 Nov 2019
A Chance de Conquistar um NanoDegree de Engenheiro de Machine Learning Desde minha decisão de mudar de área e entrar de cabeça no mundo da ciência de dados, sempre ouvi falar dos cursos da Udacity, os famosos NanoDegrees da Universidade...
reinforcement learning
Competição
Bolsa de estudos
Máquina de Vetores de Suporte
15 Oct 2019
O que é? O SVM (Support Vector Machine) é um modelo de aprendizado supervisionado que separa dados por meio da identificação de padrões, sendo amplamente utilizado para problemas de classificação. Quando os dados podem ser bem separados, como mostrado no...
Support Vector Machine
SVM
Aprender ensinando
K Means
04 Oct 2019
Agrupamento não supervisionado Este é um algoritmo não supervisionado, o que significa que fornecemos a base de dados sem rótulos e o algoritmo se organiza automaticamente, levando em consideração as similaridades entre os dados e a quantidade de k especificada....
Kmeans
Agrupamento
Aprender ensinando
K Nearest Neighbours (KNN)
20 Sep 2019
K vizinhos mais próximos Este algoritmo é usado para encontrar rapidamente o caminho mais curto entre dois pontos, embora nem sempre seja o caminho ideal. Ele utiliza a base de dados de treinamento e a quantidade de vizinhos que o...
KNN
k vizinhos
Aprender ensinando
Naive Bayes
08 Sep 2019
Conceito O algoritmo Naive Bayes, como o próprio nome sugere, é baseado no teorema de Bayes. Ele é amplamente utilizado para classificar texto com base na ocorrência de palavras ou para prever um fenômeno com base em outros fatores. O...
Naive Bayes
Classificação
Aprender ensinando
Árvore de decisão e Floresta aleatória
01 Sep 2019
Árvore de Decisão: O Que É? Árvore de decisão tem um princípio bastante simples. Dadas certas regras e condições, ela segue um caminho específico, partindo da raiz até chegar às suas folhas. Elas podem ser usadas tanto para classificação quanto...
Decision Tree
Random Tree
Aprender ensinando
Função custo: Linear e Logística
26 Aug 2019
Função custo Quando traçamos um gráfico relacionando duas variáveis, geralmente não é possível que uma reta passe por todos os pontos. Portanto, nosso objetivo é encontrar a reta que melhor se ajusta aos dados disponíveis. Como ilustrado abaixo, podemos observar...
Machine Learning
Cost Function
Aprender ensinando
Regressão Linear
19 Aug 2019
Regressão Linear Simples Quando precisamos analisar a relação entre duas variáveis, a regressão linear simples é o tipo de modelo apropriado. Neste modelo, uma variável independente e uma variável dependente são plotadas para identificar sua relação e gerar uma linha...
Regressão Linear
Classificação
Aprender ensinando
Classificação
11 Aug 2019
Regressão Logística Apesar do nome, este é um modelo usado para resolver problemas de classificação. Como mencionado anteriormente, em problemas de classificação, nosso objetivo é prever uma resposta binária, como sim ou não, certo ou errado, e assim por diante....
Regressão Logística
Classificação
Aprender ensinando
ML: Classificação, Regressão Linear e Clusterização
10 Aug 2019
Processo de Classificação O processo de classificação tem como objetivo identificar a categoria à qual uma nova entrada de dados pertence, com base em um conjunto de dados históricos. Um exemplo comum é o classificador de spam, que, com base...
Machine Learning
Modelos
Aprender ensinando
Machine Learning e seus principais algoritmos
04 Aug 2019
Uma lição valiosa que aprendi recentemente é que ensinar e se preparar para ensinar são excelentes maneiras de aprofundar o conhecimento. Vou iniciar uma série de postagens explicando os principais algoritmos que tenho estudado em cursos, especializações e nanodegrees. Ao...
Machine Learning
Algoritmos
Aprender ensinando