AWS DeepRacer e o Reinforcement Learning
03 Nov 2019
A Chance de Conquistar um NanoDegree de Engenheiro de Machine Learning
Desde minha decisão de mudar de área e entrar de cabeça no mundo da ciência de dados, sempre ouvi falar dos cursos da Udacity, os famosos NanoDegrees da Universidade do Vale do Silício.
Eis que surgiu a oportunidade de concorrer a uma bolsa de estudos participando de uma competição de Reinforcement Learning com carros autônomos, organizada pela AWS. Naquele momento, ao ler as regras e entender que teria de aprender Reinforcement Learning para concorrer à bolsa, eu não imaginei que ganharia muito mais do que conhecimento durante essa trajetória.
Descobrindo que a Competição Não Era Exatamente Gratuita - O que Fazer?
Ao começar a competição, assistir aos vídeos introdutórios e colocar o primeiro modelo para treino, veio a primeira surpresa: um e-mail informando que eu já havia atingido quase todo o uso gratuito da minha conta. Percebi que essa competição envolvia o uso dos serviços da AWS e que isso não era gratuito, mas que existiam algumas maneiras de conseguir alguns créditos (e evitar gastar mais na competição do que o próprio valor do NanoDegree). Depois de muita pesquisa, descobri que, por ser estudante, era possível criar uma conta no GitHub e ganhar $100 de créditos na AWS, somados aos $30 recebidos por novos usuários, seriam $130 de créditos, uma bela ajuda de custo para os treinos do modelo.
Erros, Acertos e uma Grande Comunidade Disposta a Ajudar
Comecei meus treinos enquanto aprendia o significado de cada "hyperparameter" do meu modelo, mas precisava de mais informações. Encontrei bons blogs, com muito conteúdo e até mesmo modelos de função recompensa. Então, descobri os canais do Slack, canais da própria comunidade da Udacity, bem como de competidores gabaritados da AWS DeepRacer. Toda essa comunidade deu um novo significado para a competição, com muitas dúvidas sanadas e um ambiente de compartilhamento de informações que tornou o aprendizado muito mais prazeroso.
Fim do Primeiro Mês, Grandes Expectativas
O último dia da competição (no primeiro mês) foi realmente intenso; eu já queria estar entre os top 50 e garantir minha bolsa de estudos, mas, faltando um dia, fui ultrapassado por diversos competidores. Eventualmente, descobri que no final das competições é normal haver uma quantidade massiva de inscrições, não apenas na DeepRacer. Mesmo assim, consegui garantir o top 50 no primeiro mês e no segundo mês.
Objetivo Atingido e um Convite Inusitado
Continuei competindo mesmo depois de garantir minha bolsa em agosto e, então, fui surpreendido por um convite da AWS User Group São Paulo, perguntando se eu gostaria de falar sobre a AWS DeepRacer. Fiquei realmente animado e aceitei o convite. Foi uma excelente noite, e gostei muito da receptividade da comunidade.