Categories
Artigos

Linguagens de programação que todo pós-graduando deve saber: a Tríade da Ciência de Dados

Se você está iniciando em uma carreira de pesquisa, você vai ter de tratar dados experimentais ou numéricos e apresentar seus resultados. Não há escapatória além de aprender a programar, e isto vale para todas as áreas; John MacFarlane, por exemplo, é professor de filosofia e um grande nerd.

Para mim, existem três linguagens básicas que você deve saber e estudar continuamente, e vou apresentar na ordem em que acho que devem ser estudadas. Também, como eu sou o Fábio, eu vou dar dicas de livros, que ainda são muito superiores a simples tutoriais para realmente aprender algo.

Python

Se você está começando, este é um excelente primeiro passo. Python é uma linguagem simultaneamente fácil de aprender e poderosa; é bastante geral, e tem bibliotecas para processamento de arquivos, interfaces web e cálculo numérico e matricial.

Eu uso Python regularmente para meus projetos de Engenharia desde 2011. No meu mestrado, criei scripts para pegar os arquivos que o sensor de pressão da minha bancada escrevia e criar gráficos de pressão x tempo para cada teste que eu havia feito. No meu doutorado, criei dois programas que resolviam as Equações de Maxwell para duas geometrias diferentes de ímãs permanentes e calculavam o campo magnético gerado por cada uma. Atualmente, mantenho alguns programas de simulação de poços de petróleo e cálculo de propriedades de óleos.

Uma boa introdução geral é este livro, enquanto este aqui é excelente e mais voltado para área de dados.

R

Você pode usar Python para praticamente qualquer tarefa, mas sempre há benefícios em conhecer mais linguagens. Bjarne Stroustrup, criador da linguagem C++, diz que um salto fundamental para alguém que sabe programar é passar de uma para duas linguagens: o conhecimento de uma alimenta o estudo da outra.

Acontece isso comigo ao estudar R, uma linguagem voltada à Estatística. Embora eu não use muito scripts em R em si, o conhecimento que tenho da linguagem me faz pensar melhor na organização das tabelas de dados, e em como posso juntar todas as simulações que faço em uma única tabela que é filtrada e transformada (e.g. calcular a média de todas as linhas da tabela mestre que correspondem a uma mesma condição de pressão) para diferentes tarefas. Esse conhecimento me acompanha mesmo quando escrevo os programas em Python.

Estes dois livros são excelentes e fundamentais para começar a estudar dados de maneira mais séria.

Julia

Julia é uma linguagem bem mais moderna que as outras, e bastante focada na rapidez de execução. Novamente: ao estudar e praticar Julia, eu posso tanto escrever scripts nessa linguagem como pensar em como acelerar meus programas em Python e R. Se você já tem um sistema que quer otimizar, sugiro fortemente aprender Julia; o ecossistema de bibliotecas está crescendo rapidamente.

Uma boa introdução a Julia é este livro online.


Se você quer aprender mais sobre alguma dessas linguagens, diga aqui nos comentários!

Categories
Artigos

Para ser mais produtivo (e ter uma vida mais simples), confie na sua intuição

Na tentativa de fazer o meu trabalho da melhor maneira possível, eu estou sempre me debatendo entre dois caminhos:

  1. Seguir rotinas fixas (trabalhar um em programa de manhã, escrever artigos à tarde), ou
  2. Priorizar o que é mais importante a cada dia, mesmo que isso signifique sair da rotina.

Eu tenho seguir o caminho 1, mas hoje foi um dia que segui o caminho 2. Para fechar um excelente mês, eu quis terminar de estudar um livro sobre visualização de dados, e largar todo o resto. Por quê? Porque eu achei que devia ser assim.

Aqui vai uma dica para os que estão iniciando a carreira: quando em dúvida, priorize a sua intuição.

Não lembro onde li, mas sei que foi David Allen quem escreveu – provavelmente na última edição de A Arte de Fazer Acontecer – que uma das melhores maneiras de priorizar uma lista longa de tarefas é se basear na intuição. Na ausência de outros indicadores como prazos ou pressões de chefes, o que você realmente acha que precisa fazer? Se você tem esse sentimento interno forte, provavelmente é porque essa ação em si é de fato importante.

Em O Caminho do Artista, Julia Cameron escreve:

Sempre ouvi fortes apelos internos. Ordens de comando, como costumo chamar.

Sidney Lumet em Making Movies, falando sobre como ele escolhe os projetos quando alguém vai falar com ele sobre alguma ideia ou roteiro, e como ele decide "imprimir" os filmes quando está satisfeito com uma tomada (numa época em que os filmes eram literalmente impressos e revelados):

A primeira decisão, é claro, foi fazer ou não o filme. Eu não sei como outros diretores decidem. Eu decido completamente instintivamente, muita vezes após apenas uma leitura. Isto resultou em filmes muito bons e filmes muito ruins. Mas é a maneira com que sempre fiz, e estou velho demais para mudar agora. […] Mas o que me leva a dizer "Imprimir" é completamente instintivo. Às vezes eu o digo porque eu sinto dentre de mim que foi uma tomada perfeita, que nós nunca vamos melhorar. Às vezes é porque está piorando a cada tomada. Às vezes não é escolha.

(Tradução livre minha, e ênfase minha).

Em How to Take Smart Notes, Sönke Ahrens relata que um experimento mostrou vídeos de paramédicos iniciantes e experientes atendendo a instrutores da profissão. Os instrutores não conseguiram classificar: acharam que os reais iniciantes eram experts e vice-versa. Eles mediram o grau de expertise pelo seguimento das regras que foram ensinadas, o que é mais presente em quem recém começou a trabalhar. Experts desenvolvem a sua intuição e quase não pensam mais no trabalho, mas isso significa quebrar as regras quando a situação exige.

Como estou no Ano de Simplificar, preciso levar em conta que às vezes as rotinas de trabalho, as regras, atrapalham. Em vez de ficar alternando entre todos os meus projetos, hoje eu simplifiquei o meu dia priorizando finalizar um projeto importante (sem deixar de atender quem veio me procurar para dúvidas). Para o próximo mês que se inicia amanhã, sinto-me muito mais preparado, justamente com o tanto que estudei neste mês para projetos importantes.

Para o mês de março de 2023, o que a sua intuição diz que você deve priorizar?

Categories
Artigos

O que fazer com dados errados/faltantes/desorganizados? Parar de reclamar!

Não quero parecer mais velho e experiente do que sou, mas eu tenho certa experiência de Engenharia. Depois de me formar, há 11 anos, completei um Mestrado e um Doutorado, fiz estágio de Pós-Doutorado, trabalhei como professor, e atualmente sou engenheiro em um projeto de pesquisa. Participei de muitos projetos diferentes, com empresas diferentes, com assuntos e contextos diversos.

Sendo professor e pesquisador, interajo com muitos alunos e alunas, engenheiros e engenheiras menos experientes que eu, e é muito comum ouvir variações do tipo:

  • “Onde consigo esses dados?”
  • “A empresa X compartilhou os dados de maneira muito desorganizada”
  • “Os dados de medição e calibração estão num arquivo PDF, como vou usar isso no meu script?”

Engenheiros e engenheiras, pesquisadores e pesquisadoras: trabalhar com dados errados/faltantes/desorganizados não é um impedimento ao seu trabalho, é o trabalho.

A vida de Engenharia não é a vida dos livros-texto, onde as tabelas são bonitinhas. Os dados passam por mãos humanas, onde há algum erro (mesmo que sejam obtidos de um sensor de maneira automática, alguém programou aquele sensor).

Seja cuidadoso ao digitar seus dados manualmente. Muitos erros bobos aparecem quando se transferem dados de uma fonte para outra .

[…]

Muito da visualização envolve coletar e preparar dados. Raramente, você consegue os dados na forma como você precisa, então espere dar uma arrumada nos dados antes de visualiza-los.

Nathan Yau, Visualize This (Tradução livre minha)

Quer outra citação?

Para se tornar um cientista de dados, você precisa de dados. Na verdade, como um cientista de dados, você passará uma embaraçosa grande fração do seu tempo adquirindo, limpando e transformando dados.

Joel Grus, Data Science do Zero

Nesta bela tarde de segunda-feira, pegue uma xícara de café, abra o Excel com aquele arquivo desorganizado que você recebeu de alguém (ou use Tabula para extrair tabelas de PDFs), e confira os detalhes:

  • As unidades estão certas?
  • O separador decimal (ponto ou vírgula) está correto?
  • Os dados estão numéricos (1 em vez de “1”)?
  • Há linhas com colunas faltantes? Por quê? Adicione uma coluna de observações.
  • Valores nulos (de valor numérico 0) ou negativos são isso mesmo, ou algum sinal de erro do sensor?

Repito: ninguém vai fazer isso para você. Você precisa pensar sobre os dados – e sobre o que você quer fazer com eles.

Categories
Artigos

O conselho que eu daria para meu eu adolescente (que surpreende até a mim)

O WordPress.com está me sugerindo escrever com a seguinte pergunta hoje:

Que conselho você daria para seu eu adolescente?

Depois de pensar durante a manhã toda, a minha resposta é supreendente até para mim:

Vá fazer um curso técnico.

Veja: o Fábio de 16 anos era um poço sem fundo de timidez. Sim, eu era nerd. Sim, eu só queria estudar e tirar todas as notas 10 (na maior parte do tempo eu conseguia). Sim, eu demorei tempo demais para beijar uma menina pela primeira vez.

Por que então eu não dou um conselho mais direto, do tipo “aproveite a vida”, “vá festar mais”, “perca a timidez” etc? Por que eu estou falando de conselhos, e não de substituição de personalidades. Eu era uma criança tímida, fui um adolescente tímido, e sou um adulto tímido. Ainda hoje, sinto-me bastante desconfortável em ambientes cheio de pessoas desconhecidas. Se eu viajasse no tempo, não há nada no mundo que mudasse esse que é simplesmente o meu jeito de ser.

Eu que eu poderia ter feito, e daí o meu conselho, era expandir um pouco mais meus horizontes. Sair da frente dos livros e dos computadores e ir para coisas mais práticas. Conhecer outros (e outras) jovens que não meus amigos de escola (que sempre me aceitaram do jeito que sou, diga-se).

Se eu tivesse feito um curso técnico, eu seria um adulto mais capaz de consertar as coisas, e seria um engenheiro muito melhor que sou, com mais visão do mundo real fora da academia. Aliás, esse conselho eu dou especialmente para os adolescentes que estão pensando em cursar Engenharia (qualquer uma). História real: um amigo meu acabou de tomar posse como professor de Engenharia Mecânica em uma excelente universidade, com um treinamento que teoricamente terminou no seu Doutorado mas que começou (adivinha) na Escola Técnica (onde ele já havia sido professor, inclusive).

Agora é tarde, e tenho que pesquisar no YouTube como consertar vazamentos na descarga. Mas se você é leitor ou leitora deste blog e é jovem, não perca tempo: vá usar mais as mãos para fazer coisas práticas no mundo real.

Categories
Artigos

Por que uso o PyCharm ou: uma história sobre complicar para simplificar

O que vou falar aqui não combina muito com o Ano de Simplificar, mas vale a pena ser dito: às vezes, complicar torna a vida mais simples.

O meu trabalho envolve programar muito em Python, como vários outros pesquisadores do mundo. O editor da moda é o Visual Studio Code, que tem um visual mais minimalista e de fato é muito bom.

O problema é que apenas o editor não é suficiente para meu trabalho: eu preciso de um terminal de linha de comando e de ferramentas de controle de versão. O VS Code têm tudo isso, mas aí a sua simplicidade começa a sumir… E é aí que eu resolvi abraçar a complexidade e usar um editor mais profissional, PyCharm.

PyCharm não é um programa simples ou fácil de usar: há inúmeros painéis, menus, caixas de diálogo, atalhos. Mas agora, tudo que eu preciso está em um só programa – e aos poucos, estou aprendendo a navegar nessa complexidade e me tornando mais produtivo e eficiente no meu trabalho.

E no seu trabalho? Que passo adicional em relação à complexidade a leitora pode adotar que vai tornar a vida mais simples, na verdade? Que software/metodologia/ferramenta o leitor está com medo de abraçar pela complexidade, mas que vai facilitar a vida?

Categories
Articles

A Regra dos 3

Essa ideia não é minha, não é revolucionária, mas faz muito parte da minha vida e precisa ser compartilhada:

Faça tudo aos três

Este texto explica em mais detalhes, mas foca muito na escrita e em apresentações: quando for fazer uma apresentação, concentre-se na três ideias principais; ou quando for escrever, estruture em introdução, desenvolvimento e conclusão.

Mas há mais exemplos da Regra dos 3:

  1. Toda semana, escolha 3 metas e todo dia, escolha 3 tarefas mais importantes (MIT); se o dia/semana for caótico e você conseguir cumprir as 3 MITs, o dia foi um sucesso (para mergulhar mais nisso, leia Getting Results the Agile Way
  2. Quando você ouvir falar de uma tecnologia/livro/filme pela terceira vez, é sinal de que não apenas um hype e vale a pena ir atrás (eu vi essa dica em algum lugar, mas não consigo de jeito nenhum achar a fonte
  3. Quando for sentar para fazer um lote de atividades mundanas de uma lista enorme, faça 3 itens e deixe o resto para outro dia (3 voltas em um sábado de manhã, 3 contas a agendar o pagamento, 3 emails a mandar).

Experimente a Regra dos 3 e me diga aqui em baixo se isso não mudou a sua vida.

Categories
Artigos

Dica para desestressar: abrace um prazer sem culpa

Um amigo meu disse uma pérola há alguns dias: “você sabe que está conversando com um millenial quando o tópico da conversa é o endereço do seu terapeuta”.

Saúde mental é importante. Os comentários mais frequentes neste blog são de pessoas que estão desmotivadas com a graduação ou pós-graduação, e não é à toa: a vida acadêmica é difícil.

Aqui vai uma dica: abrace o seu guilty pleasure: aquilo que você não deveria gostar, mas gosta.

Austin Kleon fala que não existem guilty pleasures, mas o seu foco é nisso como fonte de criatividade. Minha dica para essa retomada de trabalho pós-carnaval é: coloque esses “prazeres proibidos” na sua rotina como forma de desestressar – e pare de se sentir culpado.

O meu guilty pleasure? Hoje, enquanto minha esposa estava na rua com a crianças, cozinhei as refeições deste resto de semana assistindo Chicago Fire.

Não me arrependo de nada.

Categories
Artigos

2023: O Ano de Simplificar

O meu tema para 2023 é O Ano de Simplificar.

Desde que publiquei minha revisão de 2022, mais coisas aconteceram que tornaram aquele ano mais horrível que já era, incluindo brigas políticas com familiares. Política é obviamente um assunto emocional, mas eu não estava mesmo brigando por causa do Bolsonaro – e sim por causa da raiva acumulada dentro de mim contra tudo de ruim que aconteceu em 2022.

Com um novo filho, eu não posso ser uma pessoa com raiva, e a prioridade máxima na minha vida é reduzir os níveis de estresse. Para isso, preciso simplificar minha vida. Em 2022, eu me mudei de cidade e de emprego; tentei criar rotinas (e.g. tocar teclado e ir para a academia) que não vingaram; almejei ler mais livros que conseguia; e nossos gastos saíram do controle. Houve um excesso de coisas que precisa ser cortado.

Neste ano, vou curtir o novo emprego, moradia, configuração familiar, e reduzir a vida ao essencial. Preciso de todos os serviços de streaming? Preciso de tantas assinaturas de apps? Posso vender meu teclado e parar de me preocupar com isso? Posso parar de me preocupar com ir à academia e focar em correr na praça perto de casa? Posso chegar em casa e só montar um quebra-cabeça com meu filho mais velho? Ou, se ele estiver brincando sozinho, sentar e ler um livro, sem metas de números?

E este blog? Ele é essencial para mim? É essencial para minhas leitoras e meus leitores?

Vamos descobrir ao longo desse ano. Por isso, um pedido para começar o ano: se você gosta do que lê aqui, se vê valor, não deixe de comentar aqui embaixo e indicar este blog para alguém. Isso vai me ajudar a direcionar os trabalhos aqui neste ano.

Por um 2023 melhor, mais simples, para todos nós.

Categories
Artigos

Revisão do meu Ano de Ler e Escrever

O meu tema para 2022 foi Ler e Escrever.

Vou ser sincero: este não foi um dos meus anos favoritos. A mudança de emprego e de cidade adicionou muito estresse na minha vida, do qual ainda não consegui me recuperar. Pelo menos há um novo integrante na família para alegrar as coisas.

A minha prioridade era ler livros, e eu li 34 livros neste ano; nada mal, mas muito abaixo da minha meta de 60 (5 por mês), um número ambicioso inspirado por Cal Newport. Se ele, com 3 filhos e 2 empregos, consegue ler tanto, por que eu não consigo? É sinal de que não priorizei tanto assim. Voltando ao parágrafo anterior: o estresse me fez querer ver mais séries e ler menos livros, o que em teoria é OK; mas eu chego ao final do ano me sentindo não OK com isso. Em 2023, eu quero intensificar ainda mais o hábito de leitura, e baseado nesse ano, já aprendi que isso significa me importar menos em “ler livros físicos” e mais adotar o pragmatismo do Kindle. A leitora pode conferir algumas das minhas resenhas de livros aqui.

Leitura para mim inclui estudo, e nesse ano eu foquei em alguns concursos, todos sem sucesso. Isso me fez refletir também: é isso que quero para minha carreira? Continuar estudando e fazer concursos? Apesar do resultado ter sido um fracasso, o método é um sucesso: reforçar um tema para o ano me ajudou a justamente prestar atenção. Eu priorizei estudar como parte do meu Ano de Ler e Escrever, percebi que não deu certo, mas eu não deixei de seguir o tema. Eu li muitos livros-texto e escrevi muitas notas; missão cumprida.

Por último, o grande resultado da parte de escrita, e a que mais deu certo, foi a minha páginas de notas de aulas, que evoluiu para um segundo blog, em inglês e muito mais técnico que esse aqui, e eu encerro o meu Ano de Ler e Escrever me fazendo esta pergunta: meus blogs estão dando certo? Vale a pena continuar em 2023?

Amanhã vamos saber o meu grande tema para o próximo ano…

Categories
Artigos

Antônio

A maior notícia do ano, para mim, aconteceu quase no final: há alguns dias, o João Pedro ganhou um irmão, Antônio.

Não é novidade para ninguém que lê este blog que ser católico é parte da minha identidade. Assim, na hora de escolher algo importante como o nome dos meus filhos, não consigo deixar de me voltar para os grandes personagens bíblicos e santos que passaram por este mundo, em busca de inspiração. Que eu saiba, não existe nenhum personagem chamado Antônio na Bíblia, mas houve um grande homem que carregou esse nome.

A escolha deste nome está muito ligada à nossa situação de vida durante grande parte da gravidez do Antônio. Recentemente, eu e minha família nos mudamos para Florianópolis, mas a experiência de esperar o Antônio vai estar sempre muito ligada à nossa antiga cidade, Joinville. Eu amei morar lá, e amei fazer parte da Paróquia Santo Antônio. Indo nas festas do padroeiro, aprendi que Santo Antônio de Pádua, muito além do reducionista “santo casamenteiro”, era um grande professor – justamente a minha profissão durante boa parte da gestação do pequeno Antônio.

E assim, o pequeno Antônio chega para nos lembrar dessa importante fase da nossa vida, e para iluminar o nosso final de ano. E eu começo 2023 aprendendo a ser “pai de dois” – com todos os prazeres e dificuldades que isso traz.