Here is a recipe on how I made those thing work together both on a linux development environment and in production. The important thing to remember is: just like recipes for brownies, there are other recipes to achieve the same thing.
The following steps assume you have a Google cloud account with the proper permissions.
On veut compiler une nouvelle librairie dans notre beau code. Le “README” indique seulement 2 dépendances… Par expérience, c’est rare que la liste soit exhaustive.
Voici un truc rapide de la part d’un collègue pour aller à la «chasse aux dépendances» sans cochonner sa machine. Ça implique Docker et linux.
Déverminer (déboguer) est, je crois, un sujet sur lequel je n’avais jamais lu jusqu’à maintenant. Travaillant maintenant presque à temps plein sur le projet MLDB, en C++, gdb est un de mes outils de travail au quotidien. Comme la productivité d’un programmeur dépend largement de la maîtrise de ses outils, j’ai décidé d’y consacrer du temps.
Après un peu plus de 3 années passées chez Datacratic, il était grand temps que je m’intéresse davantage à l’apprentissage machine. C’est le livre Machine Learning in Action que j’ai choisi pour me lancer.
Provides information on the concepts of machine theory, covering such topics as statistical data processing, data visualization, and forecasting.
Voici quelques conseils pour réduire la friction des télétravailleurs avec le bureau.
For a few months I have been struggling with small sound issues. It’s hard to put words to describe it, but it was like noise/static here and there, more often than not while playing games and rendering 3D.
I tried reinstalling audio drivers but that didn’t fix the issue. Finally, I found a post (to which I lost the link) with the solution.
In Windows 10 power options, I changed the configuration from “balanced” to “performance”.
Tel que mentionné dans mon billet de lecture précédent, j’ai lu “Modern C++ Design: Generic Programming and Design Patterns Applied”. Ouch. C’est de loin le livre C++ techniquement le plus difficile/avancé que j’ai lu.
At Datacratic, part of our infrastructure runs in the cloud. Our elastic cluster is managed by StarCluster and job dispatch is managed by Open Grid Scheduler (OGS), a fork of Sun Grid Engine (SGE).
While I was looking at StarCluster’s output to help a new user, I realized there was a lot of timeouts. I dug a bit and found out that the command qacct was too slow. Following the lead, I understood that the said command parses a text file each time it is executed.
After a few years of operations, our main cluster has dispatched over 5 000 000 jobs. The log file parsed by qacct was about 2Gb in size. Tada! A couple of search queries taught me that OGS, in its install directory (<path to ogs>/util/logchecker.sh), has a script, ready to be configured, to rotate its logs. I configured and launched it. The timeouts are gone.
Lesson learned: StarCluster/OGS operators, it is important to configure and schedule that script to run every now and then if you want to keep your operations stable.
Un autre livre de C++! Mon 3è pour être exact. Comme souvent, c’est le travail qui motive mes choix. Récemment j’ai été amené à travailler sur MLDB et une bonne partie du code requiert des connaissances approfondies. Je souhaitais une fois de plus m’améliorer alors j’ai débusqué ce livre qui semble être un classique.
Continue reading