Logback on Jean-Christophe Gay

Contextualiser ses événements Sentry

Fri, 15 Jul 2016 14:04:00 +0200

Sentry est un service qui permet la sauvegarde, analyse des erreurs qui surviennent dans vos applications.

Quand vous ne pouvez pas analyser vos logs applicatifs facilement (application mobile ou installée directement sur les postes de vos utilisateurs) il est important de récupérer les erreurs qui se produisent pour les corriger. Pour cela on peut utiliser un service en ligne comme Sentry.

Le service propose des intégrations pour toute sorte de langage, plate-forme. On suivra ici l’intégration au sein d’une JVM avec Logback.

Installation
#

Tout repose sur un client Java nommé raven pour envoyer des erreurs vers Sentry. Il suffit donc d’ajouter une dépendance à votre projet (par exemple avec Maven) :

<dependency>
 <groupId>com.getsentry.raven</groupId>
 <artifactId>raven-logback</artifactId>
 <version>7.3.0</version>
</dependency>

Configuration
#

Il faut ajouter un nouvel appender à sa configuration Logback :

<appender name="Sentry" class="com.getsentry.raven.logback.SentryAppender">
 <dsn>https://<key>:<secret>@app.getsentry.com/<project>?options</dsn>
</appender>
<root level="warn">
 <appender-ref ref="Sentry"/>
</root>

Avec cet exemple, tous les messages loggés via Logback de niveau WARN ou ERROR seront envoyés à Sentry.

C’est très bien on a maintenant nos erreurs qui sont enregistrées mais les informations remontées se limitent en gros aux messages loggés et stracktraces (si présente) associées.
On peut faire mieux en identifiant les utilisateurs victimes d’erreurs.

Identification
#

Les messages Sentry peuvent être enrichis à l’aide de SentryInterface. Une des interface fournie par défaut permet d’associer un utilisateur à chaque message : UserInterface.
Pour définir ces interfaces il faut pimper l’initialisation du client Raven à l’aide d’une factory personnalisée.

package fr.jcgay.github.sentry

import java.net.InetAddress.getLocalHost
import java.util.UUID

import com.getsentry.raven.dsn.Dsn
import com.getsentry.raven.event.EventBuilder
import com.getsentry.raven.event.helper.EventBuilderHelper
import com.getsentry.raven.event.interfaces.UserInterface
import com.getsentry.raven.{DefaultRavenFactory, Raven}

case class MyAppRavenFactory() extends DefaultRavenFactory {

 lazy val uuid: String = UUID.randomUUID.toString

 override def createRavenInstance(dsn: Dsn): Raven = {
 val raven = super.createRavenInstance(dsn)
 raven.addBuilderHelper(AddUser("jcgay", "contact@jeanchristophegay.com", uuid))
 raven
 }
}

case class AddUser(id: String, email: String, uuid: String) extends EventBuilderHelper {
 override def helpBuildingEvent(eventBuilder: EventBuilder): Unit =
 eventBuilder
 .withSentryInterface(new UserInterface(id, getLocalHost.getHostName, null, email))
 .withTag("session-uuid", uuid)
}

On crée donc un utilisateur avec :

new UserInterface(id, getLocalHost.getHostName, null, email)

Le 3ième argument est l’adresse IP de l’utilisateur. Utiliser null pour l’absence de valeur.

On peut aussi ajouter des informations taggées au sein d’un message. Ces données seront indexées par Sentry. On pourra donc les utiliser dans des recherches, etc.
Ici par exemple on génère un identifiant de session qui sera associé aux actions de l’utilisateur pour toute la durée de sa session.

L’EventBuilder que l’on enrichi sera exécuté à chaque construction de message, attention donc à ce que l’on y met 😛.

En terme de configuration il faut enregistrer notre factory et la référencer dans le SentryAppender.

Exécuter quelque-part pendant l’initialisation de l’application :

RavenFactory.registerFactory(MyAppRavenFactory())

Et dans le logback.xml :

<appender name="Sentry" class="com.getsentry.raven.logback.SentryAppender">
 <dsn>https://<key>:<secret>@app.getsentry.com/<project>?options</dsn>
 <ravenFactory>fr.jcgay.github.sentry.MyAppRavenFactory</ravenFactory>
</appender>
<root level="warn">
 <appender-ref ref="Sentry"/>
</root>

Version de l’application
#

Une information importante comprise et utilisée par Sentry est la version de l’application. Elle est renseignable avec la balise <release> au niveau de la configuration du SentryAppender :

<appender name="Sentry" class="com.getsentry.raven.logback.SentryAppender">
 <dsn>https://<key>:<secret>@app.getsentry.com/<project>?options</dsn>
 <ravenFactory>fr.jcgay.github.sentry.MyAppRavenFactory</ravenFactory>
 <release>${project.version}</release>
</appender>
<root level="warn">
 <appender-ref ref="Sentry"/>
</root>

On peut par exemple utiliser la fonctionnalité de Filtering avec Maven pour injecter la version de l’application au moment du build.

Le MDC
#

Le dernier moyen pour contextualiser ses messages est d’utiliser le MDC.

Par défaut toutes les valeurs comprises dans le MDC sont envoyées à Sentry. Par contre elles ne sont pas indexées par défaut. Pour activer l’indexation sur une clef particulière il faut la déclarer en tant que tag :

MDC.put("Environment", "Development");

<appender name="Sentry" class="com.getsentry.raven.logback.SentryAppender">
 <dsn>https://<key>:<secret>@app.getsentry.com/<project>?options</dsn>
 <ravenFactory>fr.jcgay.github.sentry.MyAppRavenFactory</ravenFactory>
 <release>${project.version}</release>
 <extraTag>Environment</extraTag>
</appender>
<root level="warn">
 <appender-ref ref="Sentry"/>
</root>

Conclusion
#

Une fois correctement configuré les messages récupérés dans Sentry permettent de surveiller les erreurs qui interviennent dans vos applications déployées un peu partout dans la nature.
On atteint assez vite les quotas (à la minute) dans le premier plan payant, il existe pas mal d’alternatives mais je n’en ai pas essayé 😱.

Le code utilisé dans les exemples est disponible ici.

De la couleur dans les logs

Sat, 04 May 2013 18:22:00 +0200

Dans la quête de couleur, je me suis intéressé aux logs des applications Java. En fait il est très simple de configurer les différents frameworks de logs pour éclairer son quotidien.

Logback
#

L’implémentation ConsoleAppender expose une propriété withJansi qui permet d’activer la coloration des logs. Il suffit ensuite d’utiliser un des pattern disponibles dans PatternLayout (celui configuré par défaut) pour customiser ses logs :

%red, %boldRed, etc
%highlight

Ces mots clefs sont censés encapsuler d’autres expressions. La couleur sera appliquée sur l’expression contenue entre parenthèses.

[%thread] %highlight(%-5level) %cyan(%logger{15}) - %msg %n

%highlight est une conversion qui permet de séparer les différents niveaux de logs. Une erreur sera affichée en rouge et en gras, un warn en rouge et un info en bleu.

<configuration>
 <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
 <withJansi>true</withJansi>
 <encoder>
 <pattern>%d{HH:mm:ss.SSS} [%thread] %highlight(%-5level) %logger{36} - %msg%n</pattern>
 </encoder>
 </appender>

 <root level="trace">
 <appender-ref ref="STDOUT" />
 </root>
</configuration>

Sous Windows il est nécessaire d’ajouter la librairie Jansi à l’exécution de l’application.

<dependency>
 <groupId>org.fusesource.jansi</groupId>
 <artifactId>jansi</artifactId>
 <version>1.10</version>
 <scope>runtime</scope>
</dependency>

Documentation officielle : http://logback.qos.ch/manual/layouts.html#coloring

Log4j 2.0
#

Dans la nouvelle version de Log4j, le pattern %highlight est également disponible dans l’implémentation PatternLayout. Les couleurs par défaut sont différentes de celles de Logback mais il est possible de les surcharger :

%highlight{%d [%t] %-5level: %msg%n%throwable}{FATAL=white, ERROR=red, WARN=blue, INFO=black, DEBUG=green, TRACE=blue}

voir même d’utiliser les mêmes codes couleurs que Logback :

%highlight{%d [%t] %-5level: %msg%n%throwable}{STYLE=Logback}

Le deuxième pattern disponible est %style{pattern}{ANSI style}. Il permet de choisir une couleur pour une portion de texte. La liste complète des couleurs est disponible dans la documentation de Log4j 2.

<?xml version="1.0" encoding="UTF-8"?>
<configuration status="OFF">
 <appenders>
 <Console name="Console" target="SYSTEM_OUT">
 <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %highlight{%-5level} %logger{36} - %msg%n"/>
 </Console>
 </appenders>
 <loggers>
 <root level="trace">
 <appender-ref ref="Console"/>
 </root>
 </loggers>
</configuration>

Sous Windows il est nécessaire d’ajouter la librairie Jansi à l’exécution de l’application.

<dependency>
 <groupId>org.fusesource.jansi</groupId>
 <artifactId>jansi</artifactId>
 <version>1.10</version>
 <scope>runtime</scope>
</dependency>

Log4j
#

Pas de solution officielle disponible pour le bon vieux Log4j… J’ai écrit un Appender et un Layout (logj4-color) qui permettent d’utiliser le pattern #highlight pour coloriser les logs. Les couleurs utilisées sont :

FATAL, rouge
ERROR, rouge
WARN, jaune
INFO, gras

L’appender AnsiConsoleAppender doit être utilisé sous Windows. Sinon le ConsoleAppender suffit.

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">

<log4j:configuration xmlns:log4j="http://jakarta.apache.org/log4j/">
 <appender name="console" class="com.github.jcgay.log4j.color.appender.AnsiConsoleAppender">
 <param name="Target" value="System.out"/>
 <layout class="com.github.jcgay.log4j.color.layout.ColorEnhancedPatternLayout">
 <param name="ConversionPattern" value="#highlight(%-5p) %c{1} - %m%n"/>
 </layout>
 </appender>

 <root>
 <priority value ="trace" />
 <appender-ref ref="console" />
 </root>

</log4j:configuration>

Il suffit d’ajouter la librairie log4j-color à l’exécution de l’application.

<project>
 ...
 <repositories>
 <repository>
 <id>jcgay-releases</id>
 <url>https://repository-jcgay.forge.cloudbees.com/release/</url>
 </repository>
 </repositories>
 ...
 <dependencies>
 <dependency>
 <groupId>com.github.jcgay.log4j</groupId>
 <artifactId>log4j-color</artifactId>
 <version>0.1</version>
 <scope>runtime</scope>
 </dependency>
 </dependencies>
 ...
</project>

Plugins pour les IDE
#

Pour profiter de toutes ces couleurs dans son IDE préféré, il faudra utiliser des plugins pour améliorer les consoles disponibles : IntelliJ Idea : Grep Console Eclipse : Ansi Console

Maven: complétion, couleurs et notifications de bureau

Sun, 14 Apr 2013 14:02:00 +0200

Maven, out of the box n’est pas l’outil le plus sexy du monde… Utilisé dans un IDE, il saura se faire oublié mais il mérite mieux lors de son usage en ligne de commande.

Complétion
#

Il existe des scripts de complétion automatique des commandes Maven.

Les utilisateurs de bash pourront compter sur :

maven-bash-completion, une représentation statique de plugins/goals/options. Celà fonctionne très bien, malheureusement il faut que chaque plugin soit décrit pour pouvoir être reconnu.
Un second script maintenu dans le paquet ubuntu de maven. Il fonctionne sur la même base que le précédent.

Si vous utilisez zsh, deux solutions sont disponibles :

le plugin mvn au sein du framework oh-my-zsh s’occupe de la complétion. En cadeau on a également tout une collection d’alias très pratique.
dans zsh-completions, un script permet de découvrir les goals de manière automatique à la première utilisation d’un plugin (mvn plugin:<TAB>). La première exécution est un peu plus longue mais après la complétion est instantanée (Merci à Thomas Queste qui en a parlé dans les commentaires).

Notifications de bureau
#

Avoir un build rapide c’est bien… seulement il arrive que ce ne soit pas du tout le cas. Rester devant sa console pour un build qui dure plusieurs minutes n’a pas vraiment d’intérêt… Pouvoir être notifié du résultat à la fin de son build devient alors indispensable.

maven-notifier
#

J’ai développé une extension Maven qui permet d’envoyer une notification à la fin d’un build : maven-notifier. Il fonctionne avec tous les systèmes d’exploitation.
Par défaut, l’extension tentera de trouver un notifier disponible sur la machine depuis cette liste d’outils.
Il est possible de configurer le système de notification utilisé et bien d’autres choses (format des messages, etc) en créant un fichier maven-notifier.properties.

Notifier	Capture d’écran
Growl, disponible pour Windows et OS X.	maven-notifier-growl
Snarl, disponible pour Windows	maven-notifier-snarl
terminal-notifier, OS X
notification center OS X (depuis Mavericks)
notify-send pour Linux
SystemTray depuis Java 6
Pushbullet	maven-notifier-pushbullet
Kdialog utilisable avec KDE	maven-notifier-kdialog
notifu disponible pour Windows	maven-notifier-notifu
AnyBar pour OS X et Linux	maven-notifier-anybar
Toaster pour Windows 8
Notify since Java 6
BurntToast for Windows 10
Slack

Les scripts
#

On peut aussi se contenter de wrapper la commande mvn pour récupérer son statut et envoyer une notification.

Growl via growlnotify : Intégration de Growl avec Maven, maven-growl
notification center via terminal-notifier : maven-notification-center
notify-send : Intégration de notify-send avec Maven.

Couleurs
#

La sortie console de Maven est toute terne. Il n’est pas toujours facile d’y retrouver les messages d’erreurs et c’est encore pire pour les messages d’avertissement…

maven-color
#

maven-color ajoute de la couleur dans les logs de Maven.

Les dernières versions de Maven (depuis la version 3.1.x) utilisent SLF4J en interne, cela veut dire que l’on peut choisir l’implémentation de log que l’on veut !
Cet article très complet explique comment avoir une console en couleur avec Log4j 2 ou Logback. C’est la technique utilisée par maven-color

Pour les versions plus anciennes (entre la 3.0.x et la 3.1.0), j’ai utilisé Jansi et remplacé les loggers utilisés en interne par Maven avec un agent. Cela fonctionne avec les goals interactifs, par contre c’est beaucoup moins facile à mettre en place et bien moins résistant aux changements d’implémentation au sein de Maven et du plugin Surefire… maven-color.

Les scripts
#

On peut ajouter un peu de couleur pour y voir plus clair :

Ces scripts sont très biens et faciles à mettre en place, malheureusement ils ne fonctionnent pas avec les goals interactifs. N’espérez pas utiliser maven-release-plugin ou maven-archetype-plugin en mode interactif, les messages de demande de saisis n’apparaitront pas.

Tout en un (pour OS X)
#

Comme c’était dommage de réinstaller toutes ces extensions à la main pour chaque version de Maven, j’ai créé une formule pour brew.

brew tap jcgay/jcgay
brew install maven-deluxe

Celà installera la dernière version de Maven, maven-notifier, maven-color et maven-profiler.

Conclusion
#

Xzibit

Thanks Xzibit for pimping my Maven !

Logback on Jean-Christophe Gay

Contextualiser ses événements Sentry

Installation #

Configuration #

Identification #

Version de l’application #

Le MDC #

Conclusion #

De la couleur dans les logs

Logback #

Log4j 2.0 #

Log4j #

Plugins pour les IDE #

Maven: complétion, couleurs et notifications de bureau

Complétion #

Notifications de bureau #

maven-notifier #

Les scripts #

Couleurs #

maven-color #

Les scripts #

Tout en un (pour OS X) #

Conclusion #

Installation
#

Configuration
#

Identification
#

Version de l’application
#

Le MDC
#

Conclusion
#

Logback
#

Log4j 2.0
#

Log4j
#

Plugins pour les IDE
#

Complétion
#

Notifications de bureau
#

maven-notifier
#

Les scripts
#

Couleurs
#

maven-color
#

Les scripts
#

Tout en un (pour OS X)
#

Conclusion
#