Bonjour,

Aujourd’hui je viens de publier en open-source (licence GPLv3) un petit service de partage de gros fichiers par email. La problèmatique était la suivante, comment partager par mail et de façon sécurisée des gros fichiers sachant que la plupart des fournisseurs (gmail, hotmail, etc) limitent la taille des pièces jointes. Le but était aussi de s’affranchir d’un éditeur de service qui possèderait les fichiers partagés. Avec un collègue de travail nous avons donc commencer ce projet.

Développé sur une base Symfony 2. Avec le minimum de bundles nécessaires. Le but était de rendre le service le plus léger possible et l’interface la plus simple. Le code source est disponible sur github. Une version commerciale viendra dans un second temps.

Bon fork!

Bonjour à tous!

Aujourd’hui j’ai voulu tester capifony. C’est un petit programme basé sur capistrano qui permet de déployer facilement un projet symfony 1.4 ou 2 sur un serveur de production. Ce programme permet de gérer les releases de votre projet, de faire des rollback, de revenir sur unr version anciennement déployée, etc. Il est écrit en ruby par un développeur de l’agence web KnpLabs.

Tout d’abord il faut installer la gem ruby :

gem install ruby

Ensuite il faut se rendre dans le répertoire de son projet pour initialiser capifony.

export PATH=$PATH:~/.gem/ruby/version/bin
cd /path/of/project
capifony .

Cette commande va créer un fichier Capfile à la racine de votre projet et un fichier deploy.rb dans le dossier app/config/, ou dans le dossier config/ pour un projet symfony 1.4.

Ensuite il faut configurer le fichier deploy.rb afin de spécifier tous les paramètres nécessaires au déploiement.

set :application, "" # nom de l'application
set :domain, "" # adresse du serveur de production
set :deploy_to, "" # répertoire ou déployer
set :app_path, "app"
 
set :repository, "" # adresse du scm
set :scm, :git
# Or: `accurev`, `bzr`, `cvs`, `darcs`, `subversion`, `mercurial`, `perforce`, `subversion` or `none`
set :deploy_via, :copy
 
set :model_manager, "doctrine"
# Or: `propel`
 
role :web, domain # Your HTTP server, Apache/etc
role :app, domain # This may be the same as your `Web` server
role :db, domain, :primary => true # This is where Rails migrations will run
 
set :use_sudo, false
set :use_composer, false
set :keep_releases, 3

Il est possible de définit une option en plus si l’utilisateur sur le serveur de production est différent de celui de la machine locale :

set :user, "" # utilisateur distant

Pour un projet Symfony 2 il peut être utile d’ajouter ces options la, pour partager le dossier vendors/ et logs/  entre toutes les releases et le fichier parameters.ini.

set :shared_files,      ["app/config/parameters.ini"]
set :shared_children,     [app_path + "/logs", web_path + "/uploads", "vendor"]
set :update_vendors, true

Si votre projet utilise Composer comme gestionnaire de dépendances il faut aussi rajouter cette option :

set :use_composer, true

Une fois ce fichier modifié, il faut initialiser la structure des dossiers sur le serveur de production en tapant cette commande :

cap deploy:setup

Il faut maintenant configurer sur le serveur de production le fichier parameters.ini :

ssh production_server
cd /path/to/project/shared
mkdir -p app/config
vim app/config/parameters.ini

Et une fois toutes ces étapes finies avec succès, il suffit juste de lancer la commande :

cap deploy

Cette commande va créer un nouveau dossier dans /path/to/project/releases et faire pointer le dossier current/ vers cette dernière release. Ensuite installer les vendors si c’est un projet Symfony 2, publier les assets, vider le cache et lancer tous les hooks lié au scm.

Une fois les projet déployé, il suffit juste de faire pointer son domaine vers le dossier current/ du projet.
Pour les autres commandes disponibles je vous laisse vous référer à la page de capifony.

Bon déploiement !

Petit article sur moi aujourd’hui. En ce moment ça ne va pas très fort même si je peux compter sur ma copine et ma famille. J’ai pas mal de soucis en tête dont mon ex colocation qui n’est pas encore terminée. Je suis dans le dernier mois de préavis mais j’en prend plein la gueule. Je ne suis pas tout blanc dans cette histoire et ce n’est pas l’endroit pour étaler tous les détails. Mais parfois il serait bon pour certaines personnes de grandir… On est plus en maternelle ni au pays des bisounours. Chaque acte, chaque mot qu’on dit a des conséquences. Et bien souvent on en a pas conscience…

On essaye de soutenir ses amis quand ça ne va pas, d’être gentil avec les autres mais au final tout ce qu’on récolte c’est d’être pris pour la bonne poire. En ce moment j’ai vraiment l’impression d’être le bouc émissaire pour une tripotée de personnes et franchement ça me casse les couilles. Je sais que ça fait clicher d’étaler sa vie et ses problèmes sur Internet mais des fois ça fait du bien. Ça permet de relâcher la pression.

Mais le pire dans tout ça c’est quand même d’avoir soutenu quelqu’un pendant 3 ans, avoir été là dans le moments difficiles, essayer de comprendre à chaque fois ce qui n’allait pas pour qu’au final, maintenant que je suis bien avec ma copine, en recherche d’appartement, cette personne essaye de me garder seulement pour elle. J’ai été vraiment déçu. Et quand t’essaye de mettre au clair la situation la personne part en faisant sa victime et oublie que pendant ces trois dernières années tu étais là c’est un coup dur.

Enfin ce que j’en conclue c’est qu’il faut bien choisir ses amis, ses relations et de ne pas accorder sa confiance facilement. C’est dur mais c’est la vie.

Sur ce j’en ai fini d’épiloguer sur ma vie. Life’s going on

Salut à tous! Ajourd’hui on va parler webperf et notamment temps de chargement des pages. Quand on développe en javascript on utilise souvent jQuery comme framework qui assure la compatibilité de son application sur presque tous les navigateurs. Qui simplifie certains fonctionnement, etc. Et souvent quand on utilise ce framework on ne prend pas la peine de redévelopper l’existant, on va chercher un plugin. Et forcément au final on se retrouve avec l’inclusion de 15 javascripts par page ce qui ralenti considérablement le temps de chargement. Je fais la passe sur la configuration du serveur web, on va considéré que de ce côté là la durée d’expiration est précisée, la compression activée, etc. Reste que même si la requête est faite sur le cache du navigateur, ça fait quand même une requête.

Deuxième point, la plupart du temps les plugins fournis ne sont pas minifiés, c’est à dire que le code est lisible et compréhensible. Une minification simple consiste a raccourcir les noms de variable et supprimer les espaces blancs et sauts de ligne. De ce fait on peu avoir un gain non négligeable sur la taille du javascript.

Le problème qui se pose c’est le passage en production du site. Quelles sont les posibilités  avec symfony 1.4 pour minifier et compresser les javascripts de façon automatique ? Le plus simple serait de passer par un service ou un programme et de minifier à la main chaque javascript avant de déployer. Pour peu que les mises en production soient régulières, ce processus devient vite barbant. Le fait est aussi qu’il y aura toujours autant de requêtes de faites pour récupérer les javascripts au chargement de la page. Et le plus long n’est pas le téléchargement de la ressource mais l’attente de la réponse du serveur. Je me suis donc sit qu’il fallait minifier et commpresser tous les javascripts dans un seul fichier. Le problème c’est que pour un gros site, suivant les pages, il n’y aura pas les mêmes javascripts d’appelés. Et donc comment faire pour parcourir toutes les pages différentes du site de façon automatique ? Le plus simple c’est de laisser cette tâche à l’utilisateur. Comprenez au premier affichage d’une page on va lancer une tâche de minification des javascripts et mettre un fallback avec les javascripts non minifiés pour que le site fonctionne toujours correctement. Une fois cette tâche terminée le prochain affichage de cette même page va appeler l’unique javascript minifié.

La se pose plusieurs problèmes. Comment savoir qu’une page ne contient pas les mêmes javascripts qu’une autre ? On va calculer un hash MD5 de tous les javascripts de la page qui est demandée, lancer le processus et stocker le résultat avec comme nom de fichier le hash calculé précédemment.

Deuxième problème, comment savoir qu’il n’y a pas déjà une tâche de lancée ? Il y a plusieurs possibilités, mais après avoir essayé flock() ou d’autres technique plutôt propres, je n’ai pas eu d’autres choix que de faire mon propre système de lock. C’est à dire, au lancement de la tâche, je vérifie que le fichier de lock avec le hash n’existe pas, s’il n’est pas présent je le crée et je commence la tâche de minification. Sinon le processus se termine. Avec cette technique on est sûr qu’un seul processus va essayer d’ouvrir le fichier pour y stocker le résultat de la minification. Si le site a pas mal de visite, la génération de tous les javascripts devrait se faire assez vite pour les différentes pages.

Le dernier point à aborder, c’est la mise a jour de ces javascripts minifiés. Si on modifie un javascript, au prochain déploiement vu que les javascripts minifiés existent déjà, il ne sera pas pris en compte. Il suppit juste de passer une petite tâche des javascripts minifiés à chaque déploiement et c’est réglé.

Pour le code, voici les différents fichier :
Tout d’abord le AssetHelper.php

function get_javascripts()
{
  $response = sfContext::getInstance()->getResponse();
  $host = sfContext::getInstance()->getRequest()->getHost();
  sfConfig::set('symfony.asset.javascripts_included', true);
 
  $params = '';
  $absolute = array();
  $html = '';
  $fallback = '';
  foreach ($response->getJavascripts() as $file => $options)
  {
    $absolute[] = javascript_path($file, false);
    $params .= '&code_url=http://'.$host.javascript_path($file, false);
    $fallback .= javascript_include_tag($file, $options);
  }
  sort($absolute);
  $absolute = http_build_query($absolute);
  $md5 = md5($absolute);
  $path = '/uploads/min.'.$md5.'.js';
  $generate = file_exists(getcwd().$path) ? false : true;
 
  if ($generate) {
    $param_array = array(
      'output_format' => 'json',
      'compilation_level' => 'SIMPLE_OPTIMIZATIONS',
      'output_info' => 'compiled_code'
    );
    $params = http_build_query($param_array).$params;
    $exec = '/usr/bin/php -f '.getcwd().'/../lib/genMinifiedJs.php "'.$params.'" "'.getcwd().$path.'" 2&> /dev/null &';
    popen($exec, 'r');
    $html = $fallback;
  }
  else {
    $html = javascript_include_tag($path, $options).$html;
  }
 
  return $html;
}

Ensuite la tâche de minification genMinifiedJs.php à placer à la racine du répertoire lib du projet symfony

#!/usr/bin/env php
<?php
 
if ($argc) {
  $params = $argv[1];
  $path = $argv[2];
 
  if (!file_exists($path.'.lock')) {
    touch($path.'.lock'); //Création d'un fichier de lock pour empecher toute autre instance de travailler en meme temps
 
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, 'http://closure-compiler.appspot.com/compile');
    curl_setopt($ch, CURLOPT_HEADER, false);
    curl_setopt($ch, CURLOPT_POST, true);
    curl_setopt($ch, CURLOPT_POSTFIELDS, $params);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    $retour = curl_exec($ch);
    curl_close($ch);
 
    $retour = json_decode($retour, true);
 
    if (array_key_exists('compiledCode', $retour) && !empty($retour['compiledCode'])) { //Vérification du retour de google closure compiler
      $fp = fopen($path, 'a');
      fwrite($fp, $retour['compiledCode']);
      fclose($fp);
    }
    else {
      unlink($path.'.lock'); //Suppression du fichier de lock en cas d'échec de compilation pour autoriser une nouvelle génération
    }
  }
  else {
    die; //Une instance existe déja, on quitte le navire
  }
}

Et voilà, maintenant, à chaque page un seule javascript sera chargé et une fois qu’il sera mis en cache par le navigateur, le temps de chargement du site sera bien réduit.

Dernier point technique, j’ai utilisé l’API REST Google Closure Compiler pour minifier mes javascripts. Je vous laisse voir la documentation pour modifier les paramètres a envoyer. Il y a aussi la possibilité de télécharger le compiler en java et d’utiliser celui-ci pour la génération, mais pour des questions techniques et pour alléger le serveur je préfère faire une requête externe plutôt que de charger du java…

Faites en bon usage !!

Certes il est un peu tard pour faire un compte-rendu du startup week-end de lyon du 7-8-9 octobre 2011, mais je tiens quand même à partager certains points de ce week-end qui fût très intéressant et très enrichissant.

Tout d’abord l’événement comment le vendredi soir à partir de 19h pour un petit pitch des organisateurs sur le déroulement du week-end et des retours de personnes ayant participé à la précédente édition. Petit point sympa durant ce pitch, sur la projection du vidéo on voyait défilé les derniers tweets postés comportant le hashtag #swlyon avec des effets de transition plutôt sympa. Deuxième étape du soir, le pitch par projet. Le but est symple, chaque personne qui a une idée passe sur scène et la présente en une minute top chrono en essayant d’intéresser le plus de monde possible pour qu’elle soit retenue par les organisateurs et pouvoir trouver des partenaires pour travailler sur le projet.

Nous étions environ 36 à pitcher, pour 13 projets à retenir au maximum. C’est la que commence la troisième étape. Munis de 3 « billets » nous permettant « d’investir » dans les idées qui nous ont plus durant les pitchs, il faut alors savoir attiré les investisseurs pour que son projet soit retenu et la c’est litéralement la guerre. Toutes les techniques sont bonnes pour récolter le plus de billets possible. Si on a déjà une équipe c’est assez facile, les membres de l’équipe investissent sur la personne qui a pitcher et les chances d’être sélectionné sont déjà plus élevées.

Cette bataille a duré a peu près une demi heure. Après ça, chaque personne qui a pitché ramène dans une enveloppe le total de billet qu’elle a récolté et les organisateurs procèdent ensuite a un vote en interne. Après l’annonce des 13 projets retenus, c’est l’heure de former les équipes. Soit durant la phase de sélection on a trouvé une idée intéressante, soit on continue de chercher et de se renseigner sur les projets qui ont été retenus.

Une fois les équipes formées on peut commencer à travailler sur le projet, sachant qu’à la fin du week-end, il faut présenter son projet devant des investisseurs et des professionnels. Mon idée de départ n’ayant pas été sélectionnée, j’ai rejoint le projet Citizens. L’idée de base c’est les sites institutionnels des villes sont moches, n’ont aucune ergonimie et souvent il manque des informations. Et donc la volonté c’est de fournir un portail standardisé pour les villes leur permettant de mettre en ligne du contenu facilement par rubriques tout en agrégeant différents flux comme twitter, yelp ou foursquare basé sur la géolocalisation.

Dans l’équipe qui s’est formée nous sommes étions donc 2 développeurs, 2 étudiants en marketing et un étudiant en dernière année de master en management, initiateur du projet. Commence donc le travail autour du projet, essayer de mettre à plat les idées, trouver un business model, etc. La soirée du vendredi se termine à 22h, direction la maison pour une courte nuit de repos avant re rattaquer le samedi matin à 8h.

Donc debout 6h tapante pour prendre le bus, arrivé trop tôt à Perrache, vient de temps de faire quelques provisions pour le week-end. Même si les repas sont compris dans l’inscription, le café, et autres besoins pour 48 sans dormir sont à la charge des participants. Donc j’arrive à Charpennes et là, pas moyen de trouver une épicerie ouverte à 6h30 du matin… Enfin après 10 minutes à tourner en rond je tombe sur un Casino ouvert. Miracle Donc 2kg de café et de quoi grignoter, direction l’INSA pour reprendre le projet. Je ne vais pas décrire le déroulement du week-end à partir d’ici mais plutôt les annecdotes vécues.

Point intéressant, plusieurs entrepreneurs sont là pour faire le tour des projets et répondre aux différentes questions et problèmatiques des participants. C’est vraiment sympa car quand tu viens de passer 2h sur une problèmatique en ne trouvant aucune solution, un point de vue extérieur avec de l’expérience dans la création d’entreprise fait gagner beaucoup de temps. Mais ça pose un autre problème, quand plusieurs entrepreneurs viennent répondre à la même problématique successivement, on récolte plusieurs points de vue différents dont certains contradictoires. Enfin c’est le risque mais au moins ça donne matière à réfléchir.

La journée se déroule en musique, les organisateurs ont créé une playlist spotify ouverte ou chaque participant peut y ajouter ses morceaux. Ca motive et ça permet de resté éveillé. Arrive 20h, ça fait maintenant 12h qu’on planche sur le projet et que les cerveaux fument de tous les côtés, il est temps de faire une petite pause. Direction le bar pour relâcher la pression et penser à autre chose une heure ou 2. Retour vers minuit à l’INSA pour reprendre le projet et commencer la partie intéressante, le développement ! Quelques heures pour mettre en place un mini portail fonctionnel pour la ville de Lyon, greffer différents flux de données, mettre en place l’édition de contenu, …

Durant ce week-end se livrait une petite bataille sur twitter avec l’édition de Nantes la semaine passée. A savoir le nombre de tweets comportant le hashtag #swlyon ou #swna Merci à Camille Roux pour son comparateur HashtagBattle. Tout au long des deux jours le score de Lyon n’a pas beaucoup augmenté, par contre le soir des présentations, étant donné qu’il y avait un mur des tweets, le score s’est envolé.

La nuit fût longue, malgré le café, j’ai quand même dormi 2h sur des chaises entre 4 et 6h du matin. Le dimanche fût assez dur étant donné que le projet n’avait pas beaucoup avancé mais qu’il fallait quand même montré qualque chose. On a donc décidé de se focaliser sur le concept plutôt que d’essayer de faire une démo fonctionnelle. En bossant un maximum la présentation, en fournissant différents slides de l’interface du site et un business model qui tient la route.

Arrive 18h, l’heure de rendre les présentations, de faire les essais sur le projecteur et de manger un bout avant de présenter. Durant les présentation on peut voir les commentaires en direct sur le mur de tweet et ça clash sévère sur la moindre petite erreur. A commencer par Julie, la mascotte de la première équipe qui a présenté son projet. Qui a été reprise par les projets suivants, mais en la torturant et en faisant des jeux de mots plus ou moins douteux à son sujet. Enfin après 54 heures sans dormir ou presuqe, c’est compréhensible. Donc chaque équipe dispose de 20 minutes pour présenter et ensuite 10 minutes de questions. A la fin des présentations, tout le monde est bien fatigué et à envie de rentrer chez lui, mais il reste la délibération du jury pour choisir les 3 meilleurs projets. Jury composé de business angels, d’investisseurs, d’entrepreneurs et d’organisateurs de l’événement. Il est presque 21h quand les résultats sont annoncés. Le meilleur projet repartait avec de l’argent pour des formations, un article pour le lancement de son projet dans 2 magazines du groupe Lagardère et des livres sur l’entreprenariat.

Quoiqu’il en soit, tous les participants repartaient avec une Poke the Box de Seth Godin et un passe pour le salon Innorobo, salon sur la robotique qui se déroulera prochainement sur Lyon.

Bref ce week end fût intense, beaucoup de rencontres, beaucoup de données à engrange. Le monde de l’entreprenariat est vraiment génial, et le simple fait de partir d’une idée pour en arrivé à une startup en 54 heures est génial. Il m’aura fallu a peu près une semaine pour revenir à un rythme de vie a peu près normal, mais toujours des projets en tête que je compte mener à bien maintenant que je vais avoir un peu plus de temps pour moi.

Sur ce, bonne après midi