Base orientés colonnes avec ColumnStore de Maria

Base orientés colonnes avec ColumnStore de Maria

Depuis maintenant 5 mois nous étudions ColumnStore de mariaDb. Base orientée colonnes qui offre d’excellente performance pour traiter un volume de données important pour des opérations de Business Intelligence tout en restant une base relationnel utilisant le SQL.

Après une études des bases NoSQL elles se sont avérées inefficace pour des traitements de BI.

Notre études c’est basée sur 10 tables, représentant plus de 150 colonnes pour un volume de données de 5 millions à 30 millions de lignes par tables. Les opérations ont été des comptage (count, sum) associé à des jointures, avec Group By, Having et Where.

Les temps de réponses on toujours été inférieur à 15 secondes sur un serveur moyen (12 CPU)

Mise en production prévue en décembre 2016.

Angular fait son entrée chez 1G6 !

Grâce à un nouveau contrat décroché au Canada 1G6 acquiert deux nouvelles compétences :

  • AngularJS pour le développement de nos interfaces
  • ExpressJS, un framework côté serveur utilisant Javascript.

Nouvelle vente de beko

Un 5ème beko à été livré pour la plate-forme mobilité du bassin dijonnais. Si vous avez une association dont le métier est de mettre en relation des outils, des financeurs et des bénéficiaires, l’application beko est peut être faite pour vous.

N’hésitez pas à nous contacter.

Nouvelles ventes de notre application BekoApps

L’application BekoApps a fait des petits envieux.

Jusque 2013, il n’y avait qu’une seule association qui utilisée l’application BekoApps. Depuis deux autres associations nous ont rejoint.

Courant 2015, elles seront 3 autres à s’ajouter à cette aventure.

Proxmox, la virtualisation facile

Proxmox est une distribution Linux qui gagne à être reconnue. Créée en 2008 par la société Proxmox Server Solutions GmbH, la dernière version 2.2 est sortie le 24 octobre 2012. Cette distribution orientée serveur est basée sur Debian Squeeze avec un noyau personnalisé pour inclure le support OpenVZ (noyau repris de RedHat).

Elle peut être installée en mode « standalone » sur un serveur unique ou en mode cluster sur plusieurs nœuds. Cette dernière solution offrant des possibilités intéressantes telle que la migration de machines virtuelles à froid ou à chaud (!). La distribution Proxmox intègre deux technologies de virtualisation que sont KVM et OpenVz, les deux solutions sont parfaitement intégrées aux interfaces web et ligne de commande.

Pour rappel, la solution KVM est une solution de virtualisation complète, (hardware compris), permettant de virtualiser d’autres OS, tels que Solaris, ou Windows par exemple. Tandis qu’OpenVZ ne permet de virtualiser que des systèmes Linux, c’est une solution de gestion de conteneurs (comme les jails de BSD, zones de Solaris, et LXC de Linux). Cette technologie souvent utilisée lorsque l’on parle de Serveur Privé Virtuel (VPS), a l’avantage d’être plus rapide et moins gourmande en ressources systèmes.

Il n’y a qu’une seule version libre et gratuite de la distribution, la société Proxmox Server Solutions proposant du support payant à ceux qui en auraient besoin.

Les fonctionnalités sont impressionnantes :

  • une interface en ligne de commande et web (disponible en francais) permettant de gérer les machines virtuelles tant au format kvm que des conteneurs openvz
  • une belle intégration de la couche cluster de linux, permettant de reproduire les fonctionnalités comme HA (High Availability à la vmware), et la migration à chaud
  • la prise en charge simplifiée des sauvegardes et des restaurations
  • les snapshots de machine virtuelle (disque & ram)
  • l’intégration de l’authentification avec un annuaire ldap
  • le support de stockages partagés (nfs, iscsi, SAN, drbd)
  • le support du bonding en natif
  • la gestion de l’ordre de démarrage des VM
  • activation de KSM, (déduplication des pages mémoires KVM, démon ksmd)
  • Gestion du déport de console graphique en vnc/applet java sur https intégré de base dans l’interface web

Ce qui m’a plu

On peut passer aisément de l’interface web aux commandes cli spécifiques proxmox (pve*), tout en modifiant les fichiers de configuration standards (/etc/network/interface, cluster.conf, …) qui sont rechargés et réanalysés automatiquement. (ce qui est assez rare pour être signalé !)

Il est clair que Proxmox s’est fortement inspiré de l’interface web de l’acteur principal du marché, pour les néophytes l’adaptation est rapide.

La possibilité d’installer Proxmox depuis un iso amorçable ou de migrer depuis une Debian déjà installée (procédure).

Les risques à terme

La virtualisation par conteneur openvz, est-elle pérenne ?

  • Proxmox évoluera-t-elle vers LXC ? Sous quelle forme se passera la migration ?
  • OpenVz fonctionne bien sur ext3 et ext4, les autres systèmes de fichiers ne sont pas conseillés pour l’instant.
  • Il n’y a pas de noyau ultérieur au 2.6.32 supportant openvz.
  • Le mélange de la distribution Debian et d’un noyau RedHat peut sembler « original ».

Merci aux contributeurs et relecteurs de la dépêche : Sébastien Stoetzer, Marc Quinton, NeoX

mount -o loop d’un iso sous windows

Pour les habitués du montage d’un iso sous linux avec mount -o loop, effectué la même manipulation sous windows est souvent synonyme de : « Mais quel outil simple et minimaliste peux me permettre d’effectuer le montage d’un iso » :

 

Et bien la réponse est un gratuiciel et sans spyware intégré (daemon tools) :http://wincdemu.sysprogs.org/

rsync sous windows

La commande « équivalente à rsync » sous windows est robocopy, exemple

robocopy \\sbs2003\g$ . /mir

htaccess et ldap

Pour sécuriser un répertoire web par un login et mot de passe, la solution très connue d’authentification apache est d’utiliser avec un .htpasswd. C’est simple et efficace.

Mais quand il y a,comme chez certain de nos clients, plusieurs dizaines de serveur et que ldap est déjà en place au niveau de ssh, il est bien plus pratique de connecter l’authentification apache au ldap.

Il suffit pour cela de modifier la configuration de la manière suivante :

AuthBasicProvider ldap
 AuthType               basic
 AuthName               "Authentification Apache"
 AuthLDAPURL            ldaps://ldap.domaine.fr/dc=1g6,dc=fr?uid?sub?(ObjectClass=posixAccount)
 AuthLDAPGroupAttribute member memberUid
 AuthUserFile /dev/null
 AuthLDAPRemoteUserIsDN off
 AuthLDAPGroupAttributeIsDN off
 require   ldap-group cn=phpmyadmin,dc=1g6,dc=fr

Il est possible également d’indiquer un second serveur :

AuthLDAPURL "ldaps://ldap.domaine.fr ldap2.domaine.fr/dc=1g6,dc=fr?uid?sub?(ObjectClass=posixAccount)"

Switch infiniband

Toujours en quête d’apprentissage de nouvelle technologie nous venons d’acquérir un switch infiniband. Cela va nous permettre de relier certain de nos serveur en 10 Gbits.

switch

12