compression

XtraBackup benchmark compression – MySQL

XtraBackup est un des outils de Percona qui permet de sauvegarder ses bases de données MySQL en format binaire, tout en aillant de la persistance grâce aux bin logs. Cela permet d’éviter de faire un read lock des tables durant un mysqldump. Sur une petite base de données, cela ne prend que quelques secondes, mais sur une base de données d’une vingtaine de giga binaire, ça prend une dizaine de minutes, qui n’est pas toujours permis. Si vous ne connaissez pas encore Xtrabackup, je vous invite à lire la documentation officiel.

Le problème de XtraBackup est sa taille du backup… En effet le backup prend autant de place que les données binaires originales. Si les tables ne sont pas optimisées, le backup ne le sera pas non plus. Il existe bien une option pour optimiser les indexes pour en réduire la taille, mais elle ne sert pas à grand chose et multiplie le temps de backup par 5 dans mon cas, passant de 9 minutes à 47 minutes, ce qui est trop long pour moi.

Le gros avantage de Xtrabackup se voit lors de la restauration DRS, elle ne prend que le temps de la copie du backup, un démarrage du service MySQL et rien de plus!

Un exemple de différence de taille sur une base de données (optimisées) de 23Go : Xtrabackup 23Go et le dump 7,1Go. Le nombre de champs indexés y est aussi pour une grande partie. Il faut donc compresser ses XtraBackup, sauf pour ceux qui ont des centaines de tera de disponibles 🙂

logo owncloud

Owncloud – inclure la gestion de documents Writer Word

Gérer les documents en ligne à la Google Doc ou à la Microsoft Office365 est vraiment un plus quand vous devez visionner ou éditer un document sans être sur une machine ayant le document en local.

Owncloud vous permet déjà de récupérer votre document depuis n’importe où dans le monde via un simple navigateur. Vous pouvez ainsi le télécharger, l’éditer en local et le déposer sur votre Owncloud. Mais il faut que la machine que l’on vous prête ait soit Office, soit Libreoffice ou bien OpenOffice… Ce qui n’est pas toujours le cas.

Vous en voulez donc plus… Pouvoir éditer vos documents à la volée sans quitter votre navigateur, depuis n’importe quel machine… Et bien cela est possible pour vos documents texte! L’opération n’est pas bien longue et je vous invite à voir la suite…

logo owncloud

Owncloud – Installer Redis pour remplacer memcached

Memcached a trouvé un remplaçant depuis quelques temps. Si vous comptez utiliser un cache dans vos applications je vous le recommande. C’est plutôt un datastore qu’un cache proprement dit. C’est une base de données en clé-valeur scalable (en gros qui s’adapte à la montée en charge). Pour Owncloud, il est possible de travailler avec les deux.

Je vous propose ici de remplacer votre cache Memcached par le cache Redis pour votre serveur Owncloud. Il est plus performant, afin d’avoir un peu plus de répondant! Il a aussi d’autres points intéressants, je vous laisse lire ce commentaire sur stackoverflow qui parle de Redis.

Si vous n’avez pas Memcached pour votre Serveur Owncloud et que vous partez de rien, cela est également bon pour vous.

logo owncloud

Owncloud – utiliser php7 sous Debian Jessie

PHP 7 était très attendu car l’axe choisi pour cette release est “performance” :

  • Une vitesse d’exécution jusqu’à 2x supérieure
  • Compatibilité 64 bits
  • Utilisation de la mémoire vive réduit de 2/3

Pour toutes ces raisons, autant en faire profiter notre Owncloud 🙂

Vous devez être en Debian 8 Jessie minimum pour suivre ce billet? Vous aurez l’avantage de rester en Debian stable et disposer des améliorations de PHP 7. Si vous êtes sous Debian 9 stretch ou dérivé Ubuntu vous êtes déjà équipé 😀

hard disk

SMART error (CurrentPendingSector) detected on host

Si smartmontool est configuré correctement pour vous envoyer des mails d’alerte, vous risquez (fort heureusement d’une certaine façon…) de recevoir un mail concernant un secteur défectueux sous la forme d’un “CurrentPendingSector”)

This email was generated by the smartd daemon running on:

host name: name
DNS domain: [Unknown]
NIS domain: (none)

The following warning/error was logged by the smartd daemon:

Device: /dev/disk/by-id/ata-WDC_WD20EARX-XXXXXX-XXXXXX [SAT], 1 Currently unreadable (pending) sectors

For details see host’s SYSLOG.

You can also use the smartctl utility for further investigation.
The original email about this issue was sent at Sat Sep 5 01:49:22 2015 CEST
Another email message will be sent in 24 hours if the problem persists.

Il vous faut faire quelques tests pour vérifier que ce n’est pas un faux positif. Si c’est bien un secteur défectueux, soit vous jouerez la sécurité et vous changerez de disque… Soit vous vous dites que un seul secteur défectueux n’est pas bien grave et vous pourrez le ré-allouer 🙂

logo owncloud

Owncloud sécurité de son installation serveur

Il est important de sécuriser son serveur Owncloud et ne pas se cantonner à une authentification simple. Pensez à utiliser HTTPS c’est bien, mais obliger les gens à utiliser HTTPS c’est mieux 🙂

Penser à sécuriser la partie système de son application est également important. Voici quelques points qui me semblent intéressants.

Redirection HTTPS pour Owncloud

La première chose à faire est de sécuriser l’échange des données entre le serveur et le client, ce qui se fait par HTTPS bien évidemment. Mais il faut penser à rediriger les infidèles qui utiliseraient HTTP vers la page en HTTPS. Un moyen simple de le faire est d’éditer le fichier /etc/apache2/site-available/default et d’y mettre ceci :

Préférez également l’utilisation d’un certificat SSL validé par une autorité de certification valide. Par exemple startSSL, qui a été expliqué dans un article précédent.

Sécuriser les droits d’accès

Vous devez changer les droits d’accès unix à vos fichiers Owncloud afin de limiter l’impacte d’un potentiel hack de votre applicatif. Pour cela, voici un script passe partout glané sur le web (je n’ai plus la source). Veillez à utiliser le bon “path” et le bon utilisation Apache. Pour Debian, Ubuntu, etc ce sera “www-data”. Pour CentOS et ses dérivés, ce sera “httpd” :

Vous aurez peut-être un warning sur des fichiers inexistants selon votre système, lisez le pour voir si tous le reste est bon.

Configurer le vhost HTTPS Owncloud

Il faut activer certaines restrictions pour la durée de vie du certificat :

  • Activer le mode headers : a2enmod headers
  • Ajouter une configuration dans le vhost 443 : Header always add Strict-Transport-Security “max-age=15768000” (dans cet exemple 6 mois)<VirtualHost *:443>
    ServerName cloud.owncloud.com
    Header always add Strict-Transport-Security “max-age=15768000”
    </VirtualHost>

Source

 

Le reste viendra par la suite…

Si vous avez des indications utiles n’hésitez pas!

logo owncloud

Owncloud problème de mise à jour vers la version 8.1.3

J’ai décidé qu’il été temps (ou que j’avais le temps…) de mettre à jour mon Owncloud 8.0.2 vers la version 8.1.3 d’Owncloud sous Debian Wheezy. J’utilise Lighttps avec PHP et MySQL pour la base de données. J’ai voulu mettre à jour Owncloud via l’interface web…. Et cela ne s’est pas déroulé comme prévu…

Après l’installation, j’ai eu le joli message disant de faire la mise à jour de la base de données et puis le souci est survenu… L’installation reste bloquée sur ce message :

image du bug owncloud suite à une mise à jour

Je vous évite les détails, mais ce problème peut être réglé rapidement.