Protocole de test

• Une base de données de dump brute de 7Go avec innodb a été utilisée
• Cela tourne sous MySQL 5.7, c’est une veille app comme il en reste beaucoup. Il faudra tester également avec MySQL 8.0.
• VM sous ESXi avec 12 vCPU intel Xeon qui ont 5ans.

Compressions utilisées

La compression de texte se passant mal pour bzip2, je l’ai d’office exclus. J’envisage donc Gzip et XZ. Il y a le monde un seul thread avec :

• Gzip
• XZ

Et multi-thread avec :

• pigz
• pixz

Quand il n’y a plus de gain selon le niveau de compression (pouvant aller de 1 à 9), j’arrête les tests inutiles.

Tableau benchmark compression Mysqldump

Pour Gzip, il n’y a plus de gain de taille après une compression de 7.

Pour XZ, il n’y a plus de gain de taille après un niveau de 5.

Résultats de compression Mysqldump

Le meilleur temps qui ne consomme pas trop de ressources, c’est pigz avec 4 threads et une compression de niveau 3. La compression est très bonne un niveau 7, mais 3% de taille en moins pour 28% de temps en plus, est-ce utile ? Vous savez quoi utilise pour gagner 5,5x l’espace disque en impactant très peu la charge CPU.

Comme vous pouvez le voir, il y a deux options si vous avez besoin d’archiver à long terme beaucoup de données :

• soit vous cherchez la rapidité et avoir un gain important de place par rapport à gzip et vous utiliserez pixz avec un niveau 1 de compression et 2 processus.
• soit vous cherchez une compression importante et vous utiliserez pixz avec un niveau 3 de compression et 5 processus. Un niveau plus haut que 3 ne sert à rien, trop de temps perdu pour un gain minime de compression, comme on peut le voir avec un niveau 5

Si vous avez une architecture master/slave MySQL, je vous conseille de le faire sur votre slave pour éviter les lock tables sur votre master.

J’ai effectué un comparatif également pour les backups compressés d’XtraBackup.

L’article Mysqldump benchmark compression est apparu en premier sur Mon linux.

Bien évidement j’avais prévu le coup et je n’ai rien perdu si ce n’est les logs WordPress de connexion des dernières 24h, ce qui n’a jamais était mon souci. Les logs de mon hébergeur me donne déjà satisfaction.

Voici mon premier dossier consacré à la sauvegarde sécurisée des données de votre site web. Il y a 3 étapes à faire pour avoir un backup sur, simple, complet et surtout entièrement automatisé :

1. Exporter les bases de données MySQL dans la partie privée de son FTP via cron
2. Cloner le contenu de son FTP à distance pour avoir ses backups délocalisées
3. Mettre en place un backup des données FTP en local pour l’historique via rdiff-backup

Par après on pourrait imaginer de mettre ces données dans un backup externalisé de deuxième niveau

L’article [dossier] Sauvegarder les données de son site en 3 étapes – backup est apparu en premier sur Mon linux.

Voici le script de sauvegarde rdiff-backup : backupDataLocalRdiff.sh

Pour les tâches planifiées, je vous conseille ceci :

30 1 * * 7 root [ -x /root/backupDataLocalRdiff.sh ] && /root/backupDataLocalRdiff.sh localhistorybackup
01 6 1 * * root [ -x /root/backupDataLocalRdiff.sh ] && /root/backupDataLocalRdiff.sh localhistoryverify

• Une fois par semaine, on archive les données FTP et les dump MySQL
• Une fois par mois, on reçoit un résumé avec les tailles des sauvegardes rdiff-backup.

Voici le script en question :

#!/bin/bash
# Auteur : Belgotux
# Site : www.monlinux.net
# Adresse : belgotux@monlinux.net
# Version : 1.0.2
# Date : 05/03/2012
# Description : 

#Arguments
# backupDataLocalRdiff localhistorybackup | localhistoryverify

# for crontab 
# 30 1 * * * root [ -x /root/backupDataLocalRdiff.sh ] && /root/backupDataLocalRdiff.sh localhistorybackup
# 01 6 1 * * root [ -x /root/backupDataLocalRdiff.sh ] && /root/backupDataLocalRdiff.sh localhistoryverify

error_report=root
mail_report=root
folderBackup="/data/clone-ftp
/root"								#dossiers à sauvegarder en chemin absolu sans / à la fin
foldersExcluded="/data/perso/test"
logFile=""
formatDate="%Y-%m-%d %H:%M:%S"		#obligatoire
rdiffbackupRemovePeriod="3M" 		# obligatoire période rdiffbackup pour faire un clean des vieilles backups ( si full 1mois et remove 3 mois, on garde en fait 4 mois (car regarde la date du dernier incrémental donc 1 de plus))

#Variables sauvegarde local
dossierDistantLocal="/data/backup"


#Variables définies
if [ "$logFile" == "" ] ; then logFile="/var/log/$(basename $0 .sh).log" ; fi


### Fonctions ###

function rdiffbackupLocal {
	echo -e "Backups incrémentales Rdiff-backup en cours..."
	
	cptResult=0
	flagError=0
	while read i ; do
		echo -e "\n\n\n- dossier en cours : $i"
		#test répertoire vide
		if [ $(ls -a "$i"|wc -l) = 2 ] ; then
			echo "  !Erreur : répertoire $1 vide!"
			flagError=1
			verif=1
		else
			# (rdiffbackup chemin absolut)
			excluded="$foldersExcluded"
			folderDestination=$(basename "$i")	#dossier destination = nom du dossier local
			
			echo -e "$excluded" | rdiff-backup --print-statistics --exclude-filelist-stdin "$i" ${dossierDistantLocal}/"$folderDestination" && \
			rdiff-backup --print-statistics --remove-older-than "$rdiffbackupRemovePeriod" --force ${dossierDistantLocal}/"$folderDestination"
			
			verif=$?
			if [ "$verif" != 0 ] ; then
				echo "  !Erreur synchronisation dossier $i"
				flagError=1
			else
				echo "    Synchronisation terminée du dossier $i"
			fi
		fi
		
		tabResultRdiffbackupLocal[$cptResult]="$verif"
		cptResult=$(($cptResult+1))
	done < <( echo -e "$folderBackup" )
	
	if [ $flagError == 0 ] ; then
		return 0
	else
		return 1
	fi
}


function rdiffbackupVerifyLocal {
	echo -e "Check Rdiff-backup en cours..."
	
	cptResult=0
	flagError=0
	while read i ; do
		echo -e "\n\n\n- dossier en cours : $i"
		folderDestination=$(basename "$i")	#dossier destination = nom du dossier local
		rdiff-backup --print-statistics --test-server --list-increment-sizes ${dossierDistantLocal}/"$folderDestination"
		
		verif=$?
		if [ "$verif" != 0 ] ; then
			echo "  !Erreur check dossier $i"
			flagError=1
		else
			echo "    Check du dossier $i"
		fi
		
		tabResultRdiffbackupLocal[$cptResult]="$verif"
		cptResult=$(($cptResult+1))
	done < <( echo -e "$folderBackup" )
	
	if [ $flagError == 0 ] ; then
		return 0
	else
		return 1
	fi
}



############### Main ###############

case "$1" in

localhistorybackup)
	if [ "$dossierDistantLocal" != "" ] ; then
		rdiffbackupLocal
		returnRdiffbackupLocal=$?
		#gestion erreurs
		if [ $returnRdiffbackupLocal != 0 ] ; then
			mailBody=$(echo -e "\nErreur : RdiffbackupLocal=$returnRdiffbackupLocal")
			cpt=0
			while read i ; do
				if [ "${tabResultRdiffbackupLocal}" = "" ] || [ ${tabResultRdiffbackupLocal[$cpt]} != 0 ] ; then
					mailBody+=$(echo -e "\n  $i : ${tabResultRdiffbackupLocal[$cpt]}")
				fi
				cpt=$(($cpt+1))
			done < <( echo -e "$folderBackup" )
			echo $(date +"$formatDate")" Erreur : RdiffbackupLocal=$returnRdiffbackupLocal" >> $logFile
			echo "$mailBody" | mail -s "$(hostname -f) erreur backup rdiffbackup" $error_report
		fi
		
		if [ $returnRdiffbackupLocal != 0 ] ; then
			exit 1
		else
			echo ""
			echo -e "opération terminée"
			echo ""
			echo -e "Backup rdiffbackup réussie" | mail -s "$(hostname -f) backup rdiffbackup reussie" $mail_report
		fi
	else
		echo -e "\nErreur : Paramètres manquants" | mail -s "$(hostname -f) erreur backup rdiffbackup" $error_report
		exit 1
	fi
	;;
localhistoryverify)
	if [ "$dossierDistantLocal" != "" ] ; then
		rdiffbackupVerifyLocal | mail -s "$(hostname -f) résumé du mois rdiffbackup " $mail_report
	fi
	;;
*)
	echo "Aide :"
	echo "$(basename $0) localhistorybackup | localhistoryverify"
	echo ""
	exit 0
	;;
esac


echo $(date +"$formatDate")" opération terminée" >> $logFile

exit 0

Voilà vous être tranquille maintenant

Vérifiez de temps en temps les mails de retour des backups et surtout essayez de faire une restauration sur un autre serveur pour tester vos backups au moins une fois par an!

L’article Avoir un historique des données FTP en local via rdiff-backup est apparu en premier sur Mon linux.

On va sauvegarder ses bases de données MySQL via un script PHP qui pourra être interprété par la grande majorité des hébergeurs. Vous disposez d’une fonction de tâche planifiée pour effectuer vos backups automatiquement. L’hébergeur propose d’envoyer par mail le retour du script, vous pourrez donc visionner le bon déroulement des backups. Ces dump MySQL seront placés dans la partie privée de votre FTP.

Voici le script PHP à mettre dans la partie privée de votre hébergement : backup_mysql.php

• Pour le point backupdir : c’est le répertoire utilisateur de votre compte chez l’hébergeur. Si vous ne l’avez pas, vous pouvez le savoir avec un ‘pwd’ ou un ‘echo $HOME’ mis dans un script dans une tâche planifiée. Mettez bien cela dans la partie privée du FTP de votre hébergement!
• Pour mettre la tâche planifiée, cela dépend de votre interface d’hébergeur. Mais tout hébergeur avec Cpanel le propose, ainsi qu’OVH. Je vous conseille de faire un backup chaque jour de la base de données de votre site. S’il est fort fréquenté, comme un blog WordPress avec commentaires, alors même plusieurs fois par jour…

Voici le script en question :

<?php

$server='';		// serveur mysql
$login='';		//login mysql
$mdp='';		//mot de passe mysql
$backupdir='/home/a4327242/backup_db';		// pour savoir le répertoire local de votre hébergeur si c'est pas indiqué, faite la commande 'pwd' dans l'interface cron
$logfile='/home/a4327242/backup_db/backup_db.log';
$timezone='Europe/Brussels';	// pour les heures des fichier de logs

//un appel par base de données (souvent une seule pour un hébergeur)
backup_tables($server,$login,$mdp,$backupdir,$timezone,$logfile,'nom_base_de_donnees');


/* backup the db OR just a table */
function backup_tables($host,$user,$pass,$backupdir,$timezone,$log,$name,$tables = '*')
{
	$link = mysql_connect($host,$user,$pass);
	mysql_select_db($name,$link);
	
	//get all of the tables
	if($tables == '*')
	{
		$tables = array();
		$result = mysql_query('SHOW TABLES');
		while($row = mysql_fetch_row($result))
		{
			$tables[] = $row[0];
		}
	}
	else
	{
		$tables = is_array($tables) ? $tables : explode(',',$tables);
	}
	
	//cycle through
	foreach($tables as $table)
	{
		$result = mysql_query('SELECT * FROM '.$table);
		$num_fields = mysql_num_fields($result);
		
		$return.= 'DROP TABLE '.$table.';';
		$row2 = mysql_fetch_row(mysql_query('SHOW CREATE TABLE '.$table));
		$return.= "\n\n".$row2[1].";\n\n";
		
		for ($i = 0; $i < $num_fields; $i++) 
		{
			while($row = mysql_fetch_row($result))
			{
				$return.= 'INSERT INTO '.$table.' VALUES(';
				for($j=0; $j<$num_fields; $j++) 
				{
					$row[$j] = addslashes($row[$j]);
					$row[$j] = ereg_replace("\n","\\n",$row[$j]);
					if (isset($row[$j])) { $return.= '"'.$row[$j].'"' ; } else { $return.= '""'; }
					if ($j<($num_fields-1)) { $return.= ','; }
				}
				$return.= ");\n";
			}
		}
		$return.="\n\n\n";
	}
	
	//save file
	$date = new DateTime();
	$date->setTimeZone(new DateTimeZone($timezone));

	$filename=$backupdir.'/db-'.$name.'-'.$date->format('Y-m-d H:i').'-'.(md5(implode(',',$tables))).'.sql';
	$handle = fopen($filename,'w+');
	fwrite($handle,$return);
	fclose($handle);
	echo "File $filename create successful";
}

?>

Pour la 2e étape, clonez le contenu de votre FTP chez vous comme backup! Vos dump MySQL avec

L’article Exporter les bases de données MySQL dans la partie privée de son FTP via cron est apparu en premier sur Mon linux.

Ce script permet de se connecter en FTP ou SFTP sur son hébergeur et d’y reprendre le nouveau contenu (plus rapide) ou de faire un différentiel de tout le contenu existant et le rapatrier (plus sur mais beaucoup plus long).

Voici le lien vers le script : clone-ftp.sh

Je vous conseille de mettre les tâches cron suivantes pour optimiser le temps et la robustesse de vos backups :

0 10 * * 1-6    root    nice -n 19 /usr/local/sbin/clone-ftp.sh --quick
0 10 * * 7      root    nice -n 19 /usr/local/sbin/clone-ftp.sh

• Le backup est fait pour le nouveau contenu chaque jour (pour les dump mysql de la nuit surtout) pour être rapide
• Le backup complet est fait chaque semaine (mise à jour de plugin ou du CRM par exemple)
• le nice est mis au plus bas dans les priorités noyau

Voici les détails du script :

#!/bin/bash

dossier_local="/data/clone-ftp"

server="ftp.server"							#server name
source_distant=""							#remote directory to backup (let empty for all the ftp root)
credential_file="/data/clone-ftp.secret"	#format user:password
logfile="/var/log/clone-ftp.log"			#logfile
foldersExcluded="backup_ftp
public_html/private/backups
public_html/monlinux.net/files"				#exclude directory or files
quick="no"									#value "on"/"yes" or "off" to only check only new files, not modified (quicker)

#test if local directory exist
if [ ! -d "$dossier_local" ] ; then
	echo "Error : directory $dossier_local don't exist!" >&2
	exit 1
fi

#test if credential file exist
if [ ! -e "$credential_file" ] ; then
	echo "Error : FTP credential file $credential_file don't exist!" >&2
	exit 1
fi

#get args to check about quick mode
if [ $# == 1 ] ; then
	if [ "$1" == "--quick" ] ; then quick="yes"
	  else echo "bad args, use --quick for only check new files" >&2 && exit 1
	fi
fi

credential=$(cat $credential_file)

#get excluded
if [ "$foldersExcluded" != "" ] ; then
	while read exclude ; do
		formatFoldersExcluded="$formatFoldersExcluded --exclude '$exclude'"
	done < <(echo "$foldersExcluded")
fi

#get quick mode : only add new files, don't compare files modified
if [ "$quick" == "yes" ] || [ "$quick" == "on" ] ; then quickValue='--only-missing' ; fi

#lftp -c mirror --continue --delete $quickValue --log="$logfile" "$formatFoldersExcluded" ftp://$credential@$server/$source_distant $dossier_local
lftp -u $credential $server <<EOF
  mirror --continue --delete $quickValue --log=$logfile $formatFoldersExcluded /$source_distant $dossier_local
EOF

exit $?

Pour la suite, il faut aller à la 3e et dernière étape : backup des données FTP en local pour l’historique via rdiff-backup.

L’article Cloner son répertoire FTP pour sauvegarder son site web est apparu en premier sur Mon linux.

Je voulais sauvegarder mes mails avec un seul fichier par mail. Donc sauvegarder le fichier de Thunderberd n’était pas envisageable, et il me faillait quelque chose d’automatique. Je me suis donc servi de mon Banana pi sous Debian Wheezy. Le système le plus simple étant d’utiliser le logiciel Getmail4.

Configuration de Getmail4

J’ai testé avec Gmail et OVH, cela fonctionne sans souci.

Faites quand même attention et lisez le man, Getmail4 sert à la base pour synchroniser ses mails distants et locaux. Donc une fausse manip peut également supprimer vos mails distants.

Getmail4 à l’avantage de tenir à jour un fichier de status pour savoir quels mails sont déjà synchronisés en local. Il va donc chercher les nouveaux de manière incrémentale.

Voici un exemple de fichier de configuration IMAP pour Gmail. Remplacer l’utilisateur local « localuser » par le votre :

        [retriever]
        type = SimpleIMAPSSLRetriever
        server = imap.googlemail.com
        port = 993
        username = test@test.tld
        password =
        mailboxes = ("INBOX",)

        [destination]
        type = Maildir
        path = /stock/backup_mails/mails1/
        user = localuser

        [options]
        read_all = false
        delivered_to = false
        received = false
        verbose = 2
        message_log = /var/log/backup_mails/mail1.log

Créez les répertoires nécessaires et les droits associés :

mkdir -p belgotux-mails/cur belgotux-mails/new belgotux-mails/tmp
chown -R localuser belgotux-mails

Pour lancer différentes configurations en une seule commande :

/usr/bin/getmail -l -r /stock/protected-data/backup_mails/belgotux-getmail.conf -r /stock/protected-data/backup_mails/gaetan110589-getmail.conf -r /stock/protected-data/backup_mails/brogniaux.gaetan-getmail.conf -r /stock/protected-data/backup_mails/ovh-getmail.conf -g /stock/protected-data/backup_mails

Status des mails

Le status des mails déjà synchronisés est mis dans un fichier binaire type « oldmail-imap.googlemail.com-993-xxx-[Gmail].Tous les messages ». Si vous voulez relancer une synchronisation complète, il faut supprimer ce fichier en plus des archives mails de /stock/backup_mails/mails1/

L’article Sauvegarder ses mails gmail ou IMAP en local est apparu en premier sur Mon linux.