Installation du rôle Ansible Automysqlbackup

Pour installer ce rôle de configuration sous Debian ou Ubuntu rien de plus simple :

ansible-galaxy install belgotux.automysqlbackup

Pré-requis

Il est préférable de créer un utilisateur spécifique pour automysqlbackup sur chaque serveur devant être sauvegardé. Pour cela les droits suivants sont nécessaire :

CREATE USER 'automysqlbackup'@'serverA' IDENTIFIED BY  '<your_password_secret>';
GRANT SELECT, LOCK TABLES, SHOW VIEW, EVENT, TRIGGER,USAGE ON *.* TO 'automysqlbackup'@'serverA' ;

Pour utiliser le rôle Ansible Automysqlbackup en local, les droits suivants :

CREATE USER 'automysqlbackup'@'localhost' IDENTIFIED BY  '<your_password_secret>';
GRANT SELECT, LOCK TABLES, SHOW VIEW, EVENT, TRIGGER,USAGE ON *.* TO 'automysqlbackup'@'localhost' ;

Configuration des variables Ansible

Nécessaires

Configuration du serveur :

• automysqlbackup_repo répertoire où déposer le projet git (défaut /opt)
• automysqlbackup_client binaire sql client à utiliser, soit mariadb-client ou mysql-client (défaut mariadb-client)
• automysqlbackup_bin répertoire où copier le script (défaut /usr/local/bin)
• automysqlbackup_conf répertoire des configurations (défaut /etc/automysqlbackup)
• automysqlbackup_backupdir répertoire des sauvegardes

Configuration du client SQL

• automysqlbackup_default_user utilisateur MySQL utilisé par défaut pour les serveurs (défaut automysqlbackup)
• automysqlbackup_default_passwd mot de passe MySQL utilisé par défaut pour les serveurs
• automysqlbackup_configurations liste des serveurs à sauvegarder. Prend la valeur de automysqlbackup_default_user, automysqlbackup_default_passwd, etc si user, passwd, etc n’est pas défini

automysqlbackup_configurations:
- name: server1
  server: xxx.yourdomain.tld
  port: 3306            # default use 3306
  user: test            # default use `automysqlbackup_default_user`
  passwd: testpwd       # default use `automysqlbackup_default_passwd`
  cron: "0 23 * * *"    # default use `automysqlbackup_default_cron`
  montly: 01            # default use `automysqlbackup_monthly`
  weekly: 5             # default use `automysqlbackup_weekly`
  daily_to_keep: 5      # default use `automysqlbackup_daily_to_keep`
  weekly_to_keep: 4     # default use `automysqlbackup_weekly_to_keep`
  monthly_to_keep: 3    # default use `automysqlbackup_monthly_to_keep`
- name: server2
  server: 192.168.x.x

• automysqlbackup_default_db_exclude liste des bases de données exclues par défaut si la variable db_names n’est pas remplie sur la configuration serveur (défaut « ('information_schema' 'performance_schema' 'sys' )« )
• automysqlbackup_default_table_exclude liste des tables à exclure au format db_name.table_name (défaut « ('mysql.event')« )
• automysqlbackup_default_cron défini le cron par défaut à utiliser pour tous les serveurs, exemple "0 23 * * *"
• automysqlbackup_create_user utilisateur système à créer par le rôle, true or false ? Crée automysqlbackup_default_cron_user (défaut true)

Facultatif

Server configuration

• automysqlbackup_multicore utilisation de compression multicore pigz pour gzip ou pbzip2 pour bzip2. Peut être 'yes' ou 'no' (défaut 'no')
• automysqlbackup_multicore_threads nombre de cpu à utiliser. Peut être un nombre ou auto pour laisser pigz ou pbzip2 choisir (défaut auto)
• automysqlbackup_default_cron_user utilisateur à utiliser pour exécuter le cron (default automysqlbackup)
• automysqlbackup_default_cron_group groupe à utiliser pour le dossier de backup (défaut users)
• automysqlbackup_default_cron_path répertoire cron (défaut /etc/cron.d)

SQL client configuration

• automysqlbackup_monthly quelle jour faire le backup mensuel ? (01 à 31) mettre 0 pour désactivé le backup mensuel (défaut 01)
• automysqlbackup_weekly uelle jour faire le backup hebdomadaire ? (1 à 7 ou 1 est lundi) mettre 0 pour désactivé le backup hebdomadaire (défaut 5)
• automysqlbackup_daily_to_keep combien de backups journaliers à garder (défaut 6)
• automysqlbackup_weekly_to_keep combien de backups hebdomadaires à garder (défaut 28)
• automysqlbackup_monthly_to_keep combien de backups mensuels à garder (défaut 180)
• automysqlbackup_no_tablespaces le droits sql PROCESS est nécessaire depuis MySQL 5.7.31 et 8.0.21, l’option –no-tablespaces permet d’éviter d’avoir l’erreur. Peut être 'yes' ou 'no' (défaut 'yes')
• automysqlbackup_dump_usessl Utiliser le chiffrement SSL avec mysqldump ? Peut être 'yes' ou 'no' (défaut 'no')
• automysqlbackup_dump_single_transaction Lors de l’utilisation de cette option, il est important de noter que seules les tables InnoDB sont sauvegardées dans un état cohérent. Par exemple, toutes les tables MyISAM ou MEMORY sauvegardées lors de l’utilisation de cette option peuvent encore changer d’état. Peut être 'yes' ou 'no' (défaut 'no')
• automysqlbackup_dump_dbstatus Statut de sauvegarde de table(s) dans un fichier texte. Cela est très utile lors de la restauration des sauvegardes, car cela donne une idée des changements survenus entre-temps. Peut être 'yes' ou 'no' (défaut 'no')
• automysqlbackup_dump_create_database Inclure la commande CREATE DATABASE dans le backup. Peut être 'yes' ou 'no' (défaut 'no')
• automysqlbackup_dump_use_separate_dirs séparer le répertoire de backup pour chaque base de données. Peut être 'yes' ou 'no' (défaut 'yes')
• automysqlbackup_dump_compression choisir une compression du type gzip or bzip2 (défaut gzip)
• automysqlbackup_dump_latest Stocker une copie supplémentaire (lien physique) de la dernière sauvegarde dans un emplacement standard afin qu’elle puisse être téléchargée par des scripts tiers. Peut être 'yes' ou 'no' (défaut 'yes')
• automysqlbackup_dump_latest_clean_filenames Supprimer toutes les informations de date et d’heure des noms de fichiers dans le dossier le plus récent. (défaut yes)
• automysqlbackup_mailcontent Que souhaitez-vous recevoir par courrier électronique : log (envoi les log), files (envoie les logs et fichiers sql en attaché), stdout (affiche les log dans la sortie standard utile pour l’exécution manuelle), quiet (envoie les log uniquement si une erreur apparait) (défaut log)
• automysqlbackup_mail_address addresse mail du destinataire
• automysqlbackup_dryrun Simulation de ce qui sera fait, ne fait rien en réalité. 0 mode inactif, 1 mode actif (défaut 0)

L’article Rôle Ansible Automysqlbackup est apparu en premier sur Mon linux.

Utilisation simple d’un Ansible proxy socks

Pour expliquer l’utilisation de proxy avec Ansible, il faut d’abord comprendre la base : créer un proxy socks depuis une machine sans internet en zone restreinte vers une machine ayant internet en ssh. Pour ma part, je préfère ouvrir ssh dans un screen pour laisser un visu et fermer la connexion par la suite. Il est possible d’utiliser l’argument ssh permettant créer la connexion en arrière plan.

Sur notre serveur sans internet :

~$ ssh -4 -D 8888 mon_serveur_avec_internet
~$ curl -m 5 perdu.com
curl: (28) Failed to connect to perdu.com port 80 after 3852 ms: Connection timed out
~$ export ALL_PROXY="socks5://localhost:8888"
~$ curl -m 5 perdu.com
<html><head><title>Vous Etes Perdu ?</title></head><body><h1>Perdu sur l'Internet ?</h1><h2>Pas de panique, on va vous aider</h2><strong><pre>    * <----- vous &ecirc;tes ici</pre></strong></body></html>
~$ export ALL_PROXY=

On a donc bien accès à internet depuis notre machine.

Il arrive parfois que vous n’ayez même pas un serveur sur qui rebondir… A ce moment là il est possible d’utiliser votre propre machine comme passerelle! Pour cela il faut faire 2 choses :

• Depuis votre pc, vous créez avec ssh un bind de port reverse sur votre propre machine en vous connectant sur la machine n’ayant pas accès à internet :

~$ ssh -R 2222:127.0.0.1:22 serveur_sans_internet

• La console vers le serveur sans internet s’ouvre
• Vous créez le port dynamique pour le socks sur le port local 2222 du serveur (qui va rediriger vers le ssh de votre pc

~$ ssh -4 -D 8888 -p 2222 127.0.0.1

• Vous ouvrez un second terminal pour vous connecter directement au serveur et vous avez accès au net

~$ export ALL_PROXY="socks5://localhost:8888"
~$ curl -m 5 perdu.com
<html><head><title>Vous Etes Perdu ?</title></head><body><h1>Perdu sur l'Internet ?</h1><h2>Pas de panique, on va vous aider</h2><strong><pre>    * <----- vous &ecirc;tes ici</pre></strong></body></html>

Ansible et proxy ssh socks

Variable d’environnement du role Ansible

Dans un playbook, nous pouvons ajouter directement une directive environment qui sera utilisée sur un role ou une tasks. Exemple dans un playbook automysqlbackup :

- name: Automysqlbackup Installation
  hosts: databases_dump_server

  roles:
    - role: roles/database/belgotux.automysqlbackup
      environment:
        all_proxy: "socks5://localhost:8888"

Cela va faire l’équivalent de l’export vu plus haut : export ALL_PROXY="socks5://localhost:8888"

Pour en savoir plus sur le rôle Ansible Automysqlbackup.

Utilisation plus générique et facultative sur un playbook existant

On peut utiliser une variable proxy qui sera utilisée dans les variables de l’hôte ou du groupe si besoin d’utiliser un proxy. Avec l’option default pour ne pas que notre playbook soit inutilisable sur un serveur n’ayant pas besoin de proxy…

playbook.yml :

- name: Automysqlbackup Installation
  hosts: databases_dump_server

  roles:
    - role: roles/database/belgotux.automysqlbackup
      environment:
        all_proxy: "{{ proxy | default('')}}"

hote.yml :

proxy: "socks5://localhost:8888"

L’article Ansible proxy avec machine sans internet est apparu en premier sur Mon linux.

Installation du rôle basic

Pour installer ce rôle de configuration sous Debian ou Ubuntu rien de plus simple :

ansible-galaxy install belgotux.basic

Pré-requis sur un host Debian

Un playbook d’initialisation playbook-init-server.yml est à exécuter seulement sur un host Debian. Pour Ubuntu si vous avez installé en y ajoutant votre clé SSH dès l’installation, vous n’aviez rien à faire. Exemple :

ansible-playbook -i inventories/prod roles/basic/playbook-init-server.yml -e 'myhost=node9 user=devops become_meth=sudo' -kK

Pré-requis pour Debian ou Ubuntu

Vous devez copier basic.aliases.example vers basic.aliases pour pouvoir ajouter vos propres alias, il y en a déjà certains utiles dans le fichier d’exemple.

Configuration des variables Ansible

• bm prend la valeur yes pour installer des outils pour serveur physique
• ssh_key_filename clé SSH généré pour root, utile pour les accès serveur à serveur (default id_rsa)
• basic_list_users liste d’utilisateur et clé SSH :
  • name utilisateur
  • primarygroup groupe par défaut de l’utilisateur
  • groups groupes de l’utilisateur
  • pubkeys liste de clés publiques de l’utilisateur, les fichiers dans le dossier files
  • home home utilisateur (default /home/username)
  • shell prompt utilisateur (default /bin/bash)
  • create_home créer le répertoire utilisateur (default true)
  • append ajouter ou remplacer les groupes (default true to append)
  • passwd hash du mot de passe de l’utilisateur
    • mkpasswd --method=sha-512 résultat du genre $6$
    • docker run --rm -it ulikoehler/mkpasswd résultat en yescript $y$ pour ubuntu >22.04
  • generate_ssh_key générer une paire de clé SSH (default false)
• root_public_keys liste de clés publiques à copier depuis le dossier files pour root
• bash_alias_shared activer le partage d’alias (installé dans /usr/share uniquement avec l’utilisateur root via remote_user ou become dans le playbook) (default installe seulement les alias dans le répertoire home de l’utilisateur via remote_user)
• bash_alias_dir_share (default /usr/share)

optional

• auto_upgrade Configurer inattended-upgrades (default false)
• basic_packages_default Liste des paquets commun à installer
• basic_packages_extra Liste d’autres paquets supplémentaire pour un groupe ou une machine spécifiques
• staff_directories liste des répertoires qui peuvent être modifiés par le groupe staff
• basic_custom_scripts_common liste des scripts locaux commun à copier dans /usr/local/bin
• basic_custom_scripts_local liste des scripts locaux supplémentaires à copier dans /usr/local/bin (à utiliser dans hosts)

Exemple de playbook

- hosts: [homeservers,vps]
  remote_user: root
  roles:
    - name: basic
      vars: 
        basic_list_users:
          - name: belgotux
            primarygroup: belgotux
            groups: sudo,users,staff,adm
            shell: "/bin/zsh"
            passwd: $6$xxxx
            pubkeys:
              - xxx.pub
              - yyy.pub
        bash_alias_shared: yes
        staff_directories:
          - /usr/local/bin
          - /usr/local/etc
        auto_upgrade: true

L’article Ansible rôle de configuration Debian – Ubuntu est apparu en premier sur Mon linux.

Ce rôle est disponible dans l’Ansible Galaxy. Pour l’installer rien de plus simple :

ansible-galaxy install belgotux.notification_push

Je vous mets également le lien du projet de notification avec Ansible sur github.

Il ne requiert aucune dépendance, il va chercher la dernière version du script via github pour les 2 scripts actuellement supportés : Pushbullet et Telegram. Dans le cas de ce dernier, une tâche Ansible va directement chercher le chat ID, nécessaire en plus du token.

Au préalable, il faut avoir créé un compte pour Pushbullet en suivant les étages. Et un bot pour Telegram en plus en suivant l’article que j’ai écrit sur les notifications Telegram pour Debian.

Exemple Playbook

Notification pushbullet :

- hosts: servers
  roles:
      - { role: notification-push vars: notification_pushbullet_access_token: 'o.XXXXXXXXXXXXXXXXXXXXX' }

Notification Telegram :

- hosts: servers
  roles:
      - { role: notification-push vars: notification_telegram_access_token: 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' }

Utiliser un bot API local pour Telegram

Il est tout à fait possible de pousser l’utilisation en auto-hébergement via l’utilisation de son propre service d’API bot Telegram. L’article officiel sur le site de Telegram en décrit les capacités. Le rôle est fait pour pouvoir changer l’adresse par défaut de l’API https://api.telegram.org.

- hosts: servers
  roles:
      - role: notification-push
        vars:
          notification_telegram_access_token: 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX'
          notification_telegram_provider_api: 'https://your_custom_api'

L’article Role Ansible notification push Linux Debian est apparu en premier sur Mon linux.