Bienvenue sur Cr@zy WS !

Pour plus d'information sur Cr@zy WS, je vous invite à vous rendre dans la partie à propos où j'explique les grandes lignes de ce site consacré en grande partie à l'actualité Hack, Sécurité, High-Tech et Webdev.

Newsletter et réseaux sociaux

Pour suivre les dernières news du site, essayez les différents types d'abonnements disponibles et rejoignez-moi sur les réseaux sociaux.

Cr@zy's Apps

En dehors des scripts que je développe, il y a le sous-domaine Cr@zy's Apps qui est consacré aux applications externes que j'ai pu développer.

Sécurité

Depuis longtemps je m'intéresse à la sécurité informatique où j'effectue des tests d'intrusion, d'audit et d'architecture. A travers mes articles, je vous partage l'essentiel de l'actualité.

Webdev

En ce qui concerne le webdev, je vous propose quelques scripts écrits en PHP, Javascript et autres, que j'essaierai d'alimenter quand j'ai un peu de temps. Je propose également mes services pour le développement de votre site.

Musique

Pour ceux qui apprécient la musique électronique qui tourne autour du Hardcore, Gabber, Industrial, Psychanelic et autres, vous pouvez écouter/télécharger gratuitement mes mixs.

Connexion

connexion auto. à chaque visite
Inscription Mot de passe perdu ?
One is light one is dark...
4 - 8 - 15 - 16 - 23 - 42

Synchroniser votre seedbox avec votre NAS ou votre ordinateur

02/06/2013 à 20:34
A VOIR AUSSI...
COMMENTAIRES (29)
mattt
29/05/2013 à 10:08:25

pas mal pas mal
a quand la version .pkg pour un syno ? :)

Cr@zy
29/05/2013 à 15:48:47

Pour les syno je pense que ce serait un .ipk ?

Il suffirait simplement d'installer curlftpfs depuis ses sources : http://sourceforge.net/projects/curlftpfs/files/cu... Et d'exécuter ensuite le script ftp-sync.

Mais vu que je n'ai pas de syno j'aurai du mal à tester ^^

Cr@zy
02/06/2013 à 19:41:26

J'ai mis à jour les sources et dorénavant vous n'aurez plus besoin de curlftpfs mais de wget. Ce sera nettement mieux étant donné que wget est installé sur la majorité des distributions (notamment les Synology).

LeGeekTechno
02/06/2013 à 21:10:08

Pas mal de pouvoir synchroniser en FTP mais niveau performance, ce n'est pas terrible.
Rien ne faut un bon vieux rsync via ssh, la vérification par hash sera faite automatiquement.

J'ai fais deux articles à ce sujet.
Le premier en décembre 2011 (script très simple):
http://www.legeektechno.fr/serveurs/recuperer-auto...

Le deuxième début mars 2013 (permet la gestion de plusieurs NAS):
http://www.legeektechno.fr/serveurs/script-de-sync...

J'espère que mes liens pourront aider à améliorer ta version !

Cr@zy
02/06/2013 à 21:45:32
LeGeekTechno a dit :
Pas mal de pouvoir synchroniser en FTP mais niveau performance, ce n'est pas terrible.
Rien ne faut un bon vieux rsync via ssh, la vérification par hash sera faite automatiquement.

Alors pour ma part niveau performances, c'est plus rapide par rapport à l'utilisation de rsync que j'ai utilisé pendant un bon moment. Tu as testé le script ?

Ensuite pour ceux qui n'ont qu'un serveur FTP pour accéder à leur seedbox, rsync est inutile.

Enfin, la vérification du hash (checksum du fichier tu voulais dire je pense) ralentit considérablement le process de téléchargement. C'est d'ailleurs dit dans le man de rsync.

Sur mon script je ne fais pas de checksum de fichier car cela revient à le télécharger... Je préfère faire un hash md5 du chemin vers le fichier et comparer la taille du fichier source et de destination. Je rajouterai le mod-time plus tard.

LeGeekTechno
02/06/2013 à 22:05:00
Cr@zy a dit :
Alors pour ma part niveau performances, c'est plus rapide par rapport à l'utilisation de rsync que j'ai utilisé pendant un bon moment. Tu as testé le script ?

Non je n'ai pas testé ton script, mais par contre le transfère FTP oui et avec mes tests, ce n'est vraiment pas assez efficace.

Cr@zy a dit :
Ensuite pour ceux qui n'ont qu'un serveur FTP pour accéder à leur seedbox, rsync est inutile.

Sur ce point on est d'accord. Cependant, quand on a un NAS (type Synology) ou bien un ordinateur, installer un serveur FTP ou un serveur SSH, c'est la même chose. Le SSH est d'ailleurs beaucoup plus sécurisé et par des temps où le gouvernement et les majors essayent de tout faire pour arrêter le piratage, ce n'est pas un luxe de chiffrer ses transferts s'ils ne sont pas légaux...

Cr@zy a dit :
Enfin, la vérification du hash (checksum du fichier tu voulais dire je pense) ralentit considérablement le process de téléchargement. C'est d'ailleurs dit dans le man de rsync.

Sur mon script je ne fais pas de checksum de fichier car cela revient à le télécharger... Je préfère faire un hash md5 du chemin vers le fichier et comparer la taille du fichier source et de destination. Je rajouterai le mod-time plus tard.

Effectivement, ça ralentit le transfert... Ou plutôt ça ralentit le début du transfert.
Quand on regarde bien, le démarrage du téléchargement prend plus de temps et le rsync demande 50ko/s en moyenne en upload pour faire le checksum.
Pour ma part, en rsync + ssh je télécharge mes fichiers à la vitesse de 2Mo/s sans problème.
Avoir des fichiers de tailles identiques ne signifie pas que le contenue est identique.

Cr@zy
02/06/2013 à 22:21:04
LeGeekTechno a dit :
Non je n'ai pas testé ton script, mais par contre le transfère FTP oui et avec mes tests, ce n'est vraiment pas assez efficace.

Ah bon ? Elle est où la différence de taux de transfert et "d'optimisation" comme tu dis entre du SFTP (SSH) et FTP ?

LeGeekTechno a dit :
Sur ce point on est d'accord. Cependant, quand on a un NAS (type Synology) ou bien un ordinateur, installer un serveur FTP ou un serveur SSH, c'est la même chose. Le SSH est d'ailleurs beaucoup plus sécurisé et par des temps où le gouvernement et les majors essayent de tout faire pour arrêter le piratage, ce n'est pas un luxe de chiffrer ses transferts s'ils ne sont pas légaux...

Non je parlais de la seedbox (Internet). Beaucoup n'ont pas un serveur dédié mais des offres leur permettant seulement d'accéder à une webUI (ruTorrent par ex) pour gérer leur seedbox et un serveur FTP point barre. Comme un serveur mutualisé pour le web si tu veux. Donc impossible d'installer quoi que ce soit d'où le fait de rester sur des protocoles qui peuvent impacter un maximum de personnes.

LeGeekTechno a dit :
Effectivement, ça ralentit le transfert... Ou plutôt ça ralentit le début du transfert.
Quand on regarde bien, le démarrage du téléchargement prend plus de temps et le rsync demande 50ko/s en moyenne en upload pour faire le checksum.
Pour ma part, en rsync + ssh je télécharge mes fichiers à la vitesse de 2Mo/s sans problème.

Oui 50Ko/s mais pour combien de temps ?
Si ce n'est pas aussi long que le téléchargement même du fichier alors ce n'est pas un réel "fingerprint" qui est fait mais un workaround du côté de rsync englobant plusieurs paramètres pour générer un "hash du fichier".

LeGeekTechno a dit :
Avoir des fichiers de tailles identiques ne signifie pas que le contenue est identique.

Oui en effet ce n'est pas un réel fingerprint comme je te l'ai expliqué, je me base sur le chemin + la taille + le mod-time. Ce sont pour moi des paramètres pour l'instant suffisants. Mais je prévois d'ajouter un plugin à rTorrent pour générer le fingerprint de chaque fichier téléchargé et de le mettre dans un fichier que j'appellerai pour vérifier les fingerprints en local.

Jx7
21/10/2013 à 23:54:10

Merci, merci et merci!

J'utilisais BitTorrent Sync depuis les premières version en alpha et même aujourd'hui avec une version dite "stable", je passe plus de temps à vérifier mes téléchargements que si je devais le faire manuellement, ce qui en devient un comble...

Merci donc de m'avoir fait découvrir ce script simple et efficace. J'étais parti pour l'écrire moi-même donc ça me fait quelques heures de gagné!

Même avec les quelques problématiques des NAS Synology j'ai réussi à l'installer rapidement (faut quand même aller voir le readme).

Une petite remarque cependant: il aurait été sympa d'ajouter le téléchargement du fichier de configuration pour avoir une base:

wget https://raw.github.com/crazy-max/ftp-sync/master/ftp-sync.conf -O ftp-sync.conf --no-check-certificate

Merci encore
++

Cr@zy
22/10/2013 à 14:22:42

@Jx7 C'est noté dans le README, dans la partie Installation, le téléchargement du fichier de config ;)
Si tu constates des bugs, n'hésites pas à les remonter via GitHub!

Jx7
24/10/2013 à 20:00:26

Oui je sais puisque j'en parle de ce fichier. Je parlais de ton mini tuto à toi.

Tout compte fait j'ai peut etre été un peu trop optimiste... Les débits sont très mauvais. Je vais essayé la solution avec rsync proposée par legeektechno.

Cr@zy
24/10/2013 à 20:51:17

Ah étrange les débits sont identiques pour moi. Tu es à combien en moyenne ?

Xav
13/11/2013 à 22:21:46

Salut,

Je suis complètement débutant dans le domaine, mais après m'être renseigné un peu sur le net sur le sujet j'ai réussi à réaliser toutes ces manipulations, sauf que j'ai dû merdouaillé quelque part puisque lorsque je lance le script j'ai l'erreur : "-ash: /etc/init.d/ftp-sync: not found"

Je suis quasi certain que c'est un truc super bête mais j'ai beau cherché sur le net ou le readme, je sèche...

Auriez-vous s.v.p. un conseil ?
(La méthode qui m'intéresse est celle avec ftp-sync)
D'avance merci
Xav

sorcer1
30/11/2013 à 00:23:48

hello,
j'ai moi aussi la même erreur que xav...
help

Cr@zy
01/12/2013 à 15:43:42

@Xav @sorcer1
Avec quelle commande exécutez-vous le script ?

$ /etc/init.d/ftp-sync /tmp/seedbox

ou

$ cd /etc/init.d/
$ ./ftp-sync /tmp/seedbox

J'ai mis à jour ftp-sync, essayez avec la nouvelle version en exécutant le script en debug :

$ bash -x /etc/init.d/ftp-sync /tmp/seedbox

Merci de relire le README avant de continuer.

Adrien
13/12/2013 à 13:50:21

Salut,

J'avais une solution similaire avec un rsync et screen mais j'en avais marre de pas savoir ou en étaient mes downloads sans me mettre en terminal.

J'ai donc fais un script en bash pour faire du generer du rss et j'utilise download station :D

lefoimpeur
20/03/2014 à 22:45:09

Bonjour,

C'est ok pour moi concernant l'exécution avec bash -x /etc/init.d/ftp-sync .

Par contre j'ai un autre problème : pour chaque création de dossier ça ajoute la destination que l'on passe en paramètre.

Extrait de log sachant que ma est /volume1/seedbox :
--------------
Process file : 9.Mois.Ferme.2013.FRENCH.720p.BluRay.x264-LOSTlost-9moisferme.720p.jpg
Hash: 685a3da54bc5eea1d119eb6f9d896477
Size: 15.70 Kb
Status : Never downloaded...
Start download to /volume1/seedbox/9.Mois.Ferme.2013.FRENCH.720p.BluRay.x264-LOST/volume1/seedbox/lost-9moisferme.720p.jpg... Please wait...
File successfully downloaded!
Time spent: 00:00:02
--------------

Cr@zy
21/03/2014 à 10:25:37
lefoimpeur a dit :
Bonjour,

C'est ok pour moi concernant l'exécution avec bash -x /etc/init.d/ftp-sync .

Par contre j'ai un autre problème : pour chaque création de dossier ça ajoute la destination que l'on passe en paramètre.

Extrait de log sachant que ma est /volume1/seedbox :
--------------
Process file : 9.Mois.Ferme.2013.FRENCH.720p.BluRay.x264-LOSTlost-9moisferme.720p.jpg
Hash: 685a3da54bc5eea1d119eb6f9d896477
Size: 15.70 Kb
Status : Never downloaded...
Start download to /volume1/seedbox/9.Mois.Ferme.2013.FRENCH.720p.BluRay.x264-LOST/volume1/seedbox/lost-9moisferme.720p.jpg... Please wait...
File successfully downloaded!
Time spent: 00:00:02
--------------

Peux-tu créer une issue sur Github stp et me dire sur quelle distribution Linux tu es ?
Je regarderai ce problème asap.

lefoimpeur
21/03/2014 à 23:04:17

C'est fait, toutes les informations y sont.

Merci.

lefoimpeur
25/03/2014 à 16:14:14

Bonjour,

Est-il possible de configurer une connexion FTPES ou SFTP via ton script ?

cgg
07/10/2015 à 11:53:32

Bonjour,

Je n'arrive pas à faire fonctionner la procédure. Quand je lance le script, il semble se bloquer sur le premier fichier à télécharger.
J'obtiens:
....

+ local srcfiletr=CMG00001.INI
++ awk 'BEGIN{srand();print srand()}'
+ local starttime=1444211323
++ echo /Pt5/CMG00001.INI
++ sed -e s#/Pt5/#/volume1/Surveillances/#
+ local destfile=/volume1/Surveillances/CMG00001.INI
+ '[' I == / ']'
+ ftpsyncAddLog 'Process file : CMG00001.INI'
+ local 'text=Process file : CMG00001.INI'
+ '[' '!' -z '' ']'
+ LOG='Process file : CMG00001.INI'
++ cut -d ' ' -f 1
++ md5sum -
++ echo -n CMG00001.INI
+ local srchash=5fd02b4c3ebc6685012b0ae22e61683c
+ ftpsyncAddLog 'Hash: 5fd02b4c3ebc6685012b0ae22e61683c'
+ local 'text=Hash: 5fd02b4c3ebc6685012b0ae22e61683c'
+ '[' '!' -z 'Process file : CMG00001.INI' ']'
+ LOG='Process file : CMG00001.INI\n'
+ LOG='Process file : CMG00001.INI\nHash: 5fd02b4c3ebc6685012b0ae22e61683c'
++ ftpsyncGetHumanSize /Pt5/CMG00001.INI
++ awk '{ sum=$1 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024]="Kb"; for (x=10 24**3; x>=1024; x/=1024){ if (sum>=x) { printf "%.2f %s\n",sum/x,hum[x];break } }}'
+++ ftpsyncGetSize /Pt5/CMG00001.INI
++++ grep '^213'
++++ wget -S --spider --ftp-user=XXXXX --ftp-password=XXXXXX -O - ftp://webmon itoring-ftp.01db.com:21/Pt5/CMG00001.INI
++++ awk '{print $2}'

Le log est le suivant:

FTP Sync v2.03 (2015/10/07 11:48:42)
--------------
Checking connection to ftp://webmonitoring-ftp.01db.com:21/Pt5/...
Successfully connected!
--------------
Script PID: 26499
Source: ftp://webmonitoring-ftp.01db.com:21/Pt5/
Destination: /volume1/Surveillances/
Log file: /var/log/ftp-sync/20151007114842.log
Download method: wget
MD5 method: text
--------------

Je suis plus que débutant et bloqué à 2 doigts du but...

Merci de votre aide

costef
07/10/2015 à 21:32:24

First of all, thanks a lot for your ftp-sync script. it's very well done.
is it possible to extend it also for recursive downloads ?
I need to download a directory and also its sub-directories.
any help ? it would be much appreciated
bye

costef

Oli
11/10/2015 à 23:15:01

Vraiment sympa ce script !! Merci beaucoup !

Si je peux me permettre une suggestion, j'aimerais bien avoir une " barre " dans la console pour savoir ou en est le fichier qui se télécharge :)

Cr@zy
02/11/2015 à 19:02:32
cgg a dit :
Bonjour,

Je n'arrive pas à faire fonctionner la procédure. Quand je lance le script, il semble se bloquer sur le premier fichier à télécharger.
J'obtiens:
....

+ local srcfiletr=CMG00001.INI
++ awk 'BEGIN{srand();print srand()}'
+ local starttime=1444211323
...

Peux-tu créer une issue sur Github stp et me dire sur quelle distribution Linux tu es ?
Je regarderai ce problème asap.

Cr@zy
02/11/2015 à 19:03:41
costef a dit :
First of all, thanks a lot for your ftp-sync script. it's very well done.
is it possible to extend it also for recursive downloads ?
I need to download a directory and also its sub-directories.
any help ? it would be much appreciated
bye

costef

Hi,
Can you create an issue on Github for this feature ?

Cr@zy
02/11/2015 à 19:04:16
Oli a dit :
Vraiment sympa ce script !! Merci beaucoup !

Si je peux me permettre une suggestion, j'aimerais bien avoir une " barre " dans la console pour savoir ou en est le fichier qui se télécharge :)

Peux-tu créer une issue sur Github stp pour que je puisse tracer cette nouvelle fonctionnalité ?

benoit16
30/12/2015 à 09:09:34

Bonjour,

Je galère depuis plusieurs jour pour faire marcher ce ftp-sync !
Quand j'exécute
/etc/init.d/ftp-sync /home/pierre/torrents
J'ai le le message erreur :
Checking connection to ftp://ip publique:21/volume1/video/incoming/
ERROR : Server issued an error response...

Une aide serait la bienvenue !

Cr@zy
30/12/2015 à 09:21:55
benoit16 a dit :
Bonjour,

Je galère depuis plusieurs jour pour faire marcher ce ftp-sync !
Quand j'exécute
/etc/init.d/ftp-sync /home/pierre/torrents
J'ai le le message erreur :
Checking connection to ftp://ip publique:21/volume1/video/incoming/
ERROR : Server issued an error response...

Une aide serait la bienvenue !

Bonjour,

Merci de poster une issue sur Github et de donner des précisions sur votre système où est hébergé votre serveur FTP (OS, type de serveur FTP, etc...)

vickthor721
19/01/2016 à 22:02:50

Bonjour,
Fonctionne parfaitement. par contre comment configurer le regex pour ne pas récuperer les fichiers en cours de download sur la seedbox (*.part)?
Par avance merci

Cr@zy
19/01/2016 à 22:07:41
vickthor721 a dit :
Bonjour,
Fonctionne parfaitement. par contre comment configurer le regex pour ne pas récuperer les fichiers en cours de download sur la seedbox (*.part)?
Par avance merci

Hum en effet il n'y a pour le moment pas de filtre d'exclusion intégré dans le script.
Peux-tu faire une demande en postant une issue sur Github ? Ça te permettra d'être notifié quand une mise à jour sortira.

POSTER UN COMMENTAIRE
Captcha
Entrez le code affiché *
Actuellement
visiteur(s) connecté(s)

Nuage de mots clés

Derniers commentaires

Archives

Copyright © 2007-2016 Cr@zy WS v0.954
58 requêtes exécutées en 0.000796 secondes - Page générée en 1.017 secondes
Site optimisé pour le moteur de rendu Gecko : Mozilla Firefox
Accueil · Contact · A propos · S'abonner · Mises à jour · Flux RSS