]> git.treefish.org Git - fex.git/blobdiff - htdocs/download/fexget
Original release 20160919
[fex.git] / htdocs / download / fexget
index 8e001196d8cc13b1f0d4fc24c16b0f1c01268625..3ac605f51f571676dad713d63bb88a2b7d74751e 100755 (executable)
@@ -13,6 +13,7 @@ use strict qw'vars subs';
 use Config;
 use POSIX;
 use Encode;
+use Cwd 'abs_path';
 use Getopt::Std;
 use File::Basename;
 use Socket;
@@ -30,9 +31,11 @@ our $SH;
 our ($fexhome,$idf,$tmpdir,$windoof,$useragent);
 our ($xv,%autoview);
 our $bs = 2**16; # blocksize for tcp-reading and writing file
-our $version = 20150826;
+our $version = 20160919;
 our $CTYPE = 'ISO-8859-1';
 our $fexsend = $ENV{FEXSEND} || 'fexsend';
+our $DEBUG = $ENV{DEBUG};
+our $_0 = $0;
 
 my %SSL = (SSL_version => 'TLSv1');
 my $sigpipe;
@@ -57,6 +60,14 @@ if ($Config{osname} =~ /^mswin/i) {
   $SSL{SSL_verify_mode} = 0;
   chdir $ENV{USERPROFILE}.'\Desktop';
   # open XX,'>XXXXXX';close XX;
+} elsif ($Config{osname} =~ /^darwin/i or $ENV{MACOS}) {
+  $0 =~ s:(.*)/:: and $ENV{PATH} .= ":$1";
+  $fexhome = $ENV{FEXHOME} || $ENV{HOME}.'/.fex';
+  $tmpdir = $ENV{FEXTMP} || $ENV{TMPDIR} || "$fexhome/tmp";
+  $idf = "$fexhome/id";
+  $_ = `sw_vers -productVersion 2>/dev/null`||'';
+  chomp;
+  $useragent = "fexget-$version (MacOS $_)";
 } else {
   $0 =~ s:(.*)/:: and $ENV{PATH} .= ":$1";
   $fexhome = $ENV{FEXHOME} || $ENV{HOME}.'/.fex';
@@ -79,6 +90,7 @@ usage: $0 [-v] [-m limit] [-s filename] [-o] [-k] [-X] [-P proxy:port] F*EX-URL(
    or: $0 [-v] -a
    or: $0 -l [-i tag]
    or: $0 -H
+   or: $0 -V
 options: -v verbose mode
          -m limit kB/s
          -s save to filename (-s- means: write to STDOUT/pipe)
@@ -92,6 +104,7 @@ options: -v verbose mode
          -i tag alternate server/account, see: $fexsend -h
          -P use Proxy for connection to the F*EX server
          -H show hints and examples
+         -V show version and ask for upgrade
 argument: F*EX-URL may be file number (see: $0 -l)
 EOD
 
@@ -141,7 +154,7 @@ $opt_V = $opt_X = $opt_f = $opt_L = $opt_H = 0;
 ${'opt_+'} = 0;
 $opt_s = $opt_k = $opt_i = $opt_P = '';
 $_ = "$fexhome/config.pl"; require if -f;
-getopts('hvVHlLdkzoaXf+m:s:i:K:P:') or die $usage;
+getopts('hvVHlLdkzoaXVf+m:s:i:K:P:') or die $usage;
 $opt_k = '?KEEP' if $opt_k;
 
 if ($opt_m =~ /(\d+)/) {
@@ -150,7 +163,33 @@ if ($opt_m =~ /(\d+)/) {
   $opt_m = 0
 }
 
-print "Version: $version\n" if $opt_V;
+if ($opt_V) {
+  print "Version: $version\n";
+  unless (@ARGV) {
+    print "Upgrade fexget? ";
+    $_ = <STDIN>||'';
+    if (/^y/i) {
+      my $new = `wget -nv -O- http://fex.belwue.de/download/fexget`;
+      my $newversion = $1 if $new =~ /version = (\d+)/;
+      if ($new !~ /upgrade fexget/ or not $newversion) {
+        die "$0: bad update\n";
+      }
+      if ($newversion <= $version) {
+        die "$0: no newer version\n";
+      }
+      $_0 = abs_path($_0);
+      system qw'rsync -a',$_0,$_0.'_old';
+      exit $? if $?;
+      open $_0,'>',$_0 or die "$0: cannot write $_0. - $!\n";
+      print {$_0} $new;
+      close $_0;
+      exec $_0,qw'-V .';
+    }
+  }
+  exit;
+  exit if "@ARGV" eq '.';
+}
+
 die $usage                  if $opt_h;
 if ($opt_H) {
   print $hints;
@@ -163,15 +202,14 @@ my $ffl = "$tmpdir/fexget";               # F*EX files list (cache)
 
 my @rcamel = (
 '\e[A
-(_*)  _  _
-   \\\\/ \\/ \\
+ (_*p _  _
+   \\\\/ \/ \\
     \  __  )=*
     //\\\\//\\\\
 ',
-'\e[A     \\\\/\\\\/
-',
-'\e[A    //\\\\//\\\\
-');
+"\e[A     \\\\/\\\\/ \n",
+"\e[A    //\\\\//\\\\\n"
+);
 
 # get fexlog
 if ($opt_z) {
@@ -233,7 +271,7 @@ if ($opt_a) {
   }
 }
 
-my ($file,%files,$download,$server,$port,$fop);
+my ($file,%files,$download,$server,$port,$fop,$https);
 
 if ($opt_f) {
   unless ($ENV{FEXID} or -f $ENV{HOME}.'/.fex/id') {
@@ -271,6 +309,7 @@ URL: foreach my $url (@ARGV) {
   }
 
   if ($url =~ m{^http(s?)://([\w\.\-]+)(:(\d+))?(/.*fop/\S+)}) {
+    $https  = $1;
     $server = $2;
     $port   = $4 || ($1?443:80);
     $fop    = $5;
@@ -298,7 +337,7 @@ URL: foreach my $url (@ARGV) {
       ($file) = grep { $_ = $1 if /^X-File:\s+(.+)/ } @r;
       $file = $url unless $file;
       $file =~ s:.*/::;
-      printf "%s deleted\n",urldecode($file);
+      printf "%s deleted\n",locale(decode_utf8(urldecode($file)));
     } else {
       s:HTTP/[\d\. ]+::;
       die "$0: server response: $_";
@@ -358,6 +397,7 @@ URL: foreach my $url (@ARGV) {
 
     if ($ENV{DISPLAY} and $download =~ /\.(gif|jpg|png|tiff?)$/i) {
       # see also mimeopen and xdg-mime
+      # http://unix.stackexchange.com/questions/144047/how-does-xdg-open-do-its-work
       if (my $xv = $xv || pathsearch('xv') || pathsearch('xdg-open')) {
         printf "run \"%s %s\" [Yn] ? ",basename($xv),basename($download);
         $_ = <STDIN>||'';
@@ -367,10 +407,10 @@ URL: foreach my $url (@ARGV) {
     }
 
     if ($download =~ /$atype/) {
-      if    ($download =~ /\.(tgz|tar.gz)$/)  { extract('tar tvzf','tar xvzf') }
-      elsif ($download =~ /\.tar$/)           { extract('tar tvf','tar xvf') }
-      elsif ($download =~ /\.zip$/i)          { extract('unzip -l','unzip') }
-      elsif ($download =~ /\.7z$/i)           { extract('7z l','7z x') }
+      if    ($download =~ /\.(tgz|tar.gz)$/) { extract('tar tvzf','tar xvzf') }
+      elsif ($download =~ /\.tar$/)          { extract('tar tvf','tar xvf') }
+      elsif ($download =~ /\.zip$/i)         { extract('unzip -l','unzip') }
+      elsif ($download =~ /\.7z$/i)          { extract('7z l','7z x') }
       else { die "$0: unknown archive \"$download\"\n" }
       if ($? == 0) {
         unlink $download;
@@ -388,7 +428,7 @@ sub extract {
   my $l = shift;
   my $x = shift;
   my $d = $download;
-  my $xd = '.';
+  my $xd = '';
   local $_;
 
   if (-t and not $windoof) {
@@ -396,9 +436,10 @@ sub extract {
     system(split(' ',$l),$download);
     $d =~ s:.*/:./:;
     $d =~ s/\.[^.]+$//;
+    $d =~ s:/*$:/:;
     for (;;) {
       $xd = inquire("extract to directory (Ctrl-C to keep archive): ",$d);
-      last if $xd =~ s:^(\./*)*!?$:./:;
+      last if $xd =~ s:^(\./*)*!?$::;
       if ($xd eq '-') {
         print "keeping $download\n";
         exit;
@@ -420,8 +461,9 @@ sub extract {
       last;
     }
   }
-  print "extracting to $xd :\n";
+  print "extracting to $xd :\n" if $xd;
   system(split(' ',$x),$download);
+  print "extracted to $xd\n" if $xd;
 }
 
 sub del {
@@ -453,7 +495,7 @@ sub del {
 sub forward {
   my $url = shift;
   my ($server,$port);
-  my ($uri,$dkey,$list,$cmd,$n);
+  my ($uri,$dkey,$list,$cmd,$n,$copy);
   my @r;
 
   if ($url =~ m{^http(s?)://([\w\.\-]+)(:(\d+))?(/fop/.+)}) {
@@ -474,7 +516,13 @@ sub forward {
   die "$0: no reply from fex server $server\n" unless $_;
   warn "<-- $_" if $opt_v;
 
-  unless (/^HTTP.*200/) {
+  if (/^HTTP.*already exists/) {
+    if ($uri =~ m:/fop/(\w+)/:) {
+      $dkey = $1;
+    }
+  } elsif (/^HTTP.*200/) {
+    # ok!
+  } else {
     s/^HTTP.... \d+ //;
     die "$0: $_";
   }
@@ -486,8 +534,7 @@ sub forward {
     warn "<-- $_" if $opt_v;
   }
 
-  $cmd = 'fexsend -l >/dev/null 2>&1';
-  print "$cmd\n" if $opt_v;
+  print "fexsend -l\n" if $opt_v;
   system 'fexsend -l >/dev/null 2>&1';
   $list = $ENV{HOME}.'/.fex/tmp/fexlist';
   open $list,$list or die "$0: cannot open $list - $!\n";
@@ -548,7 +595,7 @@ sub keep {
 
 sub download {
   my ($server,$port,$fop,$nocheck) = @_;
-  my ($file,$download,$ssl,$pipe,$filesize,$checkstorage);
+  my ($file,$download,$ssl,$pipe,$filesize,$checkstorage,$dkey);
   my (@hh,@r);
   my ($t0,$t1,$t2,$tt,$tm,$ts,$kBs,$b,$bt,$tb,$B,$buf);
   my $length = 0;
@@ -563,14 +610,18 @@ sub download {
       $pipe = $download = $opt_s;
     } elsif (-p $opt_s or -c $opt_s) {
       $download = $opt_s;
+      $nocheck = 'pipe or character device';
     } else {
       $download = $file.'.tmp';
       $seek = -s $download || 0;
     }
   } else {
     # ask server for real file name
-    serverconnect($server, $port);
-    sendheader("$server:$port","HEAD $proxy_prefix$fop HTTP/1.1","User-Agent: $useragent");
+    sendheader(
+      "$server:$port",
+      "HEAD $proxy_prefix$fop HTTP/1.1",
+      "User-Agent: $useragent"
+    );
     my $reply = $_ = <$SH>;
     unless (defined $_ and /\w/) {
       die "$0: no response from server\n";
@@ -597,8 +648,11 @@ sub download {
     $seek = -s $download || 0;
   }
 
+  $fop =~ m:/fop/(\w+)/: and $dkey=$1 or $dkey='';
+
   push @hh,"GET $proxy_prefix$fop$opt_k HTTP/1.1",
            "User-Agent: $useragent",
+           "Cookie: dkey=$dkey",
            "Connection: close";
   push @hh,"Range: bytes=$seek-" if $seek;
 
@@ -644,28 +698,34 @@ sub download {
       }
     }
     if ($checkstorage and not $nocheck) {
-      $t0 = time;
+      my $t0 = my $t1 = my $t2 = time;
       my $n = 0;
+      my $buf = '.' x M;
+      my $storagetest = $file.'.test';
+      my $error = "$0: cannot write \"$storagetest\"";
+      open $storagetest,'>',$storagetest or die "$error - $!\n";
       print STDERR "checking storage...\r";
-      $buf = '.' x M;
-      while (-s $download < $checkstorage) {
-        syswrite X,$buf or do {
-          unlink $download;
-          die "\n$0: cannot write $download - $!\n";
+      while (-s $storagetest < $checkstorage) {
+        syswrite $storagetest,$buf or do {
+          unlink $storagetest;
+          die "\n$error - $!\n";
         };
         $n++;
-        print STDERR "checking storage... ".$n." MB\r";
+        $t2 = int(time);
+        if ($t2 > $t1) {
+          print STDERR "checking storage... ".$n." MB\r";
+          $t1 = $t2;
+        }
       }
-      close X or do {
-        unlink $download;
-        die "\n$0: cannot write $download - $!\n";
+      close $storagetest or do {
+        unlink $storagetest;
+        die "\n$error - $!\n";
       };
       print STDERR "checking storage... ".$n." MB ok!\n";
-      unlink $download;
-      if (time-$t0 < 25) {
-        open X,'>',$download or die "$0: cannot write to \"$download\" - $!\n";
-      } else {
+      unlink $storagetest;
+      if (time-$t0 > 25) {
         # retry after timeout
+        serverconnect($server,$port);
         return(download($server,$port,$fop,'nocheck'))
       }
     }
@@ -806,13 +866,6 @@ sub pathsearch {
 }
 
 
-sub quote {
-  local $_ = shift;
-  s/([^\w¡-ÿ_%\/=~:.,-])/\\$1/g;
-  return $_;
-}
-
-
 {
   my $tty;
 
@@ -830,10 +883,11 @@ sub quote {
 
       if (defined(&TIOCSTI) and $tty and open($tty,'>',$tty)) {
         print $prompt;
+        # push default answer into keyboard buffer
         foreach my $a (split("",$default)) { ioctl($tty,&TIOCSTI,$a) }
         chomp($_ = <STDIN>||'');
       } else {
-        $prompt =~ s/([\?:=]\s*)/ [$default]$1/ or $prompt .= " [$default]";
+        $prompt =~ s/([\?:=]\s*)/ [$default]$1/ or $prompt .= " [$default] ";
         print $prompt;
         chomp($_ = <STDIN>||'');
         $_ = $default unless length;
@@ -915,15 +969,9 @@ sub serverconnect {
   my $connect = "CONNECT $server:$port HTTP/1.1";
   local $_;
 
-  if ($opt_v and $port == 443 and %SSL) {
-    foreach my $v (keys %SSL) {
-      printf "%s => %s\n",$v,$SSL{$v};
-    }
-  }
-
   if ($proxy) {
     tcpconnect(split(':',$proxy));
-    if ($port == 443) {
+    if ($https) {
       printf "--> %s\n",$connect if $opt_v;
       nvtsend($connect,"");
       $_ = <$SH>;
@@ -932,14 +980,13 @@ sub serverconnect {
       unless (/^HTTP.1.. 200/) {
         die "$0: proxy error : $_";
       }
-      eval "use IO::Socket::SSL";
-      die "$0: cannot load IO::Socket::SSL\n" if $@;
+      &enable_ssl;
       $SH = IO::Socket::SSL->start_SSL($SH,%SSL);
     }
   } else {
     tcpconnect($server,$port);
   }
-#  if ($port == 443 and $opt_v) {
+#  if ($https and $opt_v) {
 #    printf "%s\n",$SH->get_cipher();
 #  }
 }
@@ -954,10 +1001,9 @@ sub tcpconnect {
     undef $SH;
   }
 
-  if ($port == 443) {
+  if ($https) {
     # eval "use IO::Socket::SSL qw(debug3)";
-    eval "use IO::Socket::SSL";
-    die "$0: cannot load IO::Socket::SSL\n" if $@;
+    &enable_ssl;
     $SH = IO::Socket::SSL->new(
       PeerAddr => $server,
       PeerPort => $port,
@@ -974,6 +1020,7 @@ sub tcpconnect {
 
   if ($SH) {
     autoflush $SH 1;
+    binmode $SH;
   } else {
     die "$0: cannot connect $server:$port - $@\n";
   }
@@ -982,6 +1029,18 @@ sub tcpconnect {
 }
 
 
+sub enable_ssl {
+  eval "use IO::Socket::SSL";
+  die "$0: cannot load IO::Socket::SSL\n" if $@;
+  eval '$SSL{SSL_verify_mode} = 0 if Net::SSLeay::SSLeay() <= 9470143';
+  if ($opt_v) {
+    foreach my $v (keys %SSL) {
+      printf "%s => %s\n",$v,$SSL{$v};
+    }
+  }
+}
+
+
 sub sendheader {
   my $sp = shift;
   my @head = @_;
@@ -1018,6 +1077,18 @@ sub nvtsend {
 }
 
 
+sub quote {
+  local $_ = shift;
+  s/([^\w\@\/%^,.=+_:+-])/\\$1/g;
+  return $_;
+}
+
+
+sub debug {
+  print "## DEBUG: @_\n" if $DEBUG;
+}
+
+
 # from MIME::Base64::Perl
 sub encode_b64 {
   my $res = "";