source: trunk/scripts/download.pl @ 31677

Last change on this file since 31677 was 31677, checked in by jow, 4 years ago

[scripts] download.pl:

  • cleanup cache handling code
  • use alternative m and s/ delimiters to get rid of tedious slash escaping
  • use multi-argument form of system() where possible to avoid quoting & escaping issues
  • avoid a temporary variable
  • Property svn:eol-style set to native
  • Property svn:executable set to *
File size: 5.7 KB
Line 
1#!/usr/bin/env perl
2#
3# Copyright (C) 2006 OpenWrt.org
4#
5# This is free software, licensed under the GNU General Public License v2.
6# See /LICENSE for more information.
7#
8
9use strict;
10use warnings;
11use File::Basename;
12use File::Copy;
13
14@ARGV > 2 or die "Syntax: $0 <target dir> <filename> <md5sum> [<mirror> ...]\n";
15
16my $target = shift @ARGV;
17my $filename = shift @ARGV;
18my $md5sum = shift @ARGV;
19my $scriptdir = dirname($0);
20my @mirrors;
21my $ok;
22
23sub localmirrors {
24        my @mlist;
25        open LM, "$scriptdir/localmirrors" and do {
26            while (<LM>) {
27                        chomp $_;
28                        push @mlist, $_ if $_;
29                }
30                close LM;
31        };
32        open CONFIG, "<".$ENV{'TOPDIR'}."/.config" and do {
33                while (<CONFIG>) {
34                        /^CONFIG_LOCALMIRROR="(.+)"/ and do {
35                                chomp;
36                                my @local_mirrors = split(/;/, $1);
37                                push @mlist, @local_mirrors;
38                        };
39                }
40                close CONFIG;
41        };
42
43        return @mlist;
44}
45
46sub which($) {
47        my $prog = shift;
48        my $res = `which $prog`;
49        $res or return undef;
50        $res =~ /^no / and return undef;
51        $res =~ /not found/ and return undef;
52        return $res;
53}
54
55my $md5cmd = which("md5sum") || which("md5") || die 'no md5 checksum program found, please install md5 or md5sum';
56chomp $md5cmd;
57
58sub download
59{
60        my $mirror = shift;
61        my $options = $ENV{WGET_OPTIONS} || "";
62
63        $mirror =~ s!/$!!;
64
65        if ($mirror =~ s!^file://!!) {
66                if (! -d "$mirror") {
67                        print STDERR "Wrong local cache directory -$mirror-.\n";
68                        cleanup();
69                        return;
70                }
71
72                if (! -d "$target") {
73                        system("mkdir", "-p", "$target/");
74                }
75
76                if (! open TMPDLS, "find $mirror -follow -name $filename 2>/dev/null |") {
77                        print("Failed to search for $filename in $mirror\n");
78                        return;
79                }
80
81                my $link;
82
83                while (defined(my $line = readline TMPDLS)) {
84                        chomp ($link = $line);
85                        if ($. > 1) {
86                                print("$. or more instances of $filename in $mirror found . Only one instance allowed.\n");
87                                return;
88                        }
89                }
90
91                close TMPDLS;
92
93                if (! $link) {
94                        print("No instances of $filename found in $mirror.\n");
95                        return;
96                }
97
98                print("Copying $filename from $link\n");
99                copy($link, "$target/$filename.dl");
100
101                if (system("$md5cmd '$target/$filename.dl' > '$target/$filename.md5sum'")) {
102                        print("Failed to generate md5 sum for $filename\n");
103                        return;
104                }
105        } else {
106                open WGET, "wget -t5 --timeout=20 --no-check-certificate $options -O- '$mirror/$filename' |" or die "Cannot launch wget.\n";
107                open MD5SUM, "| $md5cmd > '$target/$filename.md5sum'" or die "Cannot launch md5sum.\n";
108                open OUTPUT, "> $target/$filename.dl" or die "Cannot create file $target/$filename.dl: $!\n";
109                my $buffer;
110                while (read WGET, $buffer, 1048576) {
111                        print MD5SUM $buffer;
112                        print OUTPUT $buffer;
113                }
114                close MD5SUM;
115                close WGET;
116                close OUTPUT;
117
118                if ($? >> 8) {
119                        print STDERR "Download failed.\n";
120                        cleanup();
121                        return;
122                }
123        }
124
125        my $sum = `cat "$target/$filename.md5sum"`;
126        $sum =~ /^(\w+)\s*/ or die "Could not generate md5sum\n";
127        $sum = $1;
128
129        if (($md5sum =~ /\w{32}/) and ($sum ne $md5sum)) {
130                print STDERR "MD5 sum of the downloaded file does not match (file: $sum, requested: $md5sum) - deleting download.\n";
131                cleanup();
132                return;
133        }
134
135        unlink "$target/$filename";
136        system("mv", "$target/$filename.dl", "$target/$filename");
137        cleanup();
138}
139
140sub cleanup
141{
142        unlink "$target/$filename.dl";
143        unlink "$target/$filename.md5sum";
144}
145
146@mirrors = localmirrors();
147
148foreach my $mirror (@ARGV) {
149        if ($mirror =~ /^\@SF\/(.+)$/) {
150                # give sourceforge a few more tries, because it redirects to different mirrors
151                for (1 .. 5) {
152                        push @mirrors, "http://downloads.sourceforge.net/$1";
153                }
154        } elsif ($mirror =~ /^\@GNU\/(.+)$/) {
155                push @mirrors, "ftp://ftp.gnu.org/gnu/$1";
156                push @mirrors, "ftp://ftp.belnet.be/mirror/ftp.gnu.org/gnu/$1";
157                push @mirrors, "ftp://ftp.mirror.nl/pub/mirror/gnu/$1";
158                push @mirrors, "http://mirror.switch.ch/ftp/mirror/gnu/$1";
159                push @mirrors, "ftp://ftp.uu.net/archive/systems/gnu/$1";
160                push @mirrors, "ftp://ftp.eu.uu.net/pub/gnu/$1";
161                push @mirrors, "ftp://ftp.leo.org/pub/comp/os/unix/gnu/$1";
162                push @mirrors, "ftp://ftp.digex.net/pub/gnu/$1";
163        } elsif ($mirror =~ /^\@KERNEL\/(.+)$/) {
164                my @extra = ( $1 );
165                if ($filename =~ /linux-\d+\.\d+(?:\.\d+)?-rc/) {
166                        push @extra, "$extra[0]/testing";
167                } elsif ($filename =~ /linux-(\d+\.\d+(?:\.\d+)?)/) {
168                        push @extra, "$extra[0]/longterm/v$1";
169                }               
170                foreach my $dir (@extra) {
171                        push @mirrors, "ftp://ftp.all.kernel.org/pub/$dir";
172                        push @mirrors, "http://ftp.all.kernel.org/pub/$dir";
173                        push @mirrors, "ftp://ftp.de.kernel.org/pub/$dir";
174                        push @mirrors, "http://ftp.de.kernel.org/pub/$dir";
175                        push @mirrors, "ftp://ftp.fr.kernel.org/pub/$dir";
176                        push @mirrors, "http://ftp.fr.kernel.org/pub/$dir";
177                }
178    } elsif ($mirror =~ /^\@GNOME\/(.+)$/) {
179                push @mirrors, "http://ftp.gnome.org/pub/GNOME/sources/$1";
180                push @mirrors, "http://ftp.unina.it/pub/linux/GNOME/sources/$1";
181                push @mirrors, "http://fr2.rpmfind.net/linux/gnome.org/sources/$1";
182                push @mirrors, "ftp://ftp.dit.upm.es/pub/GNOME/sources/$1";
183                push @mirrors, "ftp://ftp.no.gnome.org/pub/GNOME/sources/$1";
184                push @mirrors, "http://ftp.acc.umu.se/pub/GNOME/sources/$1";
185                push @mirrors, "http://ftp.belnet.be/mirror/ftp.gnome.org/sources/$1";
186                push @mirrors, "http://linorg.usp.br/gnome/sources/$1";
187                push @mirrors, "http://mirror.aarnet.edu.au/pub/GNOME/sources/$1";
188                push @mirrors, "http://mirrors.ibiblio.org/pub/mirrors/gnome/sources/$1";
189                push @mirrors, "ftp://ftp.cse.buffalo.edu/pub/Gnome/sources/$1";
190                push @mirrors, "ftp://ftp.nara.wide.ad.jp/pub/X11/GNOME/sources/$1";
191    }
192    else {
193                push @mirrors, $mirror;
194        }
195}
196
197#push @mirrors, 'http://mirror1.openwrt.org';
198push @mirrors, 'http://mirror2.openwrt.org/sources';
199push @mirrors, 'http://downloads.openwrt.org/sources';
200
201while (!$ok) {
202        my $mirror = shift @mirrors;
203        $mirror or die "No more mirrors to try - giving up.\n";
204
205        download($mirror);
206        -f "$target/$filename" and $ok = 1;
207}
208
209$SIG{INT} = \&cleanup;
210
Note: See TracBrowser for help on using the repository browser.