Comment clean-up: Remove $Id$, fix FSF address, copyright years
[deb/packages.git] / lib / Packages / Dispatcher.pm
1 #!/usr/bin/perl -T
2 # Packages::Dispatcher -- CGI interface for packages.debian.org
3 #
4 # Copyright (C) 2004-2007 Frank Lichtenheld
5 #
6 #    This program is free software; you can redistribute it and/or modify
7 #    it under the terms of the GNU General Public License as published by
8 #    the Free Software Foundation; either version 1 of the License, or
9 #    (at your option) any later version.
10 #
11 #    This program is distributed in the hope that it will be useful,
12 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
13 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14 #    GNU General Public License for more details.
15 #
16 #    You should have received a copy of the GNU General Public License
17 #    along with this program; if not, write to the Free Software
18 #    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
19
20 package Packages::Dispatcher;
21
22 use strict;
23 use warnings;
24
25 use CGI;
26 use POSIX;
27 use File::Basename;
28 use URI::Escape;
29 use HTML::Entities;
30 use Template;
31 use DB_File;
32 use Benchmark ':hireswallclock';
33 use I18N::AcceptLanguage;
34 use Locale::gettext;
35
36 use Deb::Versions;
37 use Packages::Config qw( $DBDIR $ROOT $TEMPLATEDIR $CACHEDIR
38                          @SUITES @SECTIONS @ARCHIVES @ARCHITECTURES @PRIORITIES
39                          @LANGUAGES @DDTP_LANGUAGES $LOCALES );
40 use Packages::CGI qw( :DEFAULT error get_all_messages );
41 use Packages::DB;
42 use Packages::Search qw( :all );
43 use Packages::Template ();
44 use Packages::Sections;
45 use Packages::I18N::Locale;
46
47 use Packages::DoSearch;
48 use Packages::DoSearchContents;
49 use Packages::DoShow;
50 use Packages::DoIndex;
51 use Packages::DoNewPkg;
52 use Packages::DoDownload;
53 use Packages::DoFilelist;
54
55
56 sub do_dispatch {
57
58     &Packages::CGI::reset;
59     $Packages::Search::too_many_hits = 0;
60
61     # clean up env
62     $ENV{PATH} = "/bin:/usr/bin";
63     delete $ENV{'LANGUAGE'};
64     delete $ENV{'LANG'};
65     delete $ENV{'LC_ALL'};
66     delete $ENV{'LC_MESSAGES'};
67
68     my %SUITES_ALIAS = ( oldstable => 'sarge',
69                          stable => 'etch',
70                          testing => 'lenny',
71                          unstable => 'sid',
72                          '3.1' => 'sarge',
73                          '4.0' => 'etch' );
74
75     # Read in all the variables set by the form
76     my $input;
77     if ($ARGV[0] && ($ARGV[0] eq 'php')) {
78         $input = new CGI(\*STDIN);
79     } else {
80         $input = new CGI;
81     }
82     my $cgi_error = $input->cgi_error;
83     if ($cgi_error) {
84         fatal_error( "Error parsing the request", $cgi_error );
85     }
86
87     my $pet0 = new Benchmark;
88     my $tet0 = new Benchmark;
89     my $debug = DEBUG && $input->param("debug");
90     $debug = 0 if !defined($debug) || $debug !~ /^\d+$/o;
91     $Packages::CGI::debug = $debug;
92
93     my $homedir = dirname($ENV{SCRIPT_FILENAME}).'/../';
94     &Packages::Config::init( $homedir );
95     &Packages::DB::init();
96
97     my $acc = I18N::AcceptLanguage->new();
98     my %all_langs = map { $_ => 1 } (@LANGUAGES, @DDTP_LANGUAGES);
99     my @all_langs = sort keys %all_langs;
100     my $http_lang = $acc->accepts( $input->http("Accept-Language"),
101                                    \@all_langs ) || 'en';
102     debug( "LANGUAGES=@all_langs header=".
103            ($input->http("Accept-Language")||'').
104            " http_lang=$http_lang", 2 ) if DEBUG;
105     bindtextdomain ( 'pdo', $LOCALES );
106     textdomain( 'pdo' );
107
108     # backwards compatibility stuff
109     debug( "SCRIPT_URL=$ENV{SCRIPT_URL} SCRIPT_URI=$ENV{SCRIPT_URI}" ) if DEBUG;
110
111     if ($ENV{SCRIPT_URL} =~ m|^/cgi-bin/search_|) {
112         error( "You reached this site over an old URL. ".
113                "Depending on the exact parameters your search might work or not." );
114         # contents search changed a lot
115         if ($ENV{SCRIPT_URL} =~ m|^/cgi-bin/search_contents|) {
116             $input->param('keywords',$input->param('word')) if $input->param('word');
117             $input->param('searchon','contents');
118             for ($input->param('searchmode')) {
119                 /^searchfiles/ && do {
120                     $input->param('mode','filename');
121                     last;
122                 };
123                 /^filelist/ && do {
124                     $ENV{PATH_INFO} = '/'.join('/',($input->param('version')||'stable',
125                                                     $input->param('keywords'),
126                                                     $input->param('arch')||'i386',
127                                                     'filelist' ));
128                     $input->delete('searchon','version','keywords','arch');
129                     last;
130                 };
131             }
132         }
133     }
134     if ($ENV{is_reportbug}) {
135         $input->param('exact', 1);
136         debug( "reportbug detected, set paramater exact to '1'" ) if DEBUG;
137     }
138
139     my $what_to_do = 'show';
140     my $source = 0;
141     if (my $path = $input->path_info() || $input->param('PATH_INFO')) {
142         my @components = grep { $_ } map { lc $_ } split /\/+/, $path;
143
144         debug( "PATH_INFO=$path components=@components", 3) if DEBUG;
145
146         push @components, 'index' if @components && $path =~ m,/$,;
147
148         my %LANGUAGES = map { $_ => 1 } @all_langs;
149         if (@components > 0 and $LANGUAGES{$components[0]}
150             and !$input->param('lang')) {
151             $input->param( 'lang', shift(@components) );
152         }
153         if (@components > 0 and $components[0] eq 'source') {
154             shift @components;
155             $input->param( 'source', 1 );
156         }
157         if (@components > 0 and $components[0] eq 'search') {
158             shift @components;
159             $what_to_do = 'search';
160             # Done
161             fatal_error( _g( "search doesn't take any more path elements" ) )
162                 if @components;
163         } elsif (@components == 0) {
164             fatal_error( _g( "We're supposed to display the homepage here, instead of getting dispatch.pl" ) );
165         } elsif (@components == 1) {
166             $what_to_do = 'search';
167         } else {
168
169             for ($components[-1]) {
170                 /^(index|allpackages|newpkg|changelog|copyright|download|filelist)$/ && do {
171                     pop @components;
172                     $what_to_do = $1;
173                     last;
174                 };
175             }
176
177             my %SUITES = map { $_ => 1 } @SUITES;
178             my %SECTIONS = map { $_ => 1 } @SECTIONS;
179             my %ARCHIVES = map { $_ => 1 } @ARCHIVES;
180             my %ARCHITECTURES = map { $_ => 1 } (@ARCHITECTURES, 'all', 'any');
181             my %PRIORITIES = map { $_ => 1 } @PRIORITIES;
182             my %params_set;
183             sub set_param_once {
184                 my ($cgi, $params_set, $key, $val) = @_;
185                 debug("set_param_once key=$key val=$val",4) if DEBUG;
186                 if ($params_set->{$key}++) {
187                     fatal_error( sprintf( _g( "%s set more than once in path" ), $key ) );
188                 } else {
189                     $cgi->param( $key, $val );
190                 }
191             }
192
193             my (@pkg, $need_pkg);
194             foreach (reverse @components) {
195                 $need_pkg = !@pkg
196                     && ($what_to_do !~ /^(index|allpackages|newpkg)$/);
197                 debug("need_pkg=$need_pkg component=$_",4) if DEBUG;
198                 if (!$need_pkg && $SUITES{$_}) {
199                     set_param_once( $input, \%params_set, 'suite', $_);
200                 } elsif (!$need_pkg && (my $s = $SUITES_ALIAS{$_})) {
201                     set_param_once( $input, \%params_set, 'suite', $s);
202                 } elsif (!$need_pkg && $SECTIONS{$_}) {
203                     set_param_once( $input, \%params_set, 'section', $_);
204                 } elsif (!$need_pkg && $ARCHIVES{$_}) {
205                     set_param_once( $input, \%params_set, 'archive', $_);
206                 } elsif (!$need_pkg && $sections_descs{$_}) {
207                     set_param_once( $input, \%params_set, 'subsection', $_);
208                 } elsif (!$need_pkg && ($_ eq 'source')) {
209                     set_param_once( $input, \%params_set, 'source', 1);
210                 } elsif ($ARCHITECTURES{$_}) {
211                     set_param_once( $input, \%params_set, 'arch', $_)
212                         unless $_ eq 'any';
213                 } elsif ($PRIORITIES{$_}) {
214                     set_param_once( $input, \%params_set, 'priority', $_);
215                 } else {
216                     push @pkg, $_;
217                 }
218             }
219             @components = @pkg;
220
221             if (@components > 1) {
222                 fatal_error( sprintf( _g( "two or more packages specified (%s)" ), "@components" ) );
223             }
224         } # else if (@components == 1)
225
226         if (@components) {
227             my $c = uri_unescape($components[0]);
228             $input->param( 'keywords', $c );
229             $input->param( 'package', $c );
230         }
231     }
232
233     my ( $pkg, @suites, @sections, @subsections, @archives, @archs );
234
235     my %params_def = ( keywords => { default => undef,
236                                      array => '\s+',
237                                      match => '^([-+\@\w\/.:]+)$',
238                                  },
239                        package => { default => undef,
240                                     match => '^([\w.+-]+)$',
241                                     var => \$pkg },
242                        suite => { default => 'default', match => '^([\w-]+)$',
243                                   array => ',', var => \@suites,
244                                   replace => { all => \@SUITES,
245                                                default => \@SUITES,
246                                                %SUITES_ALIAS } },
247                        archive => { default => ($what_to_do eq 'search') ?
248                                         'all' : 'default',
249                                         match => '^([\w-]+)$',
250                                         array => ',', var => \@archives,
251                                         replace => { all => \@ARCHIVES,
252                                                      default => \@ARCHIVES} },
253                        exact => { default => 0, match => '^(\w+)$',  },
254                        lang => { default => $http_lang, match => '^(\w+)$',  },
255                        source => { default => 0, match => '^(\d+)$',  },
256                        debug => { default => 0, match => '^(\d+)$',  },
257                        searchon => { default => 'names', match => '^(\w+)$', },
258                        section => { default => 'all', match => '^([\w-]+)$',
259                                     alias => 'release', array => ',',
260                                     var => \@sections,
261                                     replace => { all => \@SECTIONS } },
262                        subsection => { default => 'default', match => '^([\w-]+)$',
263                                        array => ',', var => \@subsections,
264                                        replace => { default => [] } },
265                        priority => { default => 'default', match => '^([\w-]+)$',
266                                      array => ',',
267                                      replace => { default => [] } },
268                        arch => { default => 'any', match => '^([\w-]+)$',
269                                  array => ',', var => \@archs, replace =>
270                                  { any => \@ARCHITECTURES } },
271                        format => { default => 'html', match => '^([\w.]+)$',  },
272                    mode => { default => '', match => '^(\w+)$',  },
273                    sort_by => { default => 'file', match => '^(\w+)$', },
274                    );
275     my %opts;
276     my %params = Packages::CGI::parse_params( $input, \%params_def, \%opts );
277 Packages::CGI::init_url( $input, \%params, \%opts );
278
279     my $locale = get_locale($opts{lang});
280     my $charset = get_charset($opts{lang});
281     setlocale ( LC_ALL, $locale )
282         or do { debug( "couldn't set locale $locale, using default" ) if DEBUG;
283                 setlocale( LC_ALL, get_locale() )
284                     or do {
285                         debug( "couldn't set default locale either" ) if DEBUG;
286                         setlocale( LC_ALL, "C" );
287                     };
288             };
289     debug( "locale=$locale charset=$charset", 2 ) if DEBUG;
290
291     $opts{h_suites} = { map { $_ => 1 } @suites };
292     $opts{h_sections} = { map { $_ => 1 } @sections };
293     $opts{h_archives} = { map { $_ => 1 } @archives };
294     $opts{h_archs} = { map { $_ => 1 } @archs };
295
296     if ((($opts{searchon} eq 'names') && $opts{source}) ||
297         ($opts{searchon} eq 'sourcenames')) {
298         $opts{source} = 1;
299         $opts{searchon} = 'names',
300         $opts{searchon_form} = 'sourcenames';
301     } else {
302         $opts{searchon_form} = $opts{searchon};
303     }
304     if ($opts{searchon} eq 'contents' or $opts{searchon} eq 'filenames') {
305         $what_to_do = 'search_contents';
306     }
307
308     my $pet1 = new Benchmark;
309     my $petd = timediff($pet1, $pet0);
310     debug( "Parameter evaluation took ".timestr($petd) ) if DEBUG;
311
312     my $template = new Packages::Template( $TEMPLATEDIR, $opts{format},
313                                            { lang => $opts{lang}, charset => $charset,
314                                              debug => ( DEBUG ? $opts{debug} : 0 ) },
315                                            ( $CACHEDIR ? { COMPILE_DIR => $CACHEDIR } : {} ) );
316
317     #FIXME: ugly hack
318     unless (($what_to_do eq 'allpackages' and $opts{format} =~ /^(html|txt\.gz)/)
319             || -e "$TEMPLATEDIR/$opts{format}/${what_to_do}.tmpl") {
320         fatal_error( "requested format not available for this document",
321                      "406 requested format not available");
322     }
323
324     my (%page_content);
325     unless (@Packages::CGI::fatal_errors) {
326         no strict 'refs';
327         &{"do_$what_to_do"}( \%params, \%opts, \%page_content );
328     }
329
330     $page_content{opts} = \%opts;
331     $page_content{params} = \%params;
332
333     $page_content{make_search_url} = sub { return &Packages::CGI::make_search_url(@_) };
334     $page_content{make_url} = sub { return &Packages::CGI::make_url(@_) };
335     # needed to work around the limitations of the the FILTER syntax
336     $page_content{html_encode} = sub { return HTML::Entities::encode_entities(@_,'<>&"') };
337     $page_content{uri_escape} = sub { return URI::Escape::uri_escape(@_) };
338     $page_content{quotemeta} = sub { return quotemeta($_[0]) };
339     $page_content{string2id} = sub { return &Packages::CGI::string2id(@_) };
340
341     unless (@Packages::CGI::fatal_errors) {
342         print $input->header(-charset => $charset, -type => get_mime($opts{format}) );
343         #use Data::Dumper;
344         #print '<pre>'.Dumper(\%ENV, \%page_content, get_all_messages()).'</pre>';
345         print $template->page( $what_to_do, { %page_content, %{ get_all_messages() } } );
346     } elsif ($Packages::CGI::http_code && $Packages::CGI::http_code !~ /^2\d\d/) {
347         print $input->header( -charset => $charset, -status => $Packages::CGI::http_code );
348     } else {
349         # We currently have only an error page in html
350         # so no format support here
351         print $input->header( -charset => $charset );
352         print $template->error_page( get_all_messages() );
353     }
354 }
355
356 1;
357 # vim: ts=8 sw=4