]> git.deb.at Git - deb/packages.git/blobdiff - lib/Packages/DoSearchContents.pm
- Make lookup of download sites completly archive based
[deb/packages.git] / lib / Packages / DoSearchContents.pm
index b1290f29a680919458ae3b65f7c684cbd1b71122..3079f92de025aedd126746745b47f8fe6a1a40a2 100644 (file)
@@ -3,7 +3,7 @@ package Packages::DoSearchContents;
 use strict;
 use warnings;
 
-use Benchmark;
+use Benchmark ':hireswallclock';
 use DB_File;
 use URI::Escape;
 use HTML::Entities;
@@ -12,19 +12,33 @@ our @ISA = qw( Exporter );
 our @EXPORT = qw( do_search_contents );
 
 use Deb::Versions;
+use Packages::I18N::Locale;
 use Packages::Search qw( :all );
 use Packages::CGI;
 use Packages::DB;
-use Packages::Config qw( $DBDIR $SEARCH_URL $SEARCH_CGI $SEARCH_PAGE
-                        @SUITES @ARCHIVES $ROOT );
+use Packages::Config qw( $DBDIR $SEARCH_URL $SEARCH_PAGE
+                        @SUITES @ARCHIVES @ARCHITECTURES $ROOT );
 
 sub do_search_contents {
     my ($params, $opts, $html_header, $menu, $page_content) = @_;
 
     if ($params->{errors}{keywords}) {
-       fatal_error( "keyword not valid or missing" );
+       fatal_error( _g( "keyword not valid or missing" ) );
     } elsif (length($opts->{keywords}) < 2) {
-       fatal_error( "keyword too short (keywords need to have at least two characters)" );
+       fatal_error( _g( "keyword too short (keywords need to have at least two characters)" ) );
+    }
+    if ($params->{errors}{suite}) {
+       fatal_error( _g( "suite not valid or not specified" ) );
+    }
+
+    #FIXME: that's extremely hacky atm
+    if ($params->{values}{suite}{no_replace}[0] eq 'default') {
+       $params->{values}{suite}{no_replace} =
+           $params->{values}{suite}{final} = $opts->{suite} = [ 'stable' ];
+    }
+
+    if (@{$opts->{suite}} > 1) {
+       fatal_error( sprintf( _g( "more than one suite specified for contents search (%s)" ), "@{$opts->{suite}}" ) );
     }
 
     $$menu = "";
@@ -32,6 +46,9 @@ sub do_search_contents {
     my $keyword = $opts->{keywords};
     my $searchon = $opts->{searchon};
     my $exact = $opts->{exact};
+    my $suite = $opts->{suite}[0];
+    my $archive = $opts->{archive}[0] ||'';
+    $Packages::Search::too_many_hits = 0;
 
     # for URL construction
     my $keyword_esc = uri_escape( $keyword );
@@ -42,12 +59,12 @@ sub do_search_contents {
     # for output
     my $keyword_enc = encode_entities $keyword || '';
     my $searchon_enc = encode_entities $searchon;
-    my $suites_enc = encode_entities( join( ', ', @{$params->{values}{suite}{no_replace}} ) );
-    my $sections_enc = encode_entities( join( ', ', @{$params->{values}{section}{no_replace}} ) );
-    my $archs_enc = encode_entities( join( ', ',  @{$params->{values}{arch}{no_replace}} ) );
+    my $suites_enc = encode_entities( join( ', ', @{$params->{values}{suite}{no_replace}} ), '&<>"' );
+    my $sections_enc = encode_entities( join( ', ', @{$params->{values}{section}{no_replace}} ), '&<>"' );
+    my $archs_enc = encode_entities( join( ', ',  @{$params->{values}{arch}{no_replace}} ), '&<>"' );
     
     my $st0 = new Benchmark;
-    my (@results, @non_results);
+    my (@results);
 
     unless (@Packages::CGI::fatal_errors) {
 
@@ -57,20 +74,23 @@ sub do_search_contents {
        # full filename search is tricky
        my $ffn = $searchon eq 'filenames';
 
-       my $suite = 'stable'; #fixme
-
        my $reverses = tie my %reverses, 'DB_File', "$DBDIR/contents/reverse_$suite.db",
            O_RDONLY, 0666, $DB_BTREE
            or die "Failed opening reverse DB: $!";
 
        if ($ffn) {
-           open FILENAMES, '-|', 'fgrep', '--', "$DBDIR/contents/filenames_$suite.txt"
+           open FILENAMES, '-|', 'fgrep', '--', $kw, "$DBDIR/contents/filenames_$suite.txt"
                or die "Failed opening filename table: $!";
+
+           error( _g( "Exact and fullfilenamesearch don't go along" ) )
+               if $ffn and $exact;
+
            while (<FILENAMES>) {
                chomp;
-               last unless &searchfile(\@results, reverse($_)."/", \$nres, $reverses);
+               &searchfile(\@results, reverse($_)."/", \$nres, $reverses);
+               last if $Packages::Search::too_many_hits;
            }
-           close FILENAMES;
+           close FILENAMES or warn "fgrep error: $!\n";
        } else {
 
            $kw = reverse $kw;
@@ -78,8 +98,6 @@ sub do_search_contents {
            # exact filename searching follows trivially:
            $kw = "$kw/" if $exact;
 
-           print "ERROR: Exact and fullfilenamesearch don't go along" if $ffn and $exact;
-
            &searchfile(\@results, $kw, \$nres, $reverses);
        }
        $reverses = undef;
@@ -88,31 +106,37 @@ sub do_search_contents {
     
        my $st1 = new Benchmark;
        my $std = timediff($st1, $st0);
-       debug( "Search took ".timestr($std) );
+       debug( "Search took ".timestr($std) ) if DEBUG;
     }
     
-    my $suite_wording = $suites_enc eq "all" ? "all suites"
-       : "suite(s) <em>$suites_enc</em>";
-    my $section_wording = $sections_enc eq 'all' ? "all sections"
-       : "section(s) <em>$sections_enc</em>";
-    my $arch_wording = $archs_enc eq 'any' ? "all architectures"
-       : "architecture(s) <em>$archs_enc</em>";
-    my $wording = $opts->{exact} ? "exact filenames" : "filenames that contain";
-    $wording = "paths that end with" if $searchon eq "contents";
-    msg( "You have searched for ${wording} <em>$keyword_enc</em> in $suite_wording, $section_wording, and $arch_wording." );
+    my $suite_wording = sprintf(_g("suite <em>%s</em>"), $suites_enc );
+    my $section_wording = $sections_enc eq 'all' ? _g("all sections")
+       : sprintf(_g("section(s) <em>%s</em>"), $sections_enc );
+    my $arch_wording = $archs_enc eq 'any' ? _g("all architectures")
+       : sprintf(_g("architecture(s) <em>%s</em>"), $archs_enc );
+    my $wording = _g("filenames that contain");
+    if ($searchon eq 'contents') {
+       if ($opts->{exact}) {
+           $wording =  _g("files named");
+       } else {
+           $wording = _g("paths that end with");
+       }
+    }
+    msg( sprintf( _g("You have searched for %s <em>%s</em> in %s, %s, and %s." ),
+                 $wording, $keyword_enc,
+                 $suite_wording, $section_wording, $arch_wording ) );
+
+    msg( _g("Search in other suite:")." ".
+        join( ' ', map { '[<a href="'.make_search_url('',"keywords=$keyword_esc",{suite=>$_}).
+                             "\">$_</a>]" } @SUITES ) );
 
     if ($Packages::Search::too_many_hits) {
-       error( "Your search was too wide so we will only display exact matches. At least <em>$Packages::Search::too_many_hits</em> results have been omitted and will not be displayed. Please consider using a longer keyword or more keywords." );
+       error( _g( "Your search was too wide so we will only display only the first about 100 matches. Please consider using a longer keyword or more keywords." ) );
     }
     
-    $$page_content = '';
-    if (!@Packages::CGI::fatal_errors && !@results) {
-       $$page_content .= "No results";
-    }
-
-    %$html_header = ( title => 'Package Contents Search Results' ,
-                     lang => 'en',
-                     title_tag => 'Debian Package Contents Search Results',
+    %$html_header = ( title => _g( 'Package Contents Search Results' ),
+                     lang => $opts->{lang},
+                     title_tag => _g( 'Debian Package Contents Search Results' ),
                      print_title => 1,
                      print_search_field => 'packages',
                      search_field_values => { 
@@ -126,11 +150,63 @@ sub do_search_contents {
                      },
                      );
 
-    if (@results) {
-       $$page_content .= scalar @results . " results displayed:<br>";
-       foreach (@results) {
-           $$page_content .= "<tt>$_</tt><br>\n";
+    $$page_content = '';
+    my (%results,%archs);
+    foreach my $result (sort { $a->[0] cmp $b->[0] } @results) {
+       my $file = shift @$result;
+       my %pkgs;
+       foreach (@$result) {
+           my ($pkg, $arch) = split /:/, $_;
+           next unless $opts->{h_archs}{$arch};
+           $pkgs{$pkg}{$arch}++;
+           $archs{$arch}++ unless $arch eq 'all';
+       }
+       next unless keys %pkgs;
+       $results{$file} = \%pkgs;
+    }
+    my @all_archs = keys %archs;
+    @all_archs = @ARCHITECTURES unless @all_archs;
+    debug( "all_archs = @all_archs", 1 ) if DEBUG;
+    msg(_g("Limit search to a specific architecture:")." ".
+       join( ' ', map { '[<a href="'.make_search_url('',"keywords=$keyword_esc",{arch=>$_}).
+                            "\">$_</a>]" } @all_archs ) )
+       unless (@{$opts->{arch}} == 1) || (@all_archs == 1);
+    msg(sprintf(_g('Search in <a href="%s">all architectures</a>'),
+               make_search_url('',"keywords=$keyword_esc",{arch=>undef})))
+       if @{$opts->{arch}} == 1;
+
+    if (!@Packages::CGI::fatal_errors && !keys(%results)) {
+       error( _g( "Nothing found" ) );
+    }
+
+    if (keys %results) {
+       $$page_content .= "<p>".sprintf( _g( 'Found %s results' ),
+                                        scalar keys %results )."</p>";
+       $$page_content .= '<div
+       id="pcontentsres"><table><colgroup><col><col></colgroup><tr><th>'._g('File').'</th><th>'._g('Packages')
+           .'</th></tr>';
+       foreach my $file (sort keys %results) {
+           $$page_content .= "<tr><td class=\"file\">/$file</td><td>";
+           my @pkgs;
+           foreach my $pkg (sort keys %{$results{$file}}) {
+               my $arch_str = '';
+               my @archs = keys %{$results{$file}{$pkg}};
+               unless ($results{$file}{$pkg}{all} ||
+                       (@archs == @all_archs)) {
+                   if (@archs < @all_archs/2) {
+                       $arch_str = ' ['.join(' ',sort @archs).']';
+                   } else {
+                       $arch_str = ' ['._g('not').' '.
+                           join(' ', grep { !$results{$file}{$pkg}{$_} } @all_archs).']';
+                   }
+               }
+               push @pkgs, "<a href=\"".make_url($pkg,'',{suite=>$suite})."\">$pkg</a>$arch_str";
+           }
+           $$page_content .= join( ", ", @pkgs);
+           $$page_content .= '</td>';
        }
+       $$page_content .= '<tr><th>'._g('File').'</th><th>'._g('Packages').'</th></tr>' if @results > 20;
+       $$page_content .= '</table></div>';
     }
 } # sub do_search_contents
 
@@ -139,6 +215,7 @@ sub searchfile
     my ($results, $kw, $nres, $reverses) = @_;
 
     my ($key, $value) = ($kw, "");
+    debug( "searchfile: kw=$kw", 1 ) if DEBUG;
     for (my $status = $reverses->seq($key, $value, R_CURSOR);
        $status == 0;
        $status =  $reverses->seq( $key, $value, R_NEXT)) {
@@ -146,13 +223,14 @@ sub searchfile
        # FIXME: what's the most efficient "is prefix of" thingy? We only want to know
        # whether $kw is or is not a prefix of $key
        last unless index($key, $kw) == 0;
+       debug( "found $key", 2 ) if DEBUG;
 
        my @hits = split /\0/o, $value;
-       push @$results, reverse($key)." is found in @hits";
+       push @$results, [ scalar reverse($key), @hits ];
        last if ($$nres)++ > 100;
     }
 
-    return $$nres<100;
+    $Packages::Search::too_many_hits += $$nres - 100 if $$nres > 100;
 }