lib/Packages/DoSearchContents.pm

   1 package Packages::DoSearchContents;
   2
   3 use strict;
   4 use warnings;
   5
   6 use Benchmark;
   7 use DB_File;
   8 use URI::Escape;
   9 use HTML::Entities;
  10 use Exporter;
  11 our @ISA = qw( Exporter );
  12 our @EXPORT = qw( do_search_contents );
  13
  14 use Deb::Versions;
  15 use Packages::Search qw( :all );
  16 use Packages::CGI;
  17 use Packages::DB;
  18 use Packages::Config qw( $DBDIR $SEARCH_URL $SEARCH_CGI $SEARCH_PAGE
  19                          @SUITES @ARCHIVES $ROOT );
  20
  21 sub do_search_contents {
  22     my ($params, $opts, $html_header, $menu, $page_content) = @_;
  23
  24     if ($params->{errors}{keywords}) {
  25         fatal_error( "keyword not valid or missing" );
  26     } elsif (length($opts->{keywords}) < 2) {
  27         fatal_error( "keyword too short (keywords need to have at least two characters)" );
  28     }
  29     if ($params->{errors}{suite}) {
  30         fatal_error( "suite not valid or not specified" );
  31     }
  32     if (@{$opts->{suite}} > 1) {
  33         fatal_error( "more than one suite specified for contents search (@{$opts->{suite}})" );
  34     }
  35
  36     $$menu = "";
  37
  38     my $keyword = $opts->{keywords};
  39     my $searchon = $opts->{searchon};
  40     my $exact = $opts->{exact};
  41     my $suite = $opts->{suite}[0];
  42     my $archive = $opts->{archive}[0] ||'';
  43     $Packages::Search::too_many_hits = 0;
  44
  45     # for URL construction
  46     my $keyword_esc = uri_escape( $keyword );
  47     my $suites_param = join ',', @{$params->{values}{suite}{no_replace}};
  48     my $sections_param = join ',', @{$params->{values}{section}{no_replace}};
  49     my $archs_param = join ',', @{$params->{values}{arch}{no_replace}};
  50
  51     # for output
  52     my $keyword_enc = encode_entities $keyword || '';
  53     my $searchon_enc = encode_entities $searchon;
  54     my $suites_enc = encode_entities( join( ', ', @{$params->{values}{suite}{no_replace}} ) );
  55     my $sections_enc = encode_entities( join( ', ', @{$params->{values}{section}{no_replace}} ) );
  56     my $archs_enc = encode_entities( join( ', ',  @{$params->{values}{arch}{no_replace}} ) );
  57
  58     my $st0 = new Benchmark;
  59     my (@results);
  60
  61     unless (@Packages::CGI::fatal_errors) {
  62
  63         my $nres = 0;
  64
  65         my $kw = lc $keyword;
  66         # full filename search is tricky
  67         my $ffn = $searchon eq 'filenames';
  68
  69         my $reverses = tie my %reverses, 'DB_File', "$DBDIR/contents/reverse_$suite.db",
  70             O_RDONLY, 0666, $DB_BTREE
  71             or die "Failed opening reverse DB: $!";
  72
  73         if ($ffn) {
  74             open FILENAMES, '-|', 'fgrep', '--', $kw, "$DBDIR/contents/filenames_$suite.txt"
  75                 or die "Failed opening filename table: $!";
  76
  77             error( "Exact and fullfilenamesearch don't go along" )
  78                 if $ffn and $exact;
  79
  80             while (<FILENAMES>) {
  81                 chomp;
  82                 &searchfile(\@results, reverse($_)."/", \$nres, $reverses);
  83                 last if $Packages::Search::too_many_hits;
  84             }
  85             close FILENAMES or warn "fgrep error: $!\n";
  86         } else {
  87
  88             $kw = reverse $kw;
  89
  90             # exact filename searching follows trivially:
  91             $kw = "$kw/" if $exact;
  92
  93             &searchfile(\@results, $kw, \$nres, $reverses);
  94         }
  95         $reverses = undef;
  96         untie %reverses;
  97
  98
  99         my $st1 = new Benchmark;
 100         my $std = timediff($st1, $st0);
 101         debug( "Search took ".timestr($std) );
 102     }
 103
 104     my $suite_wording = $suites_enc eq "all" ? "all suites"
 105         : "suite(s) <em>$suites_enc</em>";
 106     my $section_wording = $sections_enc eq 'all' ? "all sections"
 107         : "section(s) <em>$sections_enc</em>";
 108     my $arch_wording = $archs_enc eq 'any' ? "all architectures"
 109         : "architecture(s) <em>$archs_enc</em>";
 110     my $wording = $opts->{exact} ? "exact filenames" : "filenames that contain";
 111     $wording = "paths that end with" if $searchon eq "contents";
 112     msg( "You have searched for ${wording} <em>$keyword_enc</em> in $suite_wording, $section_wording, and $arch_wording." );
 113
 114     if ($Packages::Search::too_many_hits) {
 115         error( "Your search was too wide so we will only display only the first about 100 matches. Please consider using a longer keyword or more keywords." );
 116     }
 117
 118     if (!@Packages::CGI::fatal_errors && !@results) {
 119         error( "Nothing found" );
 120     }
 121
 122     %$html_header = ( title => 'Package Contents Search Results' ,
 123                       lang => 'en',
 124                       title_tag => 'Debian Package Contents Search Results',
 125                       print_title => 1,
 126                       print_search_field => 'packages',
 127                       search_field_values => {
 128                           keywords => $keyword_enc,
 129                           searchon => 'contents',
 130                           arch => $archs_enc,
 131                           suite => $suites_enc,
 132                           section => $sections_enc,
 133                           exact => $opts->{exact},
 134                           debug => $opts->{debug},
 135                       },
 136                       );
 137
 138     $$page_content = '';
 139     if (@results) {
 140         $$page_content .= "<p>Found ".scalar(@results)." results</p>";
 141         $$page_content .= "<div  id=\"pcontentsres\"><table><colgroup><col><col></colgroup><tr><th style=\"text-align:center\">File</th><th style=\"text-align:center\">Packages</th></tr>";
 142         foreach my $result (sort { $a->[0] cmp $b->[0] } @results) {
 143             my $file = shift @$result;
 144             $$page_content .= "<tr><td class=\"file\">$file</td><td>";
 145             my %pkgs;
 146             foreach (@$result) {
 147                 my ($pkg, $arch) = split /:/, $_;
 148                 $pkgs{$pkg}{$arch}++;
 149             }
 150             $$page_content .= join( ", ", map { "<a href=\"$ROOT/$suite/$_\">$_</a>" } sort keys %pkgs);
 151             $$page_content .= '</td>';
 152         }
 153         $$page_content .= '<tr><th style="text-align:center">File</th><th style="text-align:center">Packages</th></tr>' if @results > 20;
 154         $$page_content .= '</table></div>';
 155     }
 156 } # sub do_search_contents
 157
 158 sub searchfile
 159 {
 160     my ($results, $kw, $nres, $reverses) = @_;
 161
 162     my ($key, $value) = ($kw, "");
 163     debug( "searchfile: kw=$kw", 1 );
 164     for (my $status = $reverses->seq($key, $value, R_CURSOR);
 165         $status == 0;
 166         $status =  $reverses->seq( $key, $value, R_NEXT)) {
 167
 168         # FIXME: what's the most efficient "is prefix of" thingy? We only want to know
 169         # whether $kw is or is not a prefix of $key
 170         last unless index($key, $kw) == 0;
 171         debug( "found $key", 2 );
 172
 173         my @hits = split /\0/o, $value;
 174         push @$results, [ scalar reverse($key), @hits ];
 175         last if ($$nres)++ > 100;
 176     }
 177
 178     $Packages::Search::too_many_hits += $$nres - 100 if $$nres > 100;
 179 }
 180
 181
 182 1;