lib/Packages/DoSearchContents.pm

   1 package Packages::DoSearchContents;
   2
   3 use strict;
   4 use warnings;
   5
   6 use Benchmark ':hireswallclock';
   7 use DB_File;
   8 use URI::Escape;
   9 use HTML::Entities;
  10 use Exporter;
  11 our @ISA = qw( Exporter );
  12 our @EXPORT = qw( do_search_contents );
  13
  14 use Deb::Versions;
  15 use Packages::I18N::Locale;
  16 use Packages::Search qw( :all );
  17 use Packages::CGI qw( :DEFAULT error );
  18 use Packages::DB;
  19 use Packages::Config qw( $DBDIR @SUITES @ARCHIVES @ARCHITECTURES $ROOT );
  20
  21 sub do_search_contents {
  22     my ($params, $opts, $page_content) = @_;
  23
  24     if ($params->{errors}{keywords}) {
  25         fatal_error( _g( "keyword not valid or missing" ) );
  26         $opts->{keywords} = [];
  27     } elsif (grep { length($_) < 2 } @{$opts->{keywords}}) {
  28         fatal_error( _g( "keyword too short (keywords need to have at least two characters)" ) );
  29     }
  30     if ($params->{errors}{suite}) {
  31         fatal_error( _g( "suite not valid or not specified" ) );
  32     }
  33
  34     #FIXME: that's extremely hacky atm
  35     if ($params->{values}{suite}{no_replace}[0] eq 'default') {
  36         $params->{values}{suite}{no_replace} =
  37             $params->{values}{suite}{final} = $opts->{suite} = [ 'etch' ];
  38     }
  39
  40     if (@{$opts->{suite}} > 1) {
  41         fatal_error( sprintf( _g( "more than one suite specified for contents search (%s)" ), "@{$opts->{suite}}" ) );
  42     }
  43
  44     my @keywords = @{$opts->{keywords}};
  45     my $mode = $opts->{mode} || '';
  46     my $suite = $opts->{suite}[0];
  47     my $archive = $opts->{archive}[0] ||'';
  48     $Packages::Search::too_many_hits = 0;
  49
  50     my $st0 = new Benchmark;
  51     my (@results);
  52
  53     unless (@Packages::CGI::fatal_errors) {
  54
  55         my $nres = 0;
  56
  57         my $first_kw = lc shift @keywords;
  58         # full filename search is tricky
  59         my $ffn = $mode eq 'filename';
  60
  61         my $reverses = tie my %reverses, 'DB_File', "$DBDIR/contents/reverse_$suite.db",
  62             O_RDONLY, 0666, $DB_BTREE
  63             or die "Failed opening reverse DB: $!";
  64
  65         if ($ffn) {
  66             open FILENAMES, '-|', 'fgrep', '--', $first_kw, "$DBDIR/contents/filenames_$suite.txt"
  67                 or die "Failed opening filename table: $!";
  68
  69           FILENAME:
  70             while (<FILENAMES>) {
  71                 chomp;
  72                 foreach my $kw (@keywords) {
  73                     next FILENAME unless /\Q$kw\E/;
  74                 }
  75                 &searchfile(\@results, reverse($_)."/", \$nres, $reverses);
  76                 last if $Packages::Search::too_many_hits;
  77             }
  78             while (<FILENAMES>) {};
  79             close FILENAMES or warn "fgrep error: $!\n";
  80         } else {
  81
  82             error(_g("The search mode you selected doesn't support more than one keyword."))
  83                 if @keywords;
  84
  85             my $kw = reverse $first_kw;
  86             $kw =~ s{/+$}{};
  87
  88             # exact filename searching follows trivially:
  89             $kw = "$kw/" if $mode eq 'exactfilename';
  90
  91             &searchfile(\@results, $kw, \$nres, $reverses);
  92         }
  93         $reverses = undef;
  94         untie %reverses;
  95
  96
  97         my $st1 = new Benchmark;
  98         my $std = timediff($st1, $st0);
  99         debug( "Search took ".timestr($std) ) if DEBUG;
 100     }
 101
 102     my (%results,%archs);
 103     foreach my $result (sort { $a->[0] cmp $b->[0] } @results) {
 104         my $file = shift @$result;
 105         my %pkgs;
 106         foreach (@$result) {
 107             my ($pkg, $arch) = split /:/, $_;
 108             next unless $opts->{h_archs}{$arch};
 109             $pkgs{$pkg}{$arch}++;
 110             $archs{$arch}++ unless $arch eq 'all';
 111         }
 112         next unless keys %pkgs;
 113         $results{$file} = \%pkgs;
 114     }
 115     my @all_archs = sort keys %archs;
 116     @all_archs = sort @ARCHITECTURES unless @all_archs;
 117     $page_content->{suite} = $suite;
 118     $page_content->{archive} = $archive;
 119     $page_content->{all_architectures} = \@all_archs;
 120     $page_content->{all_suites} = \@SUITES;
 121     $page_content->{mode} = $mode;
 122     $page_content->{search_architectures} = $opts->{arch};
 123     $page_content->{search_keywords} = $opts->{keywords};
 124     $page_content->{sections} = $opts->{section};
 125     $page_content->{too_many_hits} = $Packages::Search::too_many_hits;
 126
 127     debug( "all_archs = @all_archs", 1 ) if DEBUG;
 128
 129     if (keys %results) {
 130         my $sort_func = sub { $_[0] cmp $_[1] };
 131         $sort_func = sub { (sort keys %{$results{$_[0]}})[0]
 132                            cmp
 133                            (sort keys %{$results{$_[1]}})[0]
 134                          } if $opts->{sort_by} eq 'pkg';
 135
 136         $page_content->{results} = [];
 137         foreach my $file (sort {&$sort_func($a,$b)} keys %results) {
 138             my %result;
 139             $result{file} = "/$file";
 140             $result{packages} = [];
 141             foreach my $pkg (sort keys %{$results{$file}}) {
 142                 my $arch_str = '';
 143                 my @archs = keys %{$results{$file}{$pkg}};
 144                 my $arch_neg = 0;
 145                 unless ($results{$file}{$pkg}{all} ||
 146                         (@archs == @all_archs)) {
 147                     if (@archs >= @all_archs/2) {
 148                         @archs = grep { !$results{$file}{$pkg}{$_} } @all_archs;
 149                         $arch_neg = 1;
 150                     }
 151                 } else {
 152                     @archs = ();
 153                 }
 154                 push @{$result{packages}}, { pkg => $pkg, architectures => \@archs, architectures_are_rev => $arch_neg };
 155             }
 156             push @{$page_content->{results}}, \%result;
 157         }
 158     }
 159 } # sub do_search_contents
 160
 161 sub searchfile
 162 {
 163     my ($results, $kw, $nres, $reverses) = @_;
 164
 165     my ($key, $value) = ($kw, "");
 166     debug( "searchfile: kw=$kw", 1 ) if DEBUG;
 167     for (my $status = $reverses->seq($key, $value, R_CURSOR);
 168         $status == 0;
 169         $status =  $reverses->seq( $key, $value, R_NEXT)) {
 170
 171         # FIXME: what's the most efficient "is prefix of" thingy? We only want to know
 172         # whether $kw is or is not a prefix of $key
 173         last unless index($key, $kw) == 0;
 174         debug( "found $key", 2 ) if DEBUG;
 175
 176         my @files = split /\001/o, $value;
 177         foreach my $f (@files) {
 178             my @hits = split /\0/o, $f;
 179             my $file = shift @hits;
 180             if ($file eq '-') {
 181                 $file = reverse($key);
 182             }
 183             push @$results, [ $file, @hits ];
 184         }
 185         last if ($$nres)++ > 100;
 186     }
 187
 188     $Packages::Search::too_many_hits += $$nres - 100 if $$nres > 100;
 189 }
 190
 191
 192 1;