lib/Packages/DoSearch.pm

   1 package Packages::DoSearch;
   2
   3 use strict;
   4 use warnings;
   5
   6 use Benchmark ':hireswallclock';
   7 use DB_File;
   8 use URI::Escape;
   9 use HTML::Entities;
  10 use Exporter;
  11 our @ISA = qw( Exporter );
  12 our @EXPORT = qw( do_search );
  13
  14 use Deb::Versions;
  15 use Packages::I18N::Locale;
  16 use Packages::Search qw( :all );
  17 use Packages::CGI qw( :DEFAULT );
  18 use Packages::DB;
  19 use Packages::Config qw( $DBDIR @SUITES @ARCHIVES $ROOT );
  20
  21 sub do_search {
  22     my ($params, $opts, $html_header, $page_content) = @_;
  23
  24     $Params::Search::too_many_hits = 0;
  25
  26     if ($params->{errors}{keywords}) {
  27         fatal_error( _g( "keyword not valid or missing" ) );
  28         $opts->{keywords} = [];
  29     } elsif (grep { length($_) < 2 } @{$opts->{keywords}}) {
  30         fatal_error( _g( "keyword too short (keywords need to have at least two characters)" ) );
  31     }
  32
  33     my @keywords = @{$opts->{keywords}};
  34     my $searchon = $opts->{searchon};
  35     $page_content->{search_keywords} = \@keywords;
  36
  37     my $st0 = new Benchmark;
  38     my (@results, @non_results);
  39
  40     unless (@Packages::CGI::fatal_errors) {
  41
  42         if ($searchon eq 'names') {
  43             if ($opts->{source}) {
  44                 do_names_search( [ @keywords ], \%sources, $sp_obj,
  45                                  \&read_src_entry_all, $opts,
  46                                  \@results, \@non_results );
  47             } else {
  48                 do_names_search( [ @keywords ], \%packages, $p_obj,
  49                                  \&read_entry_all, $opts,
  50                                  \@results, \@non_results );
  51             }
  52         } else {
  53             do_names_search( [ @keywords ], \%packages, $p_obj,
  54                              \&read_entry_all, $opts,
  55                              \@results, \@non_results );
  56             do_fulltext_search( [ @keywords ], "$DBDIR/descriptions.txt",
  57                                 \%did2pkg, \%packages,
  58                                 \&read_entry_all, $opts,
  59                                 \@results, \@non_results );
  60         }
  61     }
  62
  63 #    use Data::Dumper;
  64 #    debug( join( "", Dumper( \@results, \@non_results )) ) if DEBUG;
  65     my $st1 = new Benchmark;
  66     my $std = timediff($st1, $st0);
  67     debug( "Search took ".timestr($std) ) if DEBUG;
  68
  69     $page_content->{too_many_hits} = $Packages::Search::too_many_hits;
  70     #FIXME: non_results can't be compared to results since it is
  71     # not normalized to unique packages
  72     $page_content->{non_results} = scalar @non_results;
  73
  74     if (@results) {
  75         my (%pkgs, %subsect, %sect, %archives, %desc, %binaries, %provided_by);
  76
  77         unless ($opts->{source}) {
  78             foreach (@results) {
  79                 my ($pkg_t, $archive, $suite, $arch, $section, $subsection,
  80                     $priority, $version, $desc) = @$_;
  81
  82                 my ($pkg) = $pkg_t =~ m/^(.+)/; # untaint
  83                 if ($arch ne 'virtual') {
  84                     $pkgs{$pkg}{$suite}{$version}{$arch} = 1;
  85                     $subsect{$pkg}{$suite}{$version} = $subsection;
  86                     $sect{$pkg}{$suite}{$version} = $section;
  87                     $archives{$pkg}{$suite}{$version} ||= $archive;
  88
  89                     $desc{$pkg}{$suite}{$version} = $desc;
  90                 } else {
  91                     $provided_by{$pkg}{$suite} = [ split /\s+/, $desc ];
  92                 }
  93             }
  94
  95             my %uniq_pkgs = map { $_ => 1 } (keys %pkgs, keys %provided_by);
  96             my @pkgs = sort keys %uniq_pkgs;
  97             process_packages( $page_content, 'packages', \%pkgs, \@pkgs, $opts, \@keywords,
  98                               \&process_package, \%provided_by,
  99                               \%archives, \%sect, \%subsect,
 100                               \%desc );
 101
 102         } else { # unless $opts->{source}
 103             foreach (@results) {
 104                 my ($pkg, $archive, $suite, $section, $subsection, $priority,
 105                     $version) = @$_;
 106
 107                 my $real_archive = '';
 108                 if ($archive =~ /^(security|non-US)$/) {
 109                     $real_archive = $archive;
 110                     $archive = 'us';
 111                 }
 112                 if (($real_archive eq $archive) &&
 113                     $pkgs{$pkg}{$suite}{$archive} &&
 114                     (version_cmp( $pkgs{$pkg}{$suite}{$archive}, $version ) >= 0)) {
 115                     next;
 116                 }
 117                 $pkgs{$pkg}{$suite}{$archive} = $version;
 118                 $subsect{$pkg}{$suite}{$archive}{source} = $subsection;
 119                 $sect{$pkg}{$suite}{$archive}{source} = $section
 120                     unless $section eq 'main';
 121                 $archives{$pkg}{$suite}{$archive}{source} = $real_archive
 122                     if $real_archive;
 123
 124                 $binaries{$pkg}{$suite}{$archive} = find_binaries( $pkg, $archive, $suite, \%src2bin );
 125             }
 126
 127             my @pkgs = sort keys %pkgs;
 128             process_packages( $page_content, 'src_packages', \%pkgs, \@pkgs, $opts, \@keywords,
 129                               \&process_src_package, \%archives,
 130                               \%sect, \%subsect, \%binaries );
 131         } # else unless $opts->{source}
 132     } # if @results
 133 } # sub do_search
 134
 135 sub process_packages {
 136     my ($content, $target, $pkgs, $pkgs_list, $opts, $keywords, $print_func, @func_args) = @_;
 137
 138     my @categories;
 139     $content->{results} = scalar @$pkgs_list;
 140
 141     my $keyword;
 142     $keyword = $keywords->[0] if @$keywords == 1;
 143
 144     my $have_exact;
 145     if ($keyword && grep { $_ eq $keyword } @$pkgs_list) {
 146         $have_exact = 1;
 147         $categories[0]{name} = _g( "Exact hits" );
 148
 149         $categories[0]{$target} = [ &$print_func( $keyword, $pkgs->{$keyword}||{},
 150                                                    map { $_->{$keyword}||{} } @func_args ) ];
 151         @$pkgs_list = grep { $_ ne $keyword } @$pkgs_list;
 152     }
 153
 154     if (@$pkgs_list && (($opts->{searchon} ne 'names') || !$opts->{exact})) {
 155         my %cat;
 156         $cat{name} = _g( 'Other hits' ) if $have_exact;
 157
 158         $cat{packages} = [];
 159         foreach my $pkg (@$pkgs_list) {
 160             push @{$cat{$target}}, &$print_func( $pkg, $pkgs->{$pkg}||{},
 161                                                  map { $_->{$pkg}||{} } @func_args );
 162         }
 163         push @categories, \%cat;
 164     } elsif (@$pkgs_list) {
 165         $content->{skipped} = scalar @$pkgs_list;
 166     }
 167
 168     $content->{categories} = \@categories;
 169 }
 170
 171 sub process_package {
 172     my ($pkg, $pkgs, $provided_by, $archives, $sect, $subsect, $desc) = @_;
 173
 174     my %pkg = ( pkg => $pkg,
 175                 suites => [] );
 176
 177     foreach my $suite (@SUITES) {
 178         my %suite = ( suite => $suite );
 179         if (exists $pkgs->{$suite}) {
 180             my %archs_printed;
 181             my @versions = version_sort keys %{$pkgs->{$suite}};
 182             $suite{section} = $sect->{$suite}{$versions[0]};
 183             $suite{subsection} = $subsect->{$suite}{$versions[0]};
 184             $suite{desc} = $desc->{$suite}{$versions[0]};
 185             $suite{versions} = [];
 186
 187             foreach my $v (@versions) {
 188                 my %version;
 189                 $version{version} = $v;
 190                 $version{archive} = $archives->{$suite}{$v};
 191
 192                 $version{architectures} = [ grep { !$archs_printed{$_} } sort keys %{$pkgs->{$suite}{$v}} ];
 193                 push @{$suite{versions}}, \%version if @{$version{architectures}};
 194
 195                 $archs_printed{$_}++ foreach @{$version{architectures}};
 196             }
 197             if (my $p =  $provided_by->{$suite}) {
 198                 $suite{providers} = $p;
 199             }
 200         } elsif (my $p =  $provided_by->{$suite}) {
 201             $suite{desc} = _g('Virtual package');
 202             $suite{providers} = $p;
 203         }
 204         push @{$pkg{suites}}, \%suite if $suite{versions} || $suite{providers};
 205     }
 206
 207     return \%pkg;
 208 }
 209
 210 sub process_src_package {
 211     my ($pkg, $pkgs, $archives, $sect, $subsect, $binaries) = @_;
 212
 213     my %pkg = ( pkg => $pkg,
 214                 origins => [] );
 215
 216     foreach my $suite (@SUITES) {
 217         foreach my $archive (@ARCHIVES) {
 218             if (exists $pkgs->{$suite}{$archive}) {
 219                 my %origin;
 220                 $origin{version} = $pkgs->{$suite}{$archive};
 221                 $origin{suite} = $suite;
 222                 $origin{archive} = $archive;
 223                 $origin{section} = $sect->{$suite}{$archive}{source};
 224                 $origin{subsection} = $subsect->{$suite}{$archive}{source};
 225                 $origin{real_archive} = $archives->{$suite}{$archive}{source};
 226
 227                 $origin{binaries} = $binaries->{$suite}{$archive};
 228                 push @{$pkg{origins}}, \%origin;
 229             }
 230         }
 231     }
 232
 233     return \%pkg;
 234 }
 235
 236 1;