lib/Packages/Search.pm

   1 #
   2 # Packages::Search
   3 #
   4 # Copyright (C) 2004-2006 Frank Lichtenheld <frank@lichtenheld.de>
   5 #
   6 # The code is based on the old search_packages.pl script that
   7 # was:
   8 #
   9 # Copyright (C) 1998 James Treacy
  10 # Copyright (C) 2000, 2001 Josip Rodin
  11 # Copyright (C) 2001 Adam Heath
  12 # Copyright (C) 2004 Martin Schulze
  13 #
  14 #    This program is free software; you can redistribute it and/or modify
  15 #    it under the terms of the GNU General Public License as published by
  16 #    the Free Software Foundation; either version 1 of the License, or
  17 #    (at your option) any later version.
  18 #
  19 #    This program is distributed in the hope that it will be useful,
  20 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
  21 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  22 #    GNU General Public License for more details.
  23 #
  24 #    You should have received a copy of the GNU General Public License
  25 #    along with this program; if not, write to the Free Software
  26 #    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  27 #
  28
  29 =head1 NAME
  30
  31 Packages::Search -
  32
  33 =head1 SYNOPSIS
  34
  35 =head1 DESCRIPTION
  36
  37 =over 4
  38
  39 =cut
  40
  41 package Packages::Search;
  42
  43 use strict;
  44 use warnings;
  45
  46 use CGI qw( -oldstyle_urls );
  47 use POSIX;
  48 use HTML::Entities;
  49 use DB_File;
  50
  51 use Deb::Versions;
  52 use Packages::CGI;
  53 use Exporter;
  54
  55 our @ISA = qw( Exporter );
  56
  57 our @EXPORT_OK = qw( read_entry read_entry_all read_entry_simple
  58                      read_src_entry read_src_entry_all find_binaries
  59                      do_names_search do_fulltext_search
  60                      );
  61 our %EXPORT_TAGS = ( all => [ @EXPORT_OK ] );
  62
  63 our $VERSION = 0.01;
  64
  65 our $USE_PAGED_MODE = 1;
  66 use constant DEFAULT_PAGE => 1;
  67 use constant DEFAULT_RES_PER_PAGE => 50;
  68 our %page_params = ( page => { default => DEFAULT_PAGE,
  69                                match => '(\d+)' },
  70                      number => { default => DEFAULT_RES_PER_PAGE,
  71                                  match => '(\d+)' } );
  72
  73 our $too_many_hits = 0;
  74
  75 sub parse_params {
  76     my ( $cgi, $params_def, $opts ) = @_;
  77
  78     my %params_ret = ( values => {}, errors => {} );
  79     my %params;
  80     if ($USE_PAGED_MODE) {
  81         debug( "Use PAGED_MODE", 2 );
  82         %params = %$params_def;
  83         foreach (keys %page_params) {
  84             delete $params{$_};
  85         }
  86         %params = ( %params, %page_params );
  87     } else {
  88         %params = %$params_def;
  89     }
  90
  91     foreach my $param ( keys %params ) {
  92
  93         debug( "Param <strong>$param</strong>", 2 );
  94
  95         my $p_value_orig = $cgi->param($param);
  96
  97         if (!defined($p_value_orig)
  98             && defined $params_def->{$param}{alias}
  99             && defined $cgi->param($params_def->{$param}{alias})) {
 100             $p_value_orig = $cgi->param($params_def->{$param}{alias});
 101             debug( "Used alias <strong>$params_def->{$param}{alias}</strong>",
 102                    2 );
 103         }
 104
 105         my @p_value = ($p_value_orig);
 106
 107         debug( "Value (Orig) ".($p_value_orig||""), 2 );
 108
 109         if ($params_def->{$param}{array} && defined $p_value_orig) {
 110             @p_value = split /$params_def->{$param}{array}/, $p_value_orig;
 111             debug( "Value (Array Split) ". join('##',@p_value), 2 );
 112         }
 113
 114         if ($params_def->{$param}{match} && defined $p_value_orig) {
 115             @p_value = map
 116             { $_ =~ m/$params_def->{$param}{match}/; $_ = $1 }
 117             @p_value;
 118         }
 119         @p_value = grep { defined $_ } @p_value;
 120
 121         debug( "Value (Match) ". join('##',@p_value), 2 );
 122
 123         unless (@p_value) {
 124             if (defined $params{$param}{default}) {
 125                 @p_value = ($params{$param}{default});
 126             } else {
 127                 @p_value = undef;
 128                 $params_ret{errors}{$param} = "undef";
 129                 next;
 130             }
 131         }
 132
 133         debug( "Value (Default) ". join('##',@p_value), 2 );
 134         my @p_value_no_replace = @p_value;
 135
 136         if ($params{$param}{replace} && @p_value) {
 137             foreach my $pattern (keys %{$params{$param}{replace}}) {
 138                 my @p_value_tmp = @p_value;
 139                 @p_value = ();
 140                 foreach (@p_value_tmp) {
 141                     if ($_ eq $pattern) {
 142                         my $replacement = $params{$param}{replace}{$_};
 143                         if (ref $replacement) {
 144                             push @p_value, @$replacement;
 145                         } else {
 146                             push @p_value, $replacement;
 147                         }
 148                     } else {
 149                         push @p_value, $_;
 150                     }
 151                 }
 152             }
 153         }
 154
 155         debug( "Value (Final) ". join('##',@p_value), 2 );
 156
 157         if ($params_def->{$param}{array}) {
 158             $params_ret{values}{$param} = {
 159                 orig => $p_value_orig,
 160                 no_replace => \@p_value_no_replace,
 161                 final => \@p_value,
 162             };
 163             @{$params_def->{$param}{var}} = @p_value
 164                 if $params_def->{$param}{var};
 165         } else {
 166             $params_ret{values}{$param} = {
 167                 orig => $p_value_orig,
 168                 no_replace => $p_value_no_replace[0],
 169                 final => $p_value[0],
 170             };
 171             ${$params_def->{$param}{var}} = $p_value[0]
 172                 if $params_def->{$param}{var};
 173         }
 174         $opts->{$param} = $params_ret{values}{$param}{final} if $opts;
 175     }
 176
 177     if ($USE_PAGED_MODE) {
 178         $cgi->delete( "page" );
 179         $cgi->delete( "number" );
 180     }
 181
 182     return %params_ret;
 183 }
 184
 185 sub start {
 186     my $params = shift;
 187
 188     my $page = $params->{values}{page}{final}
 189     || DEFAULT_PAGE;
 190     my $res_per_page = $params->{values}{number}{final}
 191     || DEFAULT_RES_PER_PAGE;
 192
 193     return 1 if $res_per_page =~ /^all$/i;
 194     return $res_per_page * ($page - 1) + 1;
 195 }
 196
 197 sub end {
 198     my $params = shift;
 199
 200     use Data::Dumper;
 201     debug( "end: ".Dumper($params) );
 202     my $page = $params->{page}
 203     || DEFAULT_PAGE;
 204     my $res_per_page = $params->{number}
 205     || DEFAULT_RES_PER_PAGE;
 206
 207     return $page * $res_per_page;
 208 }
 209
 210 sub indexline {
 211     my ($cgi, $params, $num_res) = @_;
 212
 213     my $index_line = "";
 214     my $page = $params->{page}
 215     || DEFAULT_PAGE;
 216     my $res_per_page = $params->{number}
 217     || DEFAULT_RES_PER_PAGE;
 218     my $numpages = ceil($num_res /
 219                         $res_per_page);
 220     for (my $i = 1; $i <= $numpages; $i++) {
 221         if ($i == $page) {
 222             $index_line .= $i;
 223         } else {
 224             $index_line .= "<a href=\"".encode_entities($cgi->self_url).
 225                 "&amp;page=$i&amp;number=$res_per_page\">".
 226                 "$i</a>";
 227         }
 228         if ($i < $numpages) {
 229            $index_line .= " | ";
 230         }
 231     }
 232     return $index_line;
 233 }
 234
 235 sub nextlink {
 236     my ($cgi, $params, $no_results ) = @_;
 237
 238     my $page = $params->{page}
 239     || DEFAULT_PAGE;
 240     $page++;
 241     my $res_per_page = $params->{number}
 242     || DEFAULT_RES_PER_PAGE;
 243
 244     if ((($page-1)*$res_per_page + 1) > $no_results) {
 245         return "&gt;&gt;";
 246     }
 247
 248     return "<a href=\"".encode_entities($cgi->self_url).
 249         "&amp;page=$page&amp;number=$res_per_page\">&gt;&gt;</a>";
 250 }
 251
 252 sub prevlink {
 253     my ($cgi, $params ) = @_;
 254
 255     my $page = $params->{page}
 256     || DEFAULT_PAGE;
 257     $page--;
 258     if (!$page) {
 259         return "&lt;&lt;";
 260     }
 261
 262     my $res_per_page = $params->{number}
 263     || DEFAULT_RES_PER_PAGE;
 264
 265     return "<a href=\"".encode_entities($cgi->self_url).
 266         "&amp;page=$page&amp;number=$res_per_page\">&lt;&lt;</a>";
 267 }
 268
 269 sub resperpagelink {
 270     my ($cgi, $params, $res_per_page ) = @_;
 271
 272     my $page;
 273     if ($res_per_page =~ /^all$/i) {
 274         $page = 1;
 275     } else {
 276         $page = ceil(start( $params ) / $res_per_page);
 277     }
 278
 279     return "<a href=\"".encode_entities($cgi->self_url).
 280         "&amp;page=$page&amp;number=$res_per_page\">$res_per_page</a>";
 281 }
 282
 283 sub printindexline {
 284     my ( $input, $no_results, $opts ) = @_;
 285
 286     my $index_line;
 287     if ($no_results > $opts->{number}) {
 288
 289         $index_line = prevlink( $input, $opts)." | ".
 290             indexline( $input, $opts, $no_results)." | ".
 291             nextlink( $input, $opts, $no_results);
 292
 293         print "<p style=\"text-align:center\">$index_line</p>";
 294     }
 295 }
 296
 297 #sub multipageheader {
 298 #    my ( $input, $no_results, $opts ) = @_;
 299 #
 300 #    my ($start, $end);
 301 #    if ($opts->{number} =~ /^all$/i) {
 302 #       $start = 1;
 303 #       $end = $no_results;
 304 #       $opts->{number} = $no_results;
 305 #       $opts->{number_all}++;
 306 #    } else {
 307 #       $start = Packages::Search::start( $opts );
 308 #       $end = Packages::Search::end( $opts );
 309 #       if ($end > $no_results) { $end = $no_results; }
 310 #    }
 311 #
 312 #       print "<p>Found <em>$no_results</em> matching packages,";
 313 #    if ($end == $start) {
 314 #       print " displaying package $end.</p>";
 315 #    } else {
 316 #       print " displaying packages $start to $end.</p>";
 317 #    }
 318 #
 319 #    printindexline( $input, $no_results, $opts );
 320 #
 321 #    if ($no_results > 100) {
 322 #       print "<p>Results per page: ";
 323 #       my @resperpagelinks;
 324 #       for (50, 100, 200) {
 325 #           if ($opts->{number} == $_) {
 326 #               push @resperpagelinks, $_;
 327 #           } else {
 328 #               push @resperpagelinks, resperpagelink($input,$opts,$_);
 329 #           }
 330 #       }
 331 #       if ($opts->{number_all}) {
 332 #           push @resperpagelinks, "all";
 333 #       } else {
 334 #           push @resperpagelinks, resperpagelink($input, $opts, "all");
 335 #       }
 336 #       print join( " | ", @resperpagelinks )."</p>";
 337 #    }
 338 #    return ( $start, $end );
 339 #}
 340
 341 sub read_entry_all {
 342     my ($hash, $key, $results, $non_results, $opts) = @_;
 343     my $result = $hash->{$key} || '';
 344     foreach (split /\000/o, $result) {
 345         my @data = split ( /\s/o, $_, 8 );
 346         debug( "Considering entry ".join( ':', @data), 2);
 347         if ($opts->{h_archives}{$data[0]} && $opts->{h_suites}{$data[1]}
 348             && ($opts->{h_archs}{$data[2]} || $data[2] eq 'all'
 349                 || $data[2] eq 'virtual')
 350             && ($opts->{h_sections}{$data[3]} || $data[3] eq 'v')) {
 351             debug( "Using entry ".join( ':', @data), 2);
 352             push @$results, [ $key, @data ];
 353         } else {
 354             push @$non_results, [ $key, @data ];
 355         }
 356     }
 357 }
 358 sub read_entry {
 359     my ($hash, $key, $results, $opts) = @_;
 360     my @non_results;
 361     read_entry_all( $hash, $key, $results, \@non_results, $opts );
 362 }
 363 sub read_entry_simple {
 364     my ($hash, $key, $archives, $suite) = @_;
 365     my $result = $hash->{$key} || '';
 366     debug( "read_entry_simple: key=$key, archives=".
 367            join(" ",(keys %$archives)).", suite=$suite", 1);
 368     my @data_fuzzy;
 369     foreach (split /\000/o, $result) {
 370         my @data = split ( /\s/o, $_, 8 );
 371         debug( "Considering entry ".join( ':', @data), 2);
 372         if ($data[1] eq $suite) {
 373             if ($archives->{$data[0]}) {
 374                 debug( "Using entry ".join( ':', @data), 2);
 375                 return \@data;
 376             } elsif ($data[0] eq 'us') {
 377                 debug( "Fuzzy entry ".join( ':', @data), 2);
 378                 @data_fuzzy = @data;
 379             }
 380         }
 381     }
 382     return \@data_fuzzy;
 383 }
 384 sub read_src_entry_all {
 385     my ($hash, $key, $results, $non_results, $opts) = @_;
 386     my $result = $hash->{$key} || '';
 387     debug( "read_src_entry_all: key=$key", 1);
 388     foreach (split /\000/o, $result) {
 389         my @data = split ( /\s/o, $_, 6 );
 390         debug( "Considering entry ".join( ':', @data), 2);
 391         if ($opts->{h_archives}{$data[0]}
 392             && $opts->{h_suites}{$data[1]}
 393             && $opts->{h_sections}{$data[2]}) {
 394             debug( "Using entry ".join( ':', @data), 2);
 395             push @$results, [ $key, @data ];
 396         } else {
 397             push @$non_results, [ $key, @data ];
 398         }
 399     }
 400 }
 401 sub read_src_entry {
 402     my ($hash, $key, $results, $opts) = @_;
 403     my @non_results;
 404     read_src_entry_all( $hash, $key, $results, \@non_results, $opts );
 405 }
 406 sub do_names_search {
 407     my ($keyword, $packages, $postfixes, $read_entry, $opts,
 408         $results, $non_results) = @_;
 409
 410     $keyword = lc $keyword;
 411
 412     my ($key, $prefixes) = ($keyword, '');
 413     my %pkgs;
 414     $postfixes->seq( $key, $prefixes, R_CURSOR );
 415     while (index($key, $keyword) >= 0) {
 416         if ($prefixes =~ /^\001(\d+)/o) {
 417             debug( "$key has too many hits", 2 );
 418             $too_many_hits += $1;
 419         } else {
 420             foreach (split /\000/o, $prefixes) {
 421                 $_ = '' if $_ eq '^';
 422                 debug( "add word $_$key", 2);
 423                 $pkgs{$_.$key}++;
 424             }
 425         }
 426         last if $postfixes->seq( $key, $prefixes, R_NEXT ) != 0;
 427         last if $too_many_hits or keys %pkgs >= 100;
 428     }
 429
 430     my $no_results = keys %pkgs;
 431     if ($too_many_hits || ($no_results >= 100)) {
 432         $too_many_hits += $no_results;
 433         %pkgs = ( $keyword => 1 );
 434     }
 435     foreach my $pkg (sort keys %pkgs) {
 436         &$read_entry( $packages, $pkg, $results, $non_results, $opts );
 437     }
 438 }
 439 sub do_fulltext_search {
 440     my ($keyword, $file, $did2pkg, $packages, $read_entry, $opts,
 441         $results, $non_results) = @_;
 442
 443 # NOTE: this needs to correspond with parse-packages!
 444     $keyword =~ tr [A-Z] [a-z];
 445     if ($opts->{exact}) {
 446         $keyword = " $keyword ";
 447     }
 448     $keyword =~ s/[(),.-]+//og;
 449     $keyword =~ s#[^a-z0-9_/+]+# #og;
 450
 451     my $numres = 0;
 452     my %tmp_results;
 453     open DESC, '<', "$file"
 454         or die "couldn't open $file: $!";
 455     while (<DESC>) {
 456         next if (index $_, $keyword) < 0;
 457         debug( "Matched line $.: $_", 2);
 458         my $result = $did2pkg->{$.};
 459         foreach (split /\000/o, $result) {
 460             my @data = split /\s/, $_, 3;
 461 #           debug ("Considering $data[0], arch = $data[2]", 3);
 462 #           next unless $data[2] eq 'all' || $opts->{h_archs}{$data[2]};
 463 #           debug ("Ok", 3);
 464             $numres++ unless $tmp_results{$data[0]}++;
 465         }
 466         last if $numres > 100;
 467     }
 468     close DESC;
 469     $too_many_hits++ if $numres > 100;
 470
 471     my @results;
 472     foreach my $pkg (keys %tmp_results) {
 473         &$read_entry( $packages, $pkg, $results, $non_results, $opts );
 474     }
 475  }
 476
 477 sub find_binaries {
 478     my ($pkg, $archive, $suite, $src2bin) = @_;
 479
 480     my $bins = $src2bin->{$pkg} || '';
 481     my %bins;
 482     foreach (split /\000/o, $bins) {
 483         my @data = split /\s/, $_, 5;
 484
 485         debug( "find_binaries: considering @data", 3 );
 486         if (($data[0] eq $archive)
 487             && ($data[1] eq $suite)) {
 488             $bins{$data[2]}++;
 489             debug( "find_binaries: using @data", 3 );
 490         }
 491     }
 492
 493     return [ keys %bins ];
 494 }
 495
 496
 497 1;