bin/parse-contents

   1 #!/usr/bin/perl -w
   2 # Convert Contents.gz files into Sleepycat db files for efficient usage of
   3 # data
   4 #
   5 # $Id$
   6 #
   7 # Copyright (C) 2006  Jeroen van Wolffelaar <jeroen@wolffelaar.nl>
   8 # This program is free software; you can redistribute it and/or modify
   9 # it under the terms of the GNU General Public License as published by
  10 # the Free Software Foundation; either version 2 of the License, or
  11 # (at your option) any later version.
  12
  13 # This program is distributed in the hope that it will be useful,
  14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 # GNU General Public License for more details.
  17
  18 # You should have received a copy of the GNU General Public License
  19 # along with this program; if not, write to the Free Software
  20 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  21
  22 use strict;
  23 use lib './lib';
  24
  25 my $what = $ARGV[0] ? "head -100000|" : "";
  26
  27 use DB_File;
  28 use Storable;
  29 use Packages::Config qw( $TOPDIR $DBDIR @ARCHIVES @SUITES );
  30 &Packages::Config::init( './' );
  31 my %packages_contents = ();
  32 my %packages_contents_nr = ();
  33 my %packages_contents_lastword = ();
  34 my %file_reverse = ();
  35
  36 my @archives =( 'us'); #@ARCHIVES
  37 my @suites = ('stable');#@SUITES
  38
  39 for my $archive (@archives) { for my $suite (@suites) {
  40
  41         print "Reading $archive/$suite/i386...\n";
  42         open CONT, "zcat /org/ftp.debian.org/ftp/dists/stable/Contents-i386.gz|$what";
  43         while (1) {$_ = <CONT>;last if /^FILE/mo;}
  44         while (<CONT>) {
  45                 my $data = "";
  46                 my %data = ();
  47                 chomp;
  48                 print "Doing line $.\n" if $. % 10000 == 0;
  49                 /^(\S+)\s+(\S+)/;
  50                 my ($file, $value) = ($1, $2);
  51                 $value =~ s#[^,/]+/##g;
  52                 my @packages = split /,/, $value;
  53                 for (@packages) {
  54                         $packages_contents_nr{$_}++;
  55                         my $lw = $packages_contents_lastword{$_} || "\0";
  56                         my $i=0;
  57                         while (substr($file,$i,1) eq substr($lw,$i++,1)) {}
  58                         $i--;
  59                         $i = 255 if $i > 255;
  60                         $packages_contents{$_} .= pack "CC/a*", ($i, substr($file, $i));
  61                         $packages_contents_lastword{$_} = "$file\0";
  62                 }
  63                 # Searches are case-insensitive
  64                 $file =~ tr [A-Z] [a-z];
  65
  66                 $file_reverse{reverse $file} = join "\0", @packages;
  67         }
  68 }}
  69
  70 print "Writing databases...\n";
  71 my %packages_contents_db;
  72 tie %packages_contents_db, "DB_File", "$DBDIR/packages_contents.db.new",
  73         O_RDWR|O_CREAT, 0666, $DB_BTREE
  74         or die "Error creating DB: $!";
  75 while (my ($k, $v) = each(%packages_contents)) {
  76         $packages_contents_db{$k} = (pack "L", $packages_contents_nr{$k})
  77                 . $v;
  78 }
  79 untie %packages_contents_db;
  80
  81 my %file_reverse_db;
  82 tie %file_reverse_db, "DB_File", "$DBDIR/file_reverse.db.new",
  83         O_RDWR|O_CREAT, 0666, $DB_BTREE
  84         or die "Error creating DB: $!";
  85 while (my ($x, $y) = each(%file_reverse)) {
  86 #       $v =~ s/.$//s;
  87 #       my $nr = $v;
  88 #       $nr =~ s/[^\000]//g;
  89 #       $nr = length($nr) + 1; # < number of hits
  90 #       if ($nr > $MAX_file_reverse) {
  91 #               $v = "\001" . $nr;
  92 #       }
  93         $file_reverse_db{$x} = $y;
  94 }
  95 untie %file_reverse_db;
  96
  97 rename("$DBDIR/packages_contents.db.new", "$DBDIR/packages_contents.db");
  98 rename("$DBDIR/file_reverse.db.new", "$DBDIR/file_reverse.db");