Implement exact filename searching

Implement search_contents bluntly

Add working download.pl

Clarify where virtual stuff goes wrong

Fix path to contents db

- Significant performance and memory demand improvements
- cache filename list appropriately
- create reverse db per suite, not per (suite,arch)
- stash DB's in subdir of $DBDIR, to not clutter the toplevel dbdir up too
  much

Add documentation about used backend files

Disable multi-page results while that is inefficient and we don't show more
than 100 results ever anyway

Fix a link w.r.t. $ROOT

Fix full description search: operator precedence causing zero hits, match
arch=all always instead of never, and stop after 100 results and set
too_many_results accordingly

Fix typo, add entry for contents search

Add note about wrong assumption that a package is either virtual or concrete

Optimize and improve full description search by stripping away insignificant
characters, and use 'index' instead of 'regex'. Dropped possibility to do
caseful searches.

Print out headers

* complete virtual package support
* hardcode encoding of script output to be declared as utf-8 for now, better
  than the CGI.pm default of ISO-8859-1

Begin implementing virtual package support.
search_package is already working, show_package needs more work

Fix regex for contents lines: stray tabs got included

Show filelist from suite/arch specific db

Generate contents indices for all suites and archs

Basic show_filelist -- works, but ignores arch & suite, takes always the same
db

Write out filelists to packages_contents.db in locate-like packed format

First version of parse-contents, for proto-implementing postfix searches

Adapt to DB format changes

Note about archive/suite, note bug in amd64/security

Make a note about order in _small.db

- Add $ROOT at appropriate places
- Move display of 'kB' to the column itself, and right align it

Oops - drop debugging print

Reduce complexity during show_package by storing info in _all.db files
NUL-separated.
Also, lookup source packages by archive/suite, instead of version

Some adjustments:
 - filelist is arch specific
 - there will be "static" source package pages
 - we shouldn't change the sections index urls just for fun

Add a first attampt at some URL layout document. Comments more than welcome

* Add source package display
* Move most of the DB init code to own module

Create index pages
Some source version handling fixes
Introduce list of section/subsection/priority by suite/archive. Since
these are only used for the static pages currently, they are stored
rather expensive via Storable.
Add priority sorting to Deb::Versions

Finally get a working solution that handles both static and dynamic
pages correctly

Fix non-US handling
Fix handling of packages without source package

Use local files instead of www.debian.org ones.
Fix handling of packages with missing source package.

Import from old source

Fix several minor issues, mostly configuration-like stuff

* Move coniguratio stuf to own module
* Overhaul archive handling for show_package
* Begin to make the URL handling somewhat consistent
* Fix source files handling, which was broken by the last upload

* Complete pmoreinfo
* Some big speed optimisations

show_package.pl Basic stuff works with still some rough edges and dirty
corners

A minimal working version of show_package.pl (essentially porting yesterday's
search_packages changes over)

Used wrong variable for displaying the final benchmark result.
Which actually explains a lot ;)

Uups

* Add back some parts of the cron job (100syncarchive_*)
* Use these files from bin/parse-*
* Support different archives

Forgot to commit some new files related to the mod_perl changes

Update

These changes make the search_packages.pl script mod_perl ready
and try to make some optimisations for this (e.g. tie'ing the
Databases only once)

Also move the result printing to a function

Do some work to get show_package.pl to work -- not completed yet

Add $Id$

* Move all the debug/error/message output to functions so that
  we can bundle all output at one point
* Read root variable (for $ROOT) from config.sh if available

Bluntly copy package_pages_walker

Print links to alternative suites, print raw data from _all db

Completly remove the XML stuff. I never really used it and currently it
just clobbers the code

* Fix display of binary packages in source package search
* Completly get rid of global variables in read_* and do_names_search

Print footer

Move some more parameter logic to the Search.pm modul

First version of the 'static page' dynamic perl script

Set $ROOT. Sorry Frank, but I don't know much about globals and config.sh...
maybe you can look into that :)?

Allow "static page" url's

- Move fulltext search to own function, too
- Use fewer global variables in the search functions, should be
  reduced to none, really
- Fix some Perl warnings

Print total page evaluation time if debug allowed (also nice hint that you
left that on in production)

Fix thinko, now returning all substring results again
s/too much hits/too many hits/

Deal correctly with exact matches on substring search, and don't yield bogus
only result when there was no match

Some random idea's and thoughts

Copy of default search form page

Use $SEARCH_CGI

Introduce php wrapper for those hosts that don't have perl enabled

Introduce $SEARCH_CGI

Read options from stdin when called from PHP, nuke tons of warnings by setting
$debug if not defined

Some general checklist notes

First version of TODO listing items to think about

In postfixes db's, store empty prefix as '^' to work around weird split
behaviour

Implement postfix search for source packages and merge the
code for names and sourcenames search together

Add full text search

Drop NUL characters and collate whitespace in descriptions.txt

In packages_all_$suite, store only description Id, not full description, nor
repeat those fields that are already in the index. *do* add fields that are
not normally available, such as the section & subsection one, and always a
'source' one without version, that always exists and points to the source.

Drop maintainer too, that info should be gotten from source package, which has
co-maintainers too

Implement source postfixes

Implement prefix search for package name subword matches. Should be way
faster now

Implement source package names search (no binary package information
yet)

Drop srcversion logic that was unused

Set priority to '-' if it isn't in the Sources.gz file

- Add working debugging mode (1 as parameter -> do only non-free)
- Add sources_small.db
- Split section also in sources_all

Split section (main, etc.) from subsection (admin, etc.) on db generation

Implement package postfix indexing

Implement subword package search by linear search. Too slow, though

* Implement exact packages search
* Implement path parsing

Add some dummy sub routines that emulate some yet missing modules

* Adapt for current hosting (i.e. packages.debian.net)
* Add possibility to pass path-info to the search script via
  PT

Remove debugging shortcut

Parse scripts for Packages.gz files and Sources.gz files, to generate database
files

Include all stuff to be quickly able to set up a experimental search script

Add apache configuration

Paging stuff that is independent from any backend considerations

Include some stuff from the old pages we will need anyway

Uups

Trunk created