Misc documentation updates

Add basic l10n support.
Still has some rough edges, especially the fact that MultiViews and my
Rewrite rules don't play together at all.

Use fgrep also for description search

Make a list of pieces that still need to be merged from old code

Actually update index pages in cronjob

Revert r143 for DoShow.pm, I accidently *reduced* imports, breaking it

Import marker from Packages::HTML where used

Use the correct URL parameter separator (&)

remove $SEARCH_CGI since it is always identical with $SEARCH_URL
nowadays.
Fix some generated URLS

Fix a few warnings, be more strict in what we accept

Big CSS cleanup, move all style definitions to CSS files.
Split CSS files in debian.css and packages.css.

Cleanup old stuff

Use exact wallclocktime when available (it's in the 'perl' package)

Make result display of DoSearchContents actually usable

Note problem with kfreebsd-i386 contents files

Hmm, architecture names can contain '-'

Actually search on filenames

print_deps: If a virtual package is only provided by a few packages,
show a list of these directly

change read_entry_simple again to use
real package > virtual package > fuzzy real package > fuzzy virtual package
(Better would probably be to return real and virtual packages seperatly to give
the caller more choice over what preferences he wants)

Fix contents search my moving it to lib, like the rest. Still a bit rough.

in read_entry_simple, prefer real packages over virtual ones

Fix handling of parameters when more than one replace pattern has
been given

Default to sourcenames search when displaying source packages

Fix usage of wrong hash introduced by last commits

Merge print_deps and print_src_deps and move the differences of print_src_deps
to SrcPage->get_dep_field.

Add an additional debug output to track $too_many_hits better

add stuff

Fix copy&waste error in label

Always set $opts{searchon_form}

Unbuffered output, for tail -f'ing cron.log

Add stuff

- Fix typo in quicksearch box
- add option for contents search
- drop "only" from "Package names only", because that makes less sense now
- parse 'default' correctly

I renamed the config dir a while ago, fix that (now that we have something
using this variable with the changelogs stuff)

Add a missing brace

Add a simple script that call parse-packages, parse-source and parse-contents

Also skip experimental when using a local mirror

There is no installer in experimental

of course we should only delete the lockfile after we finished but
not if we canceled the job because we couldn't get the lock...

Import the old changelog extraction stuff

Remove stupid debugging aid I forgot in the code

Only have one CGI-Script and move most of the code from the
old ones to modules

Create DBDIR if it doesn't exist

Drop obsolete fixme

Update copyright notice -- in this file, no code not my own

Handle security and non-US correctly

Don't redo expensive cross-suite merging merging when not needed

Document contents backend stuff loosely, still subject to change
(filenames_$suite.txt is inadequate)

Add my comments

Implement exact filename searches properly, implement random-substring
filename searches (but takes 4s worstcase on merkel...)

Make it more obvious what are static strings and what are parameters

Try to give an overview over the different uses of packages.d.o
and the parameters that need to be given for each one

Implement exact filename searching

Implement search_contents bluntly

Add working download.pl

Clarify where virtual stuff goes wrong

Fix path to contents db

- Significant performance and memory demand improvements
- cache filename list appropriately
- create reverse db per suite, not per (suite,arch)
- stash DB's in subdir of $DBDIR, to not clutter the toplevel dbdir up too
  much

Add documentation about used backend files

Disable multi-page results while that is inefficient and we don't show more
than 100 results ever anyway

Fix a link w.r.t. $ROOT

Fix full description search: operator precedence causing zero hits, match
arch=all always instead of never, and stop after 100 results and set
too_many_results accordingly

Fix typo, add entry for contents search

Add note about wrong assumption that a package is either virtual or concrete

Optimize and improve full description search by stripping away insignificant
characters, and use 'index' instead of 'regex'. Dropped possibility to do
caseful searches.

Print out headers

* complete virtual package support
* hardcode encoding of script output to be declared as utf-8 for now, better
  than the CGI.pm default of ISO-8859-1

Begin implementing virtual package support.
search_package is already working, show_package needs more work

Fix regex for contents lines: stray tabs got included

Show filelist from suite/arch specific db

Generate contents indices for all suites and archs

Basic show_filelist -- works, but ignores arch & suite, takes always the same
db

Write out filelists to packages_contents.db in locate-like packed format

First version of parse-contents, for proto-implementing postfix searches

Adapt to DB format changes

Note about archive/suite, note bug in amd64/security

Make a note about order in _small.db

- Add $ROOT at appropriate places
- Move display of 'kB' to the column itself, and right align it

Oops - drop debugging print

Reduce complexity during show_package by storing info in _all.db files
NUL-separated.
Also, lookup source packages by archive/suite, instead of version

Some adjustments:
 - filelist is arch specific
 - there will be "static" source package pages
 - we shouldn't change the sections index urls just for fun

Add a first attampt at some URL layout document. Comments more than welcome

* Add source package display
* Move most of the DB init code to own module

Create index pages
Some source version handling fixes
Introduce list of section/subsection/priority by suite/archive. Since
these are only used for the static pages currently, they are stored
rather expensive via Storable.
Add priority sorting to Deb::Versions

Finally get a working solution that handles both static and dynamic
pages correctly

Fix non-US handling
Fix handling of packages without source package

Use local files instead of www.debian.org ones.
Fix handling of packages with missing source package.

Import from old source

Fix several minor issues, mostly configuration-like stuff

* Move coniguratio stuf to own module
* Overhaul archive handling for show_package
* Begin to make the URL handling somewhat consistent
* Fix source files handling, which was broken by the last upload

* Complete pmoreinfo
* Some big speed optimisations

show_package.pl Basic stuff works with still some rough edges and dirty
corners

A minimal working version of show_package.pl (essentially porting yesterday's
search_packages changes over)

Used wrong variable for displaying the final benchmark result.
Which actually explains a lot ;)

Uups

* Add back some parts of the cron job (100syncarchive_*)
* Use these files from bin/parse-*
* Support different archives

Forgot to commit some new files related to the mod_perl changes

Update

These changes make the search_packages.pl script mod_perl ready
and try to make some optimisations for this (e.g. tie'ing the
Databases only once)

Also move the result printing to a function

Do some work to get show_package.pl to work -- not completed yet