Switch to using codenames

Use codenames for suites instead of alias names where possible.

Packages::Search: Implement find_similar

Suggested by Enrico Zini.

For a given <package>, search for P<package>,
and then extract all the terms from the document
you find (you could also implement this part by
just looking up the description and applying the
same algorithms to it as in parse-packages, haven't
benchmarked that against each other).

With these terms then make a OR search. Ignore all
results <package>, since these are obvious ;)
The first few matches of the rest are usually
packages very similar to the one we started with.

parse-packages: Unbreak descriptions handling

Earlier I broke the descriptions handling by storing the
description trimmed for search in place of the original
one.

Packages::Dispatcher: create from code from dispatcher.pl

This is currently only a copy with some small formatting changes.
But this should benefit our mod_perl cleaness and I intend to
wrap that up somewhat nicer in the future, too.

Clean up footer handling

Remove Packages::Template->trailer which essentially forced
any format to have a foot.tmpl even it made no sense for them.
Now formats that want something like that can handle it themself.

Fix handling of languages in the footer so that we get a list
of available translations again. Currently this only reflects
DDTP translations since the po stuff isn't reenabled yet since
the switch to templates.

remove the html_header argument from do_* calls

It has long stopped being used, so it just clutters the code.

html/search.tmpl: Improve message about too many results for fulltext search

This brings this message closer to reality and also mentions that the results
are sorted by relevance now.

Fulltext search: Greatly improve by using a more fuzzy approach

Most of this done on suggestion of Enrico Zini <enrico@enricozini.org>

Using OP_OR instead of OP_AND as default can actually lead to better
matches because the ones found with OP_AND often don't actually are
the most relevant ones. This is especially true when using more than
two keywords.

Accordingly sort by relevance on the result page.

Improve indexing:
 + Add both the unstemmed and the stemmed description to index
   this will increase the relevance of exact matches. Only the
   latter is done with positional information
 + Really index debtags and the package name

parse-packages: Move tag parsing code here

To be able to use the tags more flexibly, expand the
compressed format earlier, i.e. move this code from
Packages::DoShow to parse-packages.

Remove obsolete descriptions.txt previously used for fulltext search

I will definetly stick with xapian for now.

Display translated descriptions

This only adds support for displaying the description
itself on the show page, not the short description in
dependencies or in search results.

The latter is more complicated now since we store the
short description in packages_small exactly because these
places are performance critical and to have to
access one more database in these places is bad...

Packages::DB, Packages::Page: Make translated descriptions available to code

The database is available as %desctrans and the MD5 sums are now stored
in the Page object.

Packages::I18N::Locale: Use UTF-8 as charset for all locales

There shouldn't be any left for which we don't have an UTF-8
locale available.

dispatcher.pl: Use all available languages for content negotiation

Make a union of the po languages and the DDTP languages before
deciding about the language to serve.

parse-packages: Fix MD5 sum computation for descriptions

They were missing the final newline, therefor all generated
MD5 sums were bogus.

parse-translations: Fix encoding of Japanese descriptions

They should be in UTF-8, but actually they are in EUC-JP.

parse-translations: new script to parse the Translation files

parse-packages: Save the md5 checksum of the description

This should enable us later to retrieve the translated descriptions

cron.d/120syntrans: retrieve DDTP descriptions again

They are now on the official mirrors and there seems to be a real chance
that the project gets revived again. So start supporting translated
descriptions again.

parse-packages: Fix a remaining occourence of kfreebsd as archive name

This is now called gnuab. Also clarify the accompaning comment a bit
while I'm at it.

templates/html/show.tmpl: Fix bug in generation of "Files" column in download table

b688b16487ef2ca8ad7861d7c20da16a9f3f4448 changed the loop to use a local
variable instead of implicit declaration but didn't change the
use of the contents_avail hash key. This broke the "Files" column
to never display a file link.

templates/html/show.tmpl: Make "Version" column of download table more readable

Previously it was sometimes difficult to spot differences in the versions,
especially if the are only in the Debian revision. Color code the
background so that one can spot differences easier. All up-to-date
versions are indicated with a green background. If the version differs
from the latest version only in the Debian revision, use yellow.
If they differ in the upstream revision, use red.

Inspired by discussion with Neil Williams <codehelp debian org>

html/head.tmpl: Compactify the header

Make search for more compact by changing radio buttons
to dropwdown select list.

Use smaller images for the logo.

lib/Packages/DoShow.pm: Don't shorten the dsc name

Suggested by Ben Hutchings <ben decadent org uk>

I don't know exactly why this was done this way previously but
myself also prefer the new version.

templates/html/search.tmpl: Add suite as class for search results

And use this to display "unofficial" suites a bit smaller than the
others. Move the CSS information to a new css file packages-site.css
since this information will probably very site specific.

templates/html/show.tmpl: Add experimental tabbing for content

Since the content tends to get very long and confusing, let the
user switch between "Description" (which includes the list of
binaries for source packages and the list of tags), "Dependencies",
and "Download".

static/debian.css: Move horizontal rule at bottom of content to #footer

This works way better than the #outer > #inner construct, especially
if content has floating elements.

static/debian.css: Use sans-serif as default font

Suggested by Neil Williams <codehelp debian org>

templates/html/show.tmpl: Don't show PTS link for packages without source

The conditional was testing the wrong object for existance.

lib/Packages/DoShow.pm: Fix source package retrieval

Some binary packages are build from official Debian
sources but have no version in the Debian archive
(e.g. libc0.1). Fix searching the source package for
those. Rather hackish solution, needs cleanup.

templates/html/show.tmpl: Typo fix

/maintainter's/maintainer's/
Spotted by Ben Hutchings

lib/Packages/DoShow.pm: Ensure that the source download path starts with /

Otherwise we might get an invalid URL if the host lacks a trailing /

templates/html/show.tmpl: Denote unofficial ports

Get this information by 1) exposing the archive in the
%downloads hash 2) using config/mirrors.tmpl to determine
whether this archive is an unofficial port

templates/html/download.tmpl: Fix message displayed for armel packages

Don't assume anymore that a non-Debian archive can't contain more than
one arch.

templates/html/download.tmpl: Handle security in apt nag

Needs to be special cased since we don't have a mirror list
for security.

cron.d/100syncarchive: Remove some needless warnings

We already skipped kfreebsd-i386 here since that is a
needless warning. Do the same for kfreebsd-amd64 and armel.

Add etch-m68k

Simply add it as a seperate suite since that is what it
really is. Everything else will be either ugly and/or
confusing.

Deb/Versions.pm: Fix handling of ~ vs. empty string

~ sorts even before the empty string, so we can't just
abort if one of the revisions is shorter than the other
since it can still sort later.

setup-site: Only search for files to work on two directories deep

Otherwise we will search e.g. through all the extracted changelogs
for .sed.in files.

Add armel as architecture and rename kfreebsd archive to gnuab

Since the same archive hosts now armel and the two kfreebsd
architectures, rename to a more generic name.

The porter remark in download.tmpl needs some adjusting still
but it is not terribly important, so leave it out of this commit.

config change

patch to the local archive has changed

Add some more files and directories to .gitignore

Also add some generic patterns (*~ and *.ttc) to
the top level .gitignore.

extract_changelogs: Merge cron job changes from old site

Merge the new daily cron job scripts from old site that
splits the extract_changelogs from the rest of the
cron job. This avoids delaying the rest of the cronjob for
the changelog extraction. Using two different lock files
also makes the whole site update more robust.

Support "changelog:" short links

Generate a map file for mod_rewrite since we need to
map binary packages to source packages.

Provide backwards compatibility for newpkg pages

dispatcher.pl: Add some backwards compatibility handling

Try to show something useful if the user reaches us over
an older /cgi-bin/search_* URL.

dispatcher: Fix handling of Packages::CGI::http_code vs. error page

Only use http_code instead of the generic error page if it is
not a code from the 2XX group.

Add general about page and improve footer for static pages.

The about/index page explains how to get the code and
lists all the copyright statements and the license.

Add GPL text

It was always understood that this code is licensed under the
GPL. So it should carry the GPL text with it.

DoShow.pm: Don't show "special:" debtags

packages.d.o is for end users who are probably not interested in
the various special: tags that are more useful for debtags maintainance.
(This can be moved to the template if ever the need arises to display these
tags)

Backwards compatibility mode for reportbug

Force exact=1 if UserAgent looks like reportbug.
Otherwise it would get confused by the new behaviour
to show non-exact matches per default, too.

The real solution for this is of course to let it
use another format instead of HTML.

Search.pm: Define fallback suites for oldstable-*

We really need to make this regex based (e.g. foo-* always
falls back to foo). Anyway, here the short term fix.

Add some .gitignore files

Mainly for files generated from *.in by setup-site
and for the generated output directories.

mirror.tmpl: Add some more mirrors for volatile

Also update the mirror list page to the official one.

Description Search: Move to Xapian

Use Xapian as Backend for fulltext search in descriptions.
Introduces new do_xapian_search function to be able to switch
to the old do_fulltext_search in case of problems.

syncarchive_installer: Don't skip oldstable, sarge has an installer

syncarchive: add oldstable backports and volatile

Also remove stable backports, since there are none for etch
yet.

static: Add a simple index page and use ttree to build and install

Add a simple index page to static that we can use as homepage if we don't
want to redirect to an external search form like we do on the official
packages.debian.org.

Also use ttree to build and install the contents of static. This allows
to use TT for preprocessing. The first example of such a file is the
added index file.

search_contents.tmpl: Don't offer a link to the search with the same suite

Since that is essentially a link to the page the user is looking at.

architectures.tmpl: Change MIPS architecture names

MIPS -> MIPS (big-endian)
MIPS (DEC) -> MIPS (little-endian)

This ports a change recently made to the Debian webpage.
The DEC is a historical name that may confuse newer users.

dispatcher: Fix HTTP error code for "format not supported"

405 is actually the error for not supported HTTP request (i.e.
GET, POST, etc). 406 is the correct code for content formats.

Page.pm: Let get_version_string sort architectures alphabetically

index.tmpl: Fix two bugs

One missing semicolon added.

One variable named corrected (navigation_pre -> nav_arr)

dispatcher: Allow to use 'any' as an architecture name

This will not set the arch parameter since it is essentially
a no-op anyway

dispatcher: Update suite aliases for etch release

search.tmpl: Fix two bugs

The subsection key was renamed from .subsect to .subsection at one point.
However the template was not updated.

Unset archive and architecture for links to binary packages.

show.tmpl: Add a 'Source' entry in the navigation bar for source packages

Make 'Source' a replacement for the suite link and make the latter
not go to the source index page but the normal index page.

create_index_pages: Forgot to create directory for source index pages

show.tmpl: Improve VCS-* handling

Add new VCS Mercurial (aka Hg)

Handle VCS-Browser

DoShow.pm: Handle complex debtags

Add code that correctly parses and splits debtags
like devel::{buildtools,lang:c,lang:c++}

show.tmpl: In the experimental nag, link to the changelog

Since we already tell the user to read it, we can actually
link to it, too. Yay, Hyperlinks :)

show.tmpl: Add links to DDPO pages for maintainers

templates: Define missing pts_url

pts_url was used in the templates but never actually defined

non-US: don't download anymore

Don't try to download any non-US information anymore.
Don't delete the various non-US hacks from the parsing and displaying
code yet. This can be done as a second step.

cron.d: Use git instead of svn

kfreebsd: Enable again

On second thought, just use another mirror.

prepare_newpkg: Also create a list of source package names

This isn't used further yet but might be useful to also present a list
of new source packages.

DoShow: Add Pre-Depends to dependency output

vcs information: Improve HTML output

Add a link to the package page of the used VCS.

debtags: Make HTML output more pretty

Don't look up the description on the debtags vocabulary in the script
but in the template. Split facet and tag in the script so that we can
merge together multiple tags with the same facet.

apache.conf: Add some more "no rewrite" patterns

Don't rewrite /about/, we will put static pages there
Don't rewrite *.js files

cron.d: Disable some scripts for the time beeing

100syncarchive_kfreebsd is disabled because the
archive server doesn't respond anymore

300extract_changelogs is disabled because I have
no full archive on the test server.

config.sh: Update list of architectures

Adapt list of architectures for oldstable/stable/testing to
etch release.

s/stable/oldstable/

Also download Release(.gpg) for security

Use the debtags vocabulary to be able to show prettier tag names

string2id(): Also allow ":.-"

Some updates to list of supported fields and about the reportbug
concerns

Add a proof-of-concept rfc822 output for search results

Improve error handling:
 - Make it possible to control the returned HTTP code
 - Use always the html error template, we have no others anyway
 - Try to avoid mixing the apache generated and our own error
   messages (this needs more work)

Some misc fixes

Move a remaining HTML message from DoShow.pm to show.tmpl
(this commit contaminates the config.tmpl with the packages.debian.net
settings, but I couldn't care less atm ;)

Try another layout for the "moreinfo" part

Be more verbose in the suggestion to use apt and explain how to
use one of the listed mirrors in the own sources.list

Some updates to the mirror list

Add a missing </a>

Finally fix the new packages rss feed

Download Release and Release.gpg files. We could use them one day
to verify downloaded Packages.gz files

Experimental support for url and vcs-*. Not sure if the latter really
belongs to p.d.o or if using it in the PTS should be enough.
The former is only used for source packages as many binary packages
include the url in the description, too

Move more messages from DoSearch.pm to search.tmpl, similar to what
I've already done for search_contents.tmpl