dispatcher.pl: Use all available languages for content negotiation

Make a union of the po languages and the DDTP languages before
deciding about the language to serve.

parse-packages: Fix MD5 sum computation for descriptions

They were missing the final newline, therefor all generated
MD5 sums were bogus.

parse-translations: Fix encoding of Japanese descriptions

They should be in UTF-8, but actually they are in EUC-JP.

parse-translations: new script to parse the Translation files

parse-packages: Save the md5 checksum of the description

This should enable us later to retrieve the translated descriptions

cron.d/120syntrans: retrieve DDTP descriptions again

They are now on the official mirrors and there seems to be a real chance
that the project gets revived again. So start supporting translated
descriptions again.

parse-packages: Fix a remaining occourence of kfreebsd as archive name

This is now called gnuab. Also clarify the accompaning comment a bit
while I'm at it.

templates/html/show.tmpl: Fix bug in generation of "Files" column in download table

b688b16487ef2ca8ad7861d7c20da16a9f3f4448 changed the loop to use a local
variable instead of implicit declaration but didn't change the
use of the contents_avail hash key. This broke the "Files" column
to never display a file link.

templates/html/show.tmpl: Make "Version" column of download table more readable

Previously it was sometimes difficult to spot differences in the versions,
especially if the are only in the Debian revision. Color code the
background so that one can spot differences easier. All up-to-date
versions are indicated with a green background. If the version differs
from the latest version only in the Debian revision, use yellow.
If they differ in the upstream revision, use red.

Inspired by discussion with Neil Williams <codehelp debian org>

html/head.tmpl: Compactify the header

Make search for more compact by changing radio buttons
to dropwdown select list.

Use smaller images for the logo.

lib/Packages/DoShow.pm: Don't shorten the dsc name

Suggested by Ben Hutchings <ben decadent org uk>

I don't know exactly why this was done this way previously but
myself also prefer the new version.

templates/html/search.tmpl: Add suite as class for search results

And use this to display "unofficial" suites a bit smaller than the
others. Move the CSS information to a new css file packages-site.css
since this information will probably very site specific.

templates/html/show.tmpl: Add experimental tabbing for content

Since the content tends to get very long and confusing, let the
user switch between "Description" (which includes the list of
binaries for source packages and the list of tags), "Dependencies",
and "Download".

static/debian.css: Move horizontal rule at bottom of content to #footer

This works way better than the #outer > #inner construct, especially
if content has floating elements.

static/debian.css: Use sans-serif as default font

Suggested by Neil Williams <codehelp debian org>

templates/html/show.tmpl: Don't show PTS link for packages without source

The conditional was testing the wrong object for existance.

lib/Packages/DoShow.pm: Fix source package retrieval

Some binary packages are build from official Debian
sources but have no version in the Debian archive
(e.g. libc0.1). Fix searching the source package for
those. Rather hackish solution, needs cleanup.

templates/html/show.tmpl: Typo fix

/maintainter's/maintainer's/
Spotted by Ben Hutchings

lib/Packages/DoShow.pm: Ensure that the source download path starts with /

Otherwise we might get an invalid URL if the host lacks a trailing /

templates/html/show.tmpl: Denote unofficial ports

Get this information by 1) exposing the archive in the
%downloads hash 2) using config/mirrors.tmpl to determine
whether this archive is an unofficial port

templates/html/download.tmpl: Fix message displayed for armel packages

Don't assume anymore that a non-Debian archive can't contain more than
one arch.

templates/html/download.tmpl: Handle security in apt nag

Needs to be special cased since we don't have a mirror list
for security.

cron.d/100syncarchive: Remove some needless warnings

We already skipped kfreebsd-i386 here since that is a
needless warning. Do the same for kfreebsd-amd64 and armel.

Add etch-m68k

Simply add it as a seperate suite since that is what it
really is. Everything else will be either ugly and/or
confusing.

Deb/Versions.pm: Fix handling of ~ vs. empty string

~ sorts even before the empty string, so we can't just
abort if one of the revisions is shorter than the other
since it can still sort later.

setup-site: Only search for files to work on two directories deep

Otherwise we will search e.g. through all the extracted changelogs
for .sed.in files.

Add armel as architecture and rename kfreebsd archive to gnuab

Since the same archive hosts now armel and the two kfreebsd
architectures, rename to a more generic name.

The porter remark in download.tmpl needs some adjusting still
but it is not terribly important, so leave it out of this commit.

config change

patch to the local archive has changed

Add some more files and directories to .gitignore

Also add some generic patterns (*~ and *.ttc) to
the top level .gitignore.

extract_changelogs: Merge cron job changes from old site

Merge the new daily cron job scripts from old site that
splits the extract_changelogs from the rest of the
cron job. This avoids delaying the rest of the cronjob for
the changelog extraction. Using two different lock files
also makes the whole site update more robust.

Support "changelog:" short links

Generate a map file for mod_rewrite since we need to
map binary packages to source packages.

Provide backwards compatibility for newpkg pages

dispatcher.pl: Add some backwards compatibility handling

Try to show something useful if the user reaches us over
an older /cgi-bin/search_* URL.

dispatcher: Fix handling of Packages::CGI::http_code vs. error page

Only use http_code instead of the generic error page if it is
not a code from the 2XX group.

Add general about page and improve footer for static pages.

The about/index page explains how to get the code and
lists all the copyright statements and the license.

Add GPL text

It was always understood that this code is licensed under the
GPL. So it should carry the GPL text with it.

DoShow.pm: Don't show "special:" debtags

packages.d.o is for end users who are probably not interested in
the various special: tags that are more useful for debtags maintainance.
(This can be moved to the template if ever the need arises to display these
tags)

Backwards compatibility mode for reportbug

Force exact=1 if UserAgent looks like reportbug.
Otherwise it would get confused by the new behaviour
to show non-exact matches per default, too.

The real solution for this is of course to let it
use another format instead of HTML.

Search.pm: Define fallback suites for oldstable-*

We really need to make this regex based (e.g. foo-* always
falls back to foo). Anyway, here the short term fix.

Add some .gitignore files

Mainly for files generated from *.in by setup-site
and for the generated output directories.

mirror.tmpl: Add some more mirrors for volatile

Also update the mirror list page to the official one.

Description Search: Move to Xapian

Use Xapian as Backend for fulltext search in descriptions.
Introduces new do_xapian_search function to be able to switch
to the old do_fulltext_search in case of problems.

syncarchive_installer: Don't skip oldstable, sarge has an installer

syncarchive: add oldstable backports and volatile

Also remove stable backports, since there are none for etch
yet.

static: Add a simple index page and use ttree to build and install

Add a simple index page to static that we can use as homepage if we don't
want to redirect to an external search form like we do on the official
packages.debian.org.

Also use ttree to build and install the contents of static. This allows
to use TT for preprocessing. The first example of such a file is the
added index file.

search_contents.tmpl: Don't offer a link to the search with the same suite

Since that is essentially a link to the page the user is looking at.

architectures.tmpl: Change MIPS architecture names

MIPS -> MIPS (big-endian)
MIPS (DEC) -> MIPS (little-endian)

This ports a change recently made to the Debian webpage.
The DEC is a historical name that may confuse newer users.

dispatcher: Fix HTTP error code for "format not supported"

405 is actually the error for not supported HTTP request (i.e.
GET, POST, etc). 406 is the correct code for content formats.

Page.pm: Let get_version_string sort architectures alphabetically

index.tmpl: Fix two bugs

One missing semicolon added.

One variable named corrected (navigation_pre -> nav_arr)

dispatcher: Allow to use 'any' as an architecture name

This will not set the arch parameter since it is essentially
a no-op anyway

dispatcher: Update suite aliases for etch release

search.tmpl: Fix two bugs

The subsection key was renamed from .subsect to .subsection at one point.
However the template was not updated.

Unset archive and architecture for links to binary packages.

show.tmpl: Add a 'Source' entry in the navigation bar for source packages

Make 'Source' a replacement for the suite link and make the latter
not go to the source index page but the normal index page.

create_index_pages: Forgot to create directory for source index pages

show.tmpl: Improve VCS-* handling

Add new VCS Mercurial (aka Hg)

Handle VCS-Browser

DoShow.pm: Handle complex debtags

Add code that correctly parses and splits debtags
like devel::{buildtools,lang:c,lang:c++}

show.tmpl: In the experimental nag, link to the changelog

Since we already tell the user to read it, we can actually
link to it, too. Yay, Hyperlinks :)

show.tmpl: Add links to DDPO pages for maintainers

templates: Define missing pts_url

pts_url was used in the templates but never actually defined

non-US: don't download anymore

Don't try to download any non-US information anymore.
Don't delete the various non-US hacks from the parsing and displaying
code yet. This can be done as a second step.

cron.d: Use git instead of svn

kfreebsd: Enable again

On second thought, just use another mirror.

prepare_newpkg: Also create a list of source package names

This isn't used further yet but might be useful to also present a list
of new source packages.

DoShow: Add Pre-Depends to dependency output

vcs information: Improve HTML output

Add a link to the package page of the used VCS.

debtags: Make HTML output more pretty

Don't look up the description on the debtags vocabulary in the script
but in the template. Split facet and tag in the script so that we can
merge together multiple tags with the same facet.

apache.conf: Add some more "no rewrite" patterns

Don't rewrite /about/, we will put static pages there
Don't rewrite *.js files

cron.d: Disable some scripts for the time beeing

100syncarchive_kfreebsd is disabled because the
archive server doesn't respond anymore

300extract_changelogs is disabled because I have
no full archive on the test server.

config.sh: Update list of architectures

Adapt list of architectures for oldstable/stable/testing to
etch release.

s/stable/oldstable/

Also download Release(.gpg) for security

Use the debtags vocabulary to be able to show prettier tag names

string2id(): Also allow ":.-"

Some updates to list of supported fields and about the reportbug
concerns

Add a proof-of-concept rfc822 output for search results

Improve error handling:
 - Make it possible to control the returned HTTP code
 - Use always the html error template, we have no others anyway
 - Try to avoid mixing the apache generated and our own error
   messages (this needs more work)

Some misc fixes

Move a remaining HTML message from DoShow.pm to show.tmpl
(this commit contaminates the config.tmpl with the packages.debian.net
settings, but I couldn't care less atm ;)

Try another layout for the "moreinfo" part

Be more verbose in the suggestion to use apt and explain how to
use one of the listed mirrors in the own sources.list

Some updates to the mirror list

Add a missing </a>

Finally fix the new packages rss feed

Download Release and Release.gpg files. We could use them one day
to verify downloaded Packages.gz files

Experimental support for url and vcs-*. Not sure if the latter really
belongs to p.d.o or if using it in the PTS should be enough.
The former is only used for source packages as many binary packages
include the url in the description, too

Move more messages from DoSearch.pm to search.tmpl, similar to what
I've already done for search_contents.tmpl

Also create source versions for suite_index

Fix the nav bars to make more sense for source pages

@TAKE_NEWEST: add url
@STORE_ALL: add sha1, sha256, and task

Make the Packages::(Src)Page object available to the template

Fix the links to versions of a site in other languages

Add a list of fields from Packages/Sources we currently don't use

Add a note about section handling in search_contents

make sure all_architectures is sorted
some whitespace fixes

Add facilities to display a site wide message on all pages

Fix "search in all architectures" link

experiment a little with the use of JavaScript. Right now I use
it to make the display of some potentially very long lists
(binary packages in source package search results and providers
of virtual packages in dependency listings) optional for the user

Add string2id function that is useful in generating HTML id attributes
from random data.

ftp.debian.org doesn't have all architectures, so better don't
use it as default value