extract_changelogs: Merge cron job changes from old site

Merge the new daily cron job scripts from old site that
splits the extract_changelogs from the rest of the
cron job. This avoids delaying the rest of the cronjob for
the changelog extraction. Using two different lock files
also makes the whole site update more robust.

Support "changelog:" short links

Generate a map file for mod_rewrite since we need to
map binary packages to source packages.

Provide backwards compatibility for newpkg pages

dispatcher.pl: Add some backwards compatibility handling

Try to show something useful if the user reaches us over
an older /cgi-bin/search_* URL.

dispatcher: Fix handling of Packages::CGI::http_code vs. error page

Only use http_code instead of the generic error page if it is
not a code from the 2XX group.

Add general about page and improve footer for static pages.

The about/index page explains how to get the code and
lists all the copyright statements and the license.

Add GPL text

It was always understood that this code is licensed under the
GPL. So it should carry the GPL text with it.

DoShow.pm: Don't show "special:" debtags

packages.d.o is for end users who are probably not interested in
the various special: tags that are more useful for debtags maintainance.
(This can be moved to the template if ever the need arises to display these
tags)

Backwards compatibility mode for reportbug

Force exact=1 if UserAgent looks like reportbug.
Otherwise it would get confused by the new behaviour
to show non-exact matches per default, too.

The real solution for this is of course to let it
use another format instead of HTML.

Search.pm: Define fallback suites for oldstable-*

We really need to make this regex based (e.g. foo-* always
falls back to foo). Anyway, here the short term fix.

Add some .gitignore files

Mainly for files generated from *.in by setup-site
and for the generated output directories.

mirror.tmpl: Add some more mirrors for volatile

Also update the mirror list page to the official one.

Description Search: Move to Xapian

Use Xapian as Backend for fulltext search in descriptions.
Introduces new do_xapian_search function to be able to switch
to the old do_fulltext_search in case of problems.

syncarchive_installer: Don't skip oldstable, sarge has an installer

syncarchive: add oldstable backports and volatile

Also remove stable backports, since there are none for etch
yet.

static: Add a simple index page and use ttree to build and install

Add a simple index page to static that we can use as homepage if we don't
want to redirect to an external search form like we do on the official
packages.debian.org.

Also use ttree to build and install the contents of static. This allows
to use TT for preprocessing. The first example of such a file is the
added index file.

search_contents.tmpl: Don't offer a link to the search with the same suite

Since that is essentially a link to the page the user is looking at.

architectures.tmpl: Change MIPS architecture names

MIPS -> MIPS (big-endian)
MIPS (DEC) -> MIPS (little-endian)

This ports a change recently made to the Debian webpage.
The DEC is a historical name that may confuse newer users.

dispatcher: Fix HTTP error code for "format not supported"

405 is actually the error for not supported HTTP request (i.e.
GET, POST, etc). 406 is the correct code for content formats.

Page.pm: Let get_version_string sort architectures alphabetically

index.tmpl: Fix two bugs

One missing semicolon added.

One variable named corrected (navigation_pre -> nav_arr)

dispatcher: Allow to use 'any' as an architecture name

This will not set the arch parameter since it is essentially
a no-op anyway

dispatcher: Update suite aliases for etch release

search.tmpl: Fix two bugs

The subsection key was renamed from .subsect to .subsection at one point.
However the template was not updated.

Unset archive and architecture for links to binary packages.

show.tmpl: Add a 'Source' entry in the navigation bar for source packages

Make 'Source' a replacement for the suite link and make the latter
not go to the source index page but the normal index page.

create_index_pages: Forgot to create directory for source index pages

show.tmpl: Improve VCS-* handling

Add new VCS Mercurial (aka Hg)

Handle VCS-Browser

DoShow.pm: Handle complex debtags

Add code that correctly parses and splits debtags
like devel::{buildtools,lang:c,lang:c++}

show.tmpl: In the experimental nag, link to the changelog

Since we already tell the user to read it, we can actually
link to it, too. Yay, Hyperlinks :)

show.tmpl: Add links to DDPO pages for maintainers

templates: Define missing pts_url

pts_url was used in the templates but never actually defined

non-US: don't download anymore

Don't try to download any non-US information anymore.
Don't delete the various non-US hacks from the parsing and displaying
code yet. This can be done as a second step.

cron.d: Use git instead of svn

kfreebsd: Enable again

On second thought, just use another mirror.

prepare_newpkg: Also create a list of source package names

This isn't used further yet but might be useful to also present a list
of new source packages.

DoShow: Add Pre-Depends to dependency output

vcs information: Improve HTML output

Add a link to the package page of the used VCS.

debtags: Make HTML output more pretty

Don't look up the description on the debtags vocabulary in the script
but in the template. Split facet and tag in the script so that we can
merge together multiple tags with the same facet.

apache.conf: Add some more "no rewrite" patterns

Don't rewrite /about/, we will put static pages there
Don't rewrite *.js files

cron.d: Disable some scripts for the time beeing

100syncarchive_kfreebsd is disabled because the
archive server doesn't respond anymore

300extract_changelogs is disabled because I have
no full archive on the test server.

config.sh: Update list of architectures

Adapt list of architectures for oldstable/stable/testing to
etch release.

s/stable/oldstable/

Also download Release(.gpg) for security

Use the debtags vocabulary to be able to show prettier tag names

string2id(): Also allow ":.-"

Some updates to list of supported fields and about the reportbug
concerns

Add a proof-of-concept rfc822 output for search results

Improve error handling:
 - Make it possible to control the returned HTTP code
 - Use always the html error template, we have no others anyway
 - Try to avoid mixing the apache generated and our own error
   messages (this needs more work)

Some misc fixes

Move a remaining HTML message from DoShow.pm to show.tmpl
(this commit contaminates the config.tmpl with the packages.debian.net
settings, but I couldn't care less atm ;)

Try another layout for the "moreinfo" part

Be more verbose in the suggestion to use apt and explain how to
use one of the listed mirrors in the own sources.list

Some updates to the mirror list

Add a missing </a>

Finally fix the new packages rss feed

Download Release and Release.gpg files. We could use them one day
to verify downloaded Packages.gz files

Experimental support for url and vcs-*. Not sure if the latter really
belongs to p.d.o or if using it in the PTS should be enough.
The former is only used for source packages as many binary packages
include the url in the description, too

Move more messages from DoSearch.pm to search.tmpl, similar to what
I've already done for search_contents.tmpl

Also create source versions for suite_index

Fix the nav bars to make more sense for source pages

@TAKE_NEWEST: add url
@STORE_ALL: add sha1, sha256, and task

Make the Packages::(Src)Page object available to the template

Fix the links to versions of a site in other languages

Add a list of fields from Packages/Sources we currently don't use

Add a note about section handling in search_contents

make sure all_architectures is sorted
some whitespace fixes

Add facilities to display a site wide message on all pages

Fix "search in all architectures" link

experiment a little with the use of JavaScript. Right now I use
it to make the display of some potentially very long lists
(binary packages in source package search results and providers
of virtual packages in dependency listings) optional for the user

Add string2id function that is useful in generating HTML id attributes
from random data.

ftp.debian.org doesn't have all architectures, so better don't
use it as default value

Remove the _ subroutine. I don't use it anyway and even its sheer
existance seems to lead to problems with some Perl versions

The Big, the Fat and the Ugly commit ;)
 - Make output via Template Toolkit (libtemplate-perl) and
   not "manual". This should seperate the logic of data
   retrieval and data display and make adding new output
   formats and styles easier. Lets see how this turns out :)
 - While doing this I also reworked most of the site designs
   and added a lot of new information and hopefully structure
   to the output
Currently broken:
 - Most of the l10n stuff since I need to find
   a good way to feed the templates to gettext first.
   (this is not "RC" for an use on p.d.o)
 - RSS feed of new packages. Didn't came around yet to convert
   this one.
   (this one is "RC")
 - probably a lot of minor things

fun with module name differences between sarge and etch

Update for use with apache2/mod-perl2

Do some often needed adjustments when setting up a site with
a central script

Add these two images so that we don't have to link to
the versions on www.debian.org

import 010cvs (renamed to 010svn of course) and 050checkinst from old code.

Try to handle binNMUs better (new version format only)
Prefer packages from central archive over others (i.e. unofficial
ones)

Escape any & we add in make_search_url

Better error message when config.sh is missing
(Similar fix to DB.pm)

Create $DBDIR if it doesn't exist
Handle missing Packages/Sources files a little bit more gracefully which makes the log much easier to read

The "back from the dark" Commit :)
Handle missing packages_small.db better to produce a more meaningful error
message in the log

Merge AMD64 changes from current code

Show debtags if available

Skip arch:all for 3rd party repositories that provide new archs

There are no Contents files for udebs. But there are Contents files
for volatile

Fix some smaller issues reported by Thijs Kinkhorst

We welcome DoSearchContents.pm to the "multiple keywords" age

Fix cross-suite links, copy&waste mistake

Support multiple keywords

Fix linking to pure virtual packages in dep_list. Linking is not
correctly in all cases, though

Small adjustments

Hilight the keyword in contents searches

Fix going via the 3 modes of contents search

- Fix some issues with non-US handling
- volatile and backports are archives, partly revert a earlier patch
  that accidently removed that
- after that we can clean-up some ftp_site handling code
  (except for some ugly non-US hacks)
- add kfreebsd-amd64

Add missing comma

- Make lookup of download sites completly archive based
- Add some kfreebsd-Mirrors (via Robert Millan)
- Add kfreebsd-amd64 support

- Merge in some changes by Joey
- Some code cleanup

- Further fixes to the arch handling
- Give some hints for related searches