Deb::Versions: Fix a bug introduces by ~ handling

708b1364be58c9b921cc3838d7ed5f5b48959d78 fixed the handling
of ~ but broke the handling of comparing a "normal" letter
with the empty string. A letter sorts earlier than all
non-letter except ~, but of course not earlier as the empty string.

100syncarchive: Really fix retrieval of Release(.gpg) files

7f261c49b0b932c5cf04b107bac3bc8aad5f642c attempted to fix the
retrieval of the Release(.gpg) files from a local mirror but
really didn't because it didn't accounted for the chdir before
the rsync call. Really fix it this time y removing the chdir.

Packages::Page: Support homepage field

Superseeds the old, stupid url field.
Also display it in html/show.tmpl

html/foot.tmpl: Fix display of language footer

Since some variables are not defined in all loop iterations we
can not use the short syntax.

Packages::DoIndex: Ugly hack to fix content negotiation

Since we don't create the static pages for ddtplangs currently,
only for polangs, but we don't discriminate between the two in
the content negotiation we might try to serve a non-existant file.

Fixing the content negoation or the static file generation will
take some time and testing. For now, work around the bug by stat'ing
the requested file in DoIndex and falling back to English in case it doesn't
exist.

Various improvements of DDTP support

Update list of ddtp languages to the ones available on
ddtp.debian.net.
Fix typo in 120synctrans in the remote mirror retrieval
part.
Execute parse-translations before parse-contents in process_archive
because the latter needs way more time.

Packages::Dispatcher: Ugly hack to fix allpackages display

allpackages needs to be special cased since it has no own asscociated
template.

cron.d/120synctrans: Allow overriding the server for downloading translations

Suggested by Helge Kreutzmann <debian -at- helgefjell de>

Since the translations in the main Debian archive are still way outdated, use
ddtp.debian.net for now. Make overriding $ddtp_ftpsite optional and fall back
to $ftpsite automatically if no seperate $ddtp_ftpsite is defined.

apache.conf: Let apache send static files directly if possible

If we have no QUERY_STRING and a static file is requested, let
apache handle this directly. This also reenables the behaviour
that packages.debian.org/etch goes to packages.debian.org/etch/
instead of searching for etch.

Also use Encoding for .gz, not Type.

Packages::DoIndex: Send Content-Length and Last-Modified

txt/index.tmpl: Fix display of virtual packages

"IF array" is always true. Use "IF array.size"

Noted by Brandon <winterknight -at- nerdshack com>

Remove non-US support

At this point I see no reason to keep all these hacks around.

config/mirrors.tmpl: Merge from CVS: remove some non-working non-american mirrors

revision 1.37
date: 2007-04-27 20:58:43 +0200;  author: spaillar;  state: Exp;  lines: +0 -2
removed from the list: ftp.lug.udel.edu/debian debian.teleglobe.net
----------------------------
revision 1.36
date: 2007-04-20 14:29:20 +0200;  author: spaillar;  state: Exp;  lines: +1 -2
debian.crosslink.net is no longer a mirror

100syncarchive: Fix retrieval of Release{.gpg} from local mirror

When you copy & paste a wget commandline and change it to a rsync
commandline, don't forget to add an actual target.

extract_files: make unpack_srcpkg more robust

In etch dpkg-source can extract source packages to a designated
directory. Use this instead of trying to extract the directory name
from dpkg-source's output which is inheriently unreliable.

newpkg_info: Fix handling of removed packages

Don't waste time on calling read_entry_simple for removed
packages. Also fix error detection for this call. The result
is always defined (and an array reference), errors can be
detected by checking whether the referenced array is empty.

Packages::*: More Perl warning fixes

Packages::DoDownload: Don't try to numerically compare a localized number

After formatting a number with the help of sprintf, it is localized, i.e.
the decimal point might not be a decimal point anymore. So don't try to
compare it numerically (i.e. with '<' or '>') since that will not work.

Packages::*: Fix various Perl warnings

"Use of uninitialized value" mostly and two
occourence of masking an earlier defined variable.
No bugs really, but they clutter up the web servers log.

html/filelist.tmpl: Add forgotten footer include

html/show.tmpl: Don't show changelog links for other archives

We don't extract changelogs for backports/volatile/gnuab currently,
so don't show the links there.

Packages::DoSearchContents: Add missing import of &Packages::CGI::error

html/newpkg.tmpl: Expose mode=byage in UI

html/head.tmpl: Fix HTML syntax error

W3.org validator didn't find this! w3m however reacted
very bad to it...

Packages::Dispatcher: Handle escaped characters in PATH_INFO correctly

Unescape stuff from PATH_INFO before setting CGI parameters to it.
Fixes URLs of the form http://packages.debian.org/g++

Packages::Dispatcher: Handle suite aliases correctly in suite parameter

Handle suite aliases correctly in query parameters, too; not only in PATH_INFO

Packages::DoSearchContents: Handle absolute path names correctly

Avoid adding too many leading / for mode=exactfilename

Packages::DoSearchContents: Replace 'stable' by 'etch' as default suite

Otherwise the "Codenames Everywhere" changes break this.

Deb::Versions: Update list of Debian and Ubuntu releases

Add lenny for Debian
Add edgy, feisty, gutsy for Ubuntu
Remove -backports releases, since these should
be determined by heuristics

apache.conf: Add file: search shortcut

Makes a default contents search (i.e. no mode
specified).

050checkinst: Add uk_UA.UTF-8 to list of needed locales

050checkinst: Add liblingua-stem-perl to list of needed packages

apache.conf: Some updates to mod_perl configuration

Add PerlSwitches
Make etch configuration default

Merge from CVS: Skip clean-up if extraction fails and some minor changes

revision 1.3
date: 2007-07-26 15:32:23 +0200;  author: djpig;  state: Exp;  lines: +13 -5
Skip clean-up run if extraction failed so that we don't lose all
the changelogs next time some bugs goes unnoticed for a week
----------------------------
revision 1.2
date: 2007-07-23 18:47:49 +0200;  author: djpig;  state: Exp;  lines: +2 -2
Commit some older local changes:
 * double time until deletion, no reason here to be too strict
 * enable debug output, makes the logs much more informative in case of problems

Merge from CVS: Fix handling of version 0 and some Perl warnings

revision 1.17
date: 2007-07-26 11:58:34 +0200;  author: djpig;  state: Exp;  lines: +9 -1
Initialize %stats hash to avoid perl warnings
----------------------------
revision 1.16
date: 2007-07-23 17:59:14 +0200;  author: djpig;  state: Exp;  lines: +1 -1
The version number can be just 0, don't fall over that

html/search.tmpl: Fix typo in variable name

Switch to using codenames

Use codenames for suites instead of alias names where possible.

Packages::Search: Implement find_similar

Suggested by Enrico Zini.

For a given <package>, search for P<package>,
and then extract all the terms from the document
you find (you could also implement this part by
just looking up the description and applying the
same algorithms to it as in parse-packages, haven't
benchmarked that against each other).

With these terms then make a OR search. Ignore all
results <package>, since these are obvious ;)
The first few matches of the rest are usually
packages very similar to the one we started with.

parse-packages: Unbreak descriptions handling

Earlier I broke the descriptions handling by storing the
description trimmed for search in place of the original
one.

Packages::Dispatcher: create from code from dispatcher.pl

This is currently only a copy with some small formatting changes.
But this should benefit our mod_perl cleaness and I intend to
wrap that up somewhat nicer in the future, too.

Clean up footer handling

Remove Packages::Template->trailer which essentially forced
any format to have a foot.tmpl even it made no sense for them.
Now formats that want something like that can handle it themself.

Fix handling of languages in the footer so that we get a list
of available translations again. Currently this only reflects
DDTP translations since the po stuff isn't reenabled yet since
the switch to templates.

remove the html_header argument from do_* calls

It has long stopped being used, so it just clutters the code.

html/search.tmpl: Improve message about too many results for fulltext search

This brings this message closer to reality and also mentions that the results
are sorted by relevance now.

Fulltext search: Greatly improve by using a more fuzzy approach

Most of this done on suggestion of Enrico Zini <enrico@enricozini.org>

Using OP_OR instead of OP_AND as default can actually lead to better
matches because the ones found with OP_AND often don't actually are
the most relevant ones. This is especially true when using more than
two keywords.

Accordingly sort by relevance on the result page.

Improve indexing:
 + Add both the unstemmed and the stemmed description to index
   this will increase the relevance of exact matches. Only the
   latter is done with positional information
 + Really index debtags and the package name

parse-packages: Move tag parsing code here

To be able to use the tags more flexibly, expand the
compressed format earlier, i.e. move this code from
Packages::DoShow to parse-packages.

Remove obsolete descriptions.txt previously used for fulltext search

I will definetly stick with xapian for now.

Display translated descriptions

This only adds support for displaying the description
itself on the show page, not the short description in
dependencies or in search results.

The latter is more complicated now since we store the
short description in packages_small exactly because these
places are performance critical and to have to
access one more database in these places is bad...

Packages::DB, Packages::Page: Make translated descriptions available to code

The database is available as %desctrans and the MD5 sums are now stored
in the Page object.

Packages::I18N::Locale: Use UTF-8 as charset for all locales

There shouldn't be any left for which we don't have an UTF-8
locale available.

dispatcher.pl: Use all available languages for content negotiation

Make a union of the po languages and the DDTP languages before
deciding about the language to serve.

parse-packages: Fix MD5 sum computation for descriptions

They were missing the final newline, therefor all generated
MD5 sums were bogus.

parse-translations: Fix encoding of Japanese descriptions

They should be in UTF-8, but actually they are in EUC-JP.

parse-translations: new script to parse the Translation files

parse-packages: Save the md5 checksum of the description

This should enable us later to retrieve the translated descriptions

cron.d/120syntrans: retrieve DDTP descriptions again

They are now on the official mirrors and there seems to be a real chance
that the project gets revived again. So start supporting translated
descriptions again.

parse-packages: Fix a remaining occourence of kfreebsd as archive name

This is now called gnuab. Also clarify the accompaning comment a bit
while I'm at it.

templates/html/show.tmpl: Fix bug in generation of "Files" column in download table

b688b16487ef2ca8ad7861d7c20da16a9f3f4448 changed the loop to use a local
variable instead of implicit declaration but didn't change the
use of the contents_avail hash key. This broke the "Files" column
to never display a file link.

templates/html/show.tmpl: Make "Version" column of download table more readable

Previously it was sometimes difficult to spot differences in the versions,
especially if the are only in the Debian revision. Color code the
background so that one can spot differences easier. All up-to-date
versions are indicated with a green background. If the version differs
from the latest version only in the Debian revision, use yellow.
If they differ in the upstream revision, use red.

Inspired by discussion with Neil Williams <codehelp debian org>

html/head.tmpl: Compactify the header

Make search for more compact by changing radio buttons
to dropwdown select list.

Use smaller images for the logo.

lib/Packages/DoShow.pm: Don't shorten the dsc name

Suggested by Ben Hutchings <ben decadent org uk>

I don't know exactly why this was done this way previously but
myself also prefer the new version.

templates/html/search.tmpl: Add suite as class for search results

And use this to display "unofficial" suites a bit smaller than the
others. Move the CSS information to a new css file packages-site.css
since this information will probably very site specific.

templates/html/show.tmpl: Add experimental tabbing for content

Since the content tends to get very long and confusing, let the
user switch between "Description" (which includes the list of
binaries for source packages and the list of tags), "Dependencies",
and "Download".

static/debian.css: Move horizontal rule at bottom of content to #footer

This works way better than the #outer > #inner construct, especially
if content has floating elements.

static/debian.css: Use sans-serif as default font

Suggested by Neil Williams <codehelp debian org>

templates/html/show.tmpl: Don't show PTS link for packages without source

The conditional was testing the wrong object for existance.

lib/Packages/DoShow.pm: Fix source package retrieval

Some binary packages are build from official Debian
sources but have no version in the Debian archive
(e.g. libc0.1). Fix searching the source package for
those. Rather hackish solution, needs cleanup.

templates/html/show.tmpl: Typo fix

/maintainter's/maintainer's/
Spotted by Ben Hutchings

lib/Packages/DoShow.pm: Ensure that the source download path starts with /

Otherwise we might get an invalid URL if the host lacks a trailing /

templates/html/show.tmpl: Denote unofficial ports

Get this information by 1) exposing the archive in the
%downloads hash 2) using config/mirrors.tmpl to determine
whether this archive is an unofficial port

templates/html/download.tmpl: Fix message displayed for armel packages

Don't assume anymore that a non-Debian archive can't contain more than
one arch.

templates/html/download.tmpl: Handle security in apt nag

Needs to be special cased since we don't have a mirror list
for security.

cron.d/100syncarchive: Remove some needless warnings

We already skipped kfreebsd-i386 here since that is a
needless warning. Do the same for kfreebsd-amd64 and armel.

Add etch-m68k

Simply add it as a seperate suite since that is what it
really is. Everything else will be either ugly and/or
confusing.

Deb/Versions.pm: Fix handling of ~ vs. empty string

~ sorts even before the empty string, so we can't just
abort if one of the revisions is shorter than the other
since it can still sort later.

setup-site: Only search for files to work on two directories deep

Otherwise we will search e.g. through all the extracted changelogs
for .sed.in files.

Add armel as architecture and rename kfreebsd archive to gnuab

Since the same archive hosts now armel and the two kfreebsd
architectures, rename to a more generic name.

The porter remark in download.tmpl needs some adjusting still
but it is not terribly important, so leave it out of this commit.

config change

patch to the local archive has changed

Add some more files and directories to .gitignore

Also add some generic patterns (*~ and *.ttc) to
the top level .gitignore.

extract_changelogs: Merge cron job changes from old site

Merge the new daily cron job scripts from old site that
splits the extract_changelogs from the rest of the
cron job. This avoids delaying the rest of the cronjob for
the changelog extraction. Using two different lock files
also makes the whole site update more robust.

Support "changelog:" short links

Generate a map file for mod_rewrite since we need to
map binary packages to source packages.

Provide backwards compatibility for newpkg pages

dispatcher.pl: Add some backwards compatibility handling

Try to show something useful if the user reaches us over
an older /cgi-bin/search_* URL.

dispatcher: Fix handling of Packages::CGI::http_code vs. error page

Only use http_code instead of the generic error page if it is
not a code from the 2XX group.

Add general about page and improve footer for static pages.

The about/index page explains how to get the code and
lists all the copyright statements and the license.

Add GPL text

It was always understood that this code is licensed under the
GPL. So it should carry the GPL text with it.

DoShow.pm: Don't show "special:" debtags

packages.d.o is for end users who are probably not interested in
the various special: tags that are more useful for debtags maintainance.
(This can be moved to the template if ever the need arises to display these
tags)

Backwards compatibility mode for reportbug

Force exact=1 if UserAgent looks like reportbug.
Otherwise it would get confused by the new behaviour
to show non-exact matches per default, too.

The real solution for this is of course to let it
use another format instead of HTML.

Search.pm: Define fallback suites for oldstable-*

We really need to make this regex based (e.g. foo-* always
falls back to foo). Anyway, here the short term fix.

Add some .gitignore files

Mainly for files generated from *.in by setup-site
and for the generated output directories.

mirror.tmpl: Add some more mirrors for volatile

Also update the mirror list page to the official one.

Description Search: Move to Xapian

Use Xapian as Backend for fulltext search in descriptions.
Introduces new do_xapian_search function to be able to switch
to the old do_fulltext_search in case of problems.

syncarchive_installer: Don't skip oldstable, sarge has an installer

syncarchive: add oldstable backports and volatile

Also remove stable backports, since there are none for etch
yet.

static: Add a simple index page and use ttree to build and install

Add a simple index page to static that we can use as homepage if we don't
want to redirect to an external search form like we do on the official
packages.debian.org.

Also use ttree to build and install the contents of static. This allows
to use TT for preprocessing. The first example of such a file is the
added index file.

search_contents.tmpl: Don't offer a link to the search with the same suite

Since that is essentially a link to the page the user is looking at.

architectures.tmpl: Change MIPS architecture names

MIPS -> MIPS (big-endian)
MIPS (DEC) -> MIPS (little-endian)

This ports a change recently made to the Debian webpage.
The DEC is a historical name that may confuse newer users.

dispatcher: Fix HTTP error code for "format not supported"

405 is actually the error for not supported HTTP request (i.e.
GET, POST, etc). 406 is the correct code for content formats.

Page.pm: Let get_version_string sort architectures alphabetically

index.tmpl: Fix two bugs

One missing semicolon added.

One variable named corrected (navigation_pre -> nav_arr)

dispatcher: Allow to use 'any' as an architecture name

This will not set the arch parameter since it is essentially
a no-op anyway