create_index_pages: Avoid needless slices due to unused translations

Ignore DDTP translations of languages that have no po translation.
We will not use them here and we might create needless slices
otherwise.

Update .po and .pot files

One additional string now unfortunatly is in both
pdo.pot and templates.pot. I copied existing translations.

Complete rewrite of create_index_pages

The old version was very hard on all of CPU, memory,
and I/O. The new version tries to at least lessen the
burden on memory (and to a lesser extend on CPU), in the
hopes that this will indirectly (by lesser swapping) also
reduce the stress on I/O.

In the old version we first collected all the information
about all packages and then wrote the index files one after
one with TT.

The newer version tries to write all of the index files while
collecting the package information, therefor eliminating the
need to store any information longer than needed. Because the
amount of files we can open simulaniously is limited though,
we can't write all the index files at once. Instead we write
one index files for all languages, and in a second step then
use these files to write one file per language. I tried to
use the "slice" program for that, but it also computes all
the results in memory, while I wanted to have a concurrent
approach here as well.
Since we only use a very limited subset of the features of slice
I wrote a simple replacement that supports the bare minimum of
what we need with the price that we need to be a bit careful
about the format of the slice source files.

I also don't use TT for the package entries anymore since here
as well we only used a very limited set of features and I wanted
to make this script as fast as possible (without having to rewrite
it in C ;). The header and footer still use TT since this part isn't
speed critical and we can reuse the templates we have for the dynamic
pages.

Split the creation of the suite index pages out of create_index_pages

The whole index page stuff needs some serious tweaking because it just
doesn't scale very well with the growing number of packages and languages.

The creation of the suite index pages is not affected by this however, so
separate these two tasks.

armel is now an official architecture

Don't hardcode packages.debian.org in sitewidemsg

I use this for the Ubuntu site now, too, so I want to
avoid string differences. Also unfuzzy existing translations.

update_po: Output some useful statistics about the .po files

update_po: Fix reference to renamed menu.inc -> util.inc

Separate handling of po translations and DDTP translations

This way we don't need to immediatly fall back to English
if people have more than one preferred language for which
only part of the page content is available.

If e.g. they would have "ca;q=0.9, de;q=0.5, en;q=0.1" in
their Accept-Language header (insert any DDTP-only language
for ca and any PO-available language for de), we can show the
description in Catalan if available, and the po contents in
German.

The code will usually try to fall back to $po_lang if a
description is not available in $ddtp_lang.

Not implemented (yet) is a DDTP language negotiation _after_
we actually know which DDTP translations are available.

The 'lang' query parameter overrides both values and has
only the fallback English (But you shouldn't use it
anyway ;).

html/menu.inc: rename to html/util.inc

No reason to include yet another include file, so
give this one a more general name.

Packages::DoShow: Remove unused parameter 'lang' from pkg_list()

apache.conf: Some more URIs need to be handled dynamically

We want to handle <suite>/{perl,python} and <suite>/{perl,python}/
separatly (until I find a good possibility to use different URLs for
those)

Update to 218t0f0u

Update .po and .pot files

syncarchive_installer: Don't assume there are no udebs outside of main

parse-sources: Merge suffix db generation changes from parse-packages

Various improvements to the search result comments

Don't pretend we know how many results have been suppressed,
we really have no idea (that's the whole point of short cutting
the search).

Don't declare we will display results when we wont. We have all
the necessary information so use it.

Add some useful links similar to what is on the search_contents
site.

Improve result sampling in case we have too generic keywords

Instead of either displaying the exact match if we have only
one keyword and nothing otherwise, lets try to give people
a sample of results, on the chance that might still be useful.

Mostly just display the first 100 package names found (i.e.
from suffix entries that had no "too many prefixes" value).
Allow suffix entries with "too many prefixes" value to specifiy
if the empty prefix was contained in the set (that effectivly
avoids a regression in the case "single keyword, exact match
exists").

If in doubt, prefer package names that begin with the first
keyword and only abort if we have more than 100 of those
(The worst case behaviour of this should be very limited
to due the "too many prefixes" constraints).

Change romanization of 中文 from Zhongzu to the correct Zhongwen

Swedish updates.

Fixed some spelling mistakes.
Updated with new strings.
Make gtranslator happy about file header.

templates.ja.po: Make translations up-to-date.

Current status:
- templates.ja.po: 216t+5o

Update .pot and .po files

Also unfuzzy the German translation.

html/search.tmpl: Fix a bug that some strings are not localized.

Use format strings instead of inline expansion of variables.

templates.ja.po: Make corrections and improvements.

This is a follow-up to 528c717e8ddab4ac3505e455d85969c03786d3bc.

templates.ja.po: Make translations up-to-date.

Current status:
- templates.ja.po: 218t+2o

Update .pot and .po files

Also unfuzzy the German translation.

Fix l10n support for javascript generated text

The text contained hardcoded English string (which was concealed
by the fact that Javascript was broken anyway and so the text
was never displayed). Now that I fixed the Javascript, fix
the l10n support, too.

Fix javascript code for long packages list

Some quoting got messed up, probably during the l10n changes.

fix two typos, and unfuzzy some strings while we're at it

Updates by "Yuri Kozlov" <kozlov.y@gmail.com>

templates.nl.po: some corrections to previous update and additional translations

Update to 527t0f155u

Complete translation again

Move index_pages script to end of cron job

This currently the slowest script

100syncarchive_maintainers: Replace a hardcoded ftp.debian.org with $ftpsite

cron.d: Allow central override of the wget options

Use this to set tries and timeout to something more reasonable.
Pressed by the ddtp outage.

Merge commit 'alioth/master'

Packages::Dispatcher: Fix fallback to English for non-po langs

Locale::Maketext tries to do very smart things with
I18N::LangTags::panic_languages. We want to fall back
to "en" always, though, so let it know that.

debtags.ja.po, templates.ja.po: Make translations up-to-date.

Current status:
- debtags.ja.po: 588t+94u+5o
- templates.ja.po: 216t+2o

sections.sv.po: Fix non-UTF8 char

Dutch translation update

debtags: start, only easy translations
other: partial update

Packages::I18N::Locale: Simplify format string test regex

We only use %s and %u now, no need to test for %f anymore

Update debtags and templates .pot and .po files

Packages::DoDownload: Fix a 'uninitialized value' warning

Also issue the debug message before actually overwriting the
value we want to show.

Fix some format string errors in the Swedish translation

Packages::I18N::Locale: Load .po files on module load

Hardcode the po directory path with setup-site.
The performance gain is worth the added uglyness.

setup-site: Various improvements

Allow reading the variables from a config file
./setup-site.conf so that one doesn't have to
specify them each time.
Be less chatty per default but add -v option the
get the old behaviour.
Warn about too many arguments.

crontab: Add missing newline at EOF

html/show.tmpl: If maintainer is obviously a list, offer link to lists archive

Currently this works for lists.debian.org and lists.alioth.debian.org,
but could easily be extended for others.

Update to (495t1f185u)

Packages::I18N::Languages: Add a English name for km-kh

So that the translations are used. If someone wants to
contribute a native name, patches welcome.

Packages::DoShow: Fix a "uninitialized value" warning

$desc_md5 might be undefined if we handle a virtual package.

Update debtags.pot and .po files

Switch from gnuab.org to debian-ports.org

Packages::Dispatcher: Match archives after architectures

For the sake of amd64 *sigh*

Merge branch 'master' of ssh://kreutzm-guest@git.debian.org/git/webwml/packages

debtags.de.po 479t0f197u

parse-contents: Don't use gnuab for all symlink

Otherwise the filelists for non-free Arch: all packages
are missing.

parse-contents: Code clean-up

use English
use Packages::CommonCode
whitespace clean-up and some other style fixes

Merge commit 'alioth/master'

Handle broken Homepage fields more gracefully

They exist, so handle them...

debtags.ja.po: Translate facets "biology" and "hardware".

Current status of debtags.ja.po: 585t+91u

config.sh: disable local archive

packages.debian.net is now on a host without one and disabling
it might be the better default anyway.

html/show.tmpl: Fix download URLs if arch was already specified

Reported by James Vega on IRC.

debtags.ja.po: Translate facets "accessibility" and "devel".

Current status of debtags.ja.po: 546t+130u

120synctrans: Search for translations for every suite

Since there are now translations available for etch and
lenny as well, just try every suite.

config.sh: Enable Russian translation

Also add debtags.ru.po stub

Russian translations by Yuri Kozlov <kozlov.y@gmail.com>

Merge branch 'master' of git://git.debian.org/git/webwml/packages

Search.pm: Avoid printing empty items in the similar packages list.

Consider conditions where the number of similar packages are less than
11, avoiding printing "<li><a href="/"></a></li>" in the similar
packages list.

packages.css: Avoid uneccessary scrollbar

remove width: 100% from #pnavbar, it causes the bar to be
slightly larger than the width of the window in most browsers,
causing them to display a uneccessary scrollbar.

html/head.tmpl: Fix rev="made" link

Since this is a email address, we should prefix it with
mailto:, otherwise some clients (i.e. search bots) will try
to use it as a relative URL.

templates.fi.po, templates.zh-cn.po: Remove superfluous "$s".

Locale::Maketext seems to use only "%1" for reordering format
specifiers unlike Locale::Gettext which uses such as "%1$s".

Updated Finnish translations

Merge branch 'master' of ssh://git.debian.org/git/webwml/packages

Fixed spelling.

Packages::Dispatcher: Allow '-' in lang parameters

Merge commit 'alioth/master'

Convert remaining iso language codes

Also try to improve the descriptions for the Chinese
variants a bit.

config.sh: Remove languages we don't handle anyway

At the moment this is zh (I'm not sure how this relates to the
existing translations for zh-cn and zh-tw) and go (which isn't
even a valid iso language code?)

Add dummy debtags.zh-cn.po

Add zh-cn translation

Use the web names for languages instead of locale names

i.e. pt-br instead of pt_BR. This is how they are sent by the browsers.
Since the DDTP uses the locale names, we need to transform between the
two forms in synctrans and parse-translations.

debtags.ja.po: Translate a facet "special".

Current status of debtags.ja.po: 500t+176u

debtags.ja.po: Complete implemented-in::* and devel::lang:*.

Current status of debtags.ja.po: 464t+212u

debtags.ja.po: Make a minor improvement.

debtags.ja.po: Translate facets "role" and "works-with".

Current status of debtags.ja.po: 455t+221u

debtags.ja.po: Translate facets "works-with-format" and "security".

Current status of debtags.ja.po: 408t+268u

debtags.ja.po: Translate facets "field" and "game".

Current status of debtags.ja.po: 366t+310u

Merge commit 'origin/master'

TODO: delete one obsolte item

We have l10n support in templates now

debtags.ja.po: Translate a facet "admin".

Current status of debtags.ja.po: 321t+355u

langs.ja.po: Fix a translation of a word "Japanese".

Using numeric character references for this translation seems to
result in a wrong translation of the short description of
culture::japanese.

debtags.ja.po: Translate a facet "culture".

Current status of debtags.ja.po: 296t+380u

templates.ja.po: Remove superfluous "$s" to meet current implementation.

Although Locale::Gettext-based localization implementation used
strings such as "%1$s" for reordering format specifiers, current
Locale::Maketext-based one seems to use only "%1" and "$s" turns to be
unnecessary.

debtags.ja.po: Translate facets "sound", "suite", and "uitoolkit".

Current status of debtags.ja.po: 246t+430u

Packages::CommonCode: Collect random utility functions in one place

So that I can clean up the rest of the code a bit.

debtags.ja.po: Modify the previous change again.

debtags.ja.po: Make a minor improvement.

debtags.ja.po: Translate facets "network", "office", "web", and "x11".

Current status of debtags.ja.po: 195t+481u