ttxgettext: Handle UTF-8 input

We need this e.g. for non-ASCII chars in the txt templates.
For HTML it should be easier to use entities for that.

Make all index pages translatable

Packages::Template: Add target parameter to page method

This makes it easier to use this in create_index_pages since
we can save all the filehandle handling.

Make HTML shared templates translatable

Make config templates translatable

While I'm on it, also remove some Debian hardcoding where possible.

Add L10N support for Template Toolkit output

These go to a new templates domain, to not have to mix
xgettext and ttxgettext input for the same .pot file.

ttxgettext: copy wmlxgettext.pl from webwml/

Tests have shown that gettext's xgettext doesn't cope well with
the Template Toolkit syntax. Use the xgettext replacement from
the Debian website as a template for a own program.

create_index_pages: Fix charset

charset was set by get_locale, which is obviously
bogus.

Reported by Tommi Vainikainen <thv -at- iki fi>

apache.conf: All pages are sent with charset UTF-8 nowadays

Merge branch 'master' of ssh://source/srv/source.djpig.de/git/packages

README: Add

Gives some terse information about what code does what.
Still greatly expandable.

parse-contents: Update progress approximation

Make them at least partly match reality...

sections.*.po: Update

parse-contents: Fix display of progress

Files without header did confuse the line numbers

Packages::Dispatcher: Fix some formatting issues

While Perl has no problems with keywords as hash keys,
the emacs perl mode has. Quote them and fix some whitespace
oddities that were caused by this issue.

Don't try to output html in error/debug messages

packages-site.css: Remove some remaining occourences of (old)stable

Packages::CGI: Remove support for msgs and notes

Unused code.

contents search: Give result in correct case

While we do the searches case insensitive our file systems are not
so the results should reflect the correct filename.

Noticed by Christoph Berg <myon -at- debian org>
Reported as Debian Bug#445628

050checkinst: replace subversion with git-core

D'oh!

html/messages.tmpl: Fix XSS vulneralibility

Noted by Moritz Naumann <security -at- moritz-naumann com>

Since error messages can contain user content, escape them
for display.

langs.de.po/sections.de.po: Update

Also convert files to UTF-8

Packages::I18N::LanguageNames: Misc. fixes

- Use names for variants of Chinese from webwml
- Turns out xgettext doesn't like tr as hash key
  (probably confuses it with tr operator), so quote
  it

Packages::Sections: Add translations section

While this is only used by Ubuntu atm, it is still useful
to have in the master branch to not have to deal with different
sections.pot files on the different branches.

sections.pot: Update for non-US support removal

Packages::I18N::LanguageNames: Sync with Languages.pm

Packages::I18N::Languages: Sync with webwml/english/template/debian/languages.wml

Includes the following changes:
revision 1.141
date: 2007-04-22 00:37:25 +0200;  author: jseidel;  state: Exp;  lines: +3 -0
Added Persian, thanks Abbas Esmaeeli Some'eh <abbas@gnu.org>
----------------------------
revision 1.140
date: 2005-08-13 00:36:22 +0200;  author: djpig;  state: Exp;  lines: +2 -1
Add native name of Armenian and latin transliteration
----------------------------
revision 1.139
date: 2005-08-12 15:40:53 +0200;  author: djpig;  state: Exp;  lines: +1 -0
Add dummy entry for Armenian to %selflang since this is needed to let
it appear in the language list in the footer
----------------------------
revision 1.138
date: 2005-08-12 15:19:54 +0200;  author: djpig;  state: Exp;  lines: +1 -0
Add armenian

Packages::DoSearchContents: Avoid breaking the grep pipe

Since grep doesn't handle SIGPIPE in any sane way but instead
clutters the error.log with useless comments like
"grep: writing output: Broken pipe" for each and every line it
wants to write, lets make it happy and read all the stuff in even
if we don't use it.

Merge branch 'master' of ssh://source/srv/source.djpig.de/git/packages

TODO: misc. updates

INSTALL: document example crontab

Also mention that it is actually better to trigger the script
by archive updates instead of running it at fixed times.

Add example crontab

config/mirrors.tmpl: Add mirror_list URLs for amd64 and gnuab

config/mirrors.tmpl: Mirror list maintainance

Updated mirror lists of backports, amd64 and gnuab.

create_index_pages: Make common functions available to all templates

The common functions were only available in suite_index.tmpl, but not
in index.tmpl. Fix that by giving them to the initial Packages::Template->new
call.

html/index.tmpl: Fix "Source" link in the navigation bar

- the conditional to test is $is_source, not $source
- the correct parameter for make_url is 'source', not $source

html/search*.tmpl: Improve <title> tags

- Remove $organisation (in case of search.tmpl even hardcoded
  to Debian) since that gets added in head.tmpl anyway
- Add keywords

html/download.tmpl: Include filename in <title> tag

Add a basic installation guide as INSTALL

Add bin/daily to .gitignore

This script is now generated by bin/setup-site

600prepare_newpkg: Forgot one s/unstable/sid/

html/show.tmpl: Improve the dependency legend

Suggested by MJ Ray <mjr -at- phonecoop coop>

Directly imitate the dependency listing in the legend
by using <ul><li> inside the table cells. This makes the
legend autoadjust to any changes in the CSS for the dependency
listing and mirrors the appearance completly.

html/show.tmpl: Improve dependency list readability for blind people

Suggested by Richard Atterer <richard -at- 2007 atterer net>

Use @media to define .visual/.nonvisual to be used instead of the
slightly broken hidecss. Replace <img> by <span> since we don't intend
to show images here most of the time anyway.

Also let the list-style-type differ so that people can see the difference
even without images.

Templates: Also display the suite's alias name in selected places

html/show.tmpl: Improve Homepage link

Enclose in <ul> to make it more consistent with other links.
Use the word "Homepage" as the link and only note the hostname
(think slashdot).

Also fix the handling of the legacy Url field

Packages::Search: Fix fallback suites

Leftover from the codenames move.

html/index.tmpl: Fix listing of providers

The commas were missing.

setup-site: Use cp -p and sed -i instead of just sed old > new

This lets us easily preserve the modes of the original file
which might be important for executables and private files.

daily: Rename to daily.sed.in to be able to use %TOPDIR%

This makes the script independent from where it is called
from, which is a good thing for something called from cronjobs
and the like.

daily: Simplify and reduce lockfile wait

Use exec for redirecting the output to a log file
instead of manually redirecting every command's output.

Reduce the lockfile wait times from 50 minutes each to 10
minutes each. With the new, faster cron job it is unlikely we
want to queue the jobs anyway.

build-maintainerdb: Send copy of mails to the PTS

They go to the 'contact' keyword.
Also disable the old short alias code. That produces mostly
garbage addresses and isn't documented anyway.

txt/index.tmpl: Add missing ']'

html/show.tmpl: Disable experimental Javascript tabbing
(cherry picked from commit b9b77c7ca23d56a4b43c4c497bc739a96ca504a6)

html/show.tmpl: Improve display of VCS-* information

Suggested by Joey Hess <joeyh@debian.org>

Move the detailed VCS-* links below the download table as
these can get very long, and since the URIs can't be
broken, this may make the sidebar very huge and ugly.

Still leave the links available in the sidebar but
don't display the URIs themselves.

html/show.tmpl: Always use <ul> for Maintainers

Even if we only have one. Just makes for a more consistent
display.

Comment clean-up: Remove $Id$, fix FSF address, copyright years

- Remove $Id$ since we don't use them with git
- Fix some old (and some really old) references to the FSF
  address
- Update some copyright years
- Add myself to some files as copyright holder

Deb::Versions: Fix a bug introduces by ~ handling

708b1364be58c9b921cc3838d7ed5f5b48959d78 fixed the handling
of ~ but broke the handling of comparing a "normal" letter
with the empty string. A letter sorts earlier than all
non-letter except ~, but of course not earlier as the empty string.

100syncarchive: Really fix retrieval of Release(.gpg) files

7f261c49b0b932c5cf04b107bac3bc8aad5f642c attempted to fix the
retrieval of the Release(.gpg) files from a local mirror but
really didn't because it didn't accounted for the chdir before
the rsync call. Really fix it this time y removing the chdir.

Packages::Page: Support homepage field

Superseeds the old, stupid url field.
Also display it in html/show.tmpl

html/foot.tmpl: Fix display of language footer

Since some variables are not defined in all loop iterations we
can not use the short syntax.

Packages::DoIndex: Ugly hack to fix content negotiation

Since we don't create the static pages for ddtplangs currently,
only for polangs, but we don't discriminate between the two in
the content negotiation we might try to serve a non-existant file.

Fixing the content negoation or the static file generation will
take some time and testing. For now, work around the bug by stat'ing
the requested file in DoIndex and falling back to English in case it doesn't
exist.

Various improvements of DDTP support

Update list of ddtp languages to the ones available on
ddtp.debian.net.
Fix typo in 120synctrans in the remote mirror retrieval
part.
Execute parse-translations before parse-contents in process_archive
because the latter needs way more time.

Packages::Dispatcher: Ugly hack to fix allpackages display

allpackages needs to be special cased since it has no own asscociated
template.

cron.d/120synctrans: Allow overriding the server for downloading translations

Suggested by Helge Kreutzmann <debian -at- helgefjell de>

Since the translations in the main Debian archive are still way outdated, use
ddtp.debian.net for now. Make overriding $ddtp_ftpsite optional and fall back
to $ftpsite automatically if no seperate $ddtp_ftpsite is defined.

apache.conf: Let apache send static files directly if possible

If we have no QUERY_STRING and a static file is requested, let
apache handle this directly. This also reenables the behaviour
that packages.debian.org/etch goes to packages.debian.org/etch/
instead of searching for etch.

Also use Encoding for .gz, not Type.

Packages::DoIndex: Send Content-Length and Last-Modified

txt/index.tmpl: Fix display of virtual packages

"IF array" is always true. Use "IF array.size"

Noted by Brandon <winterknight -at- nerdshack com>

Remove non-US support

At this point I see no reason to keep all these hacks around.

config/mirrors.tmpl: Merge from CVS: remove some non-working non-american mirrors

revision 1.37
date: 2007-04-27 20:58:43 +0200;  author: spaillar;  state: Exp;  lines: +0 -2
removed from the list: ftp.lug.udel.edu/debian debian.teleglobe.net
----------------------------
revision 1.36
date: 2007-04-20 14:29:20 +0200;  author: spaillar;  state: Exp;  lines: +1 -2
debian.crosslink.net is no longer a mirror

100syncarchive: Fix retrieval of Release{.gpg} from local mirror

When you copy & paste a wget commandline and change it to a rsync
commandline, don't forget to add an actual target.

extract_files: make unpack_srcpkg more robust

In etch dpkg-source can extract source packages to a designated
directory. Use this instead of trying to extract the directory name
from dpkg-source's output which is inheriently unreliable.

newpkg_info: Fix handling of removed packages

Don't waste time on calling read_entry_simple for removed
packages. Also fix error detection for this call. The result
is always defined (and an array reference), errors can be
detected by checking whether the referenced array is empty.

Packages::*: More Perl warning fixes

Packages::DoDownload: Don't try to numerically compare a localized number

After formatting a number with the help of sprintf, it is localized, i.e.
the decimal point might not be a decimal point anymore. So don't try to
compare it numerically (i.e. with '<' or '>') since that will not work.

Packages::*: Fix various Perl warnings

"Use of uninitialized value" mostly and two
occourence of masking an earlier defined variable.
No bugs really, but they clutter up the web servers log.

html/filelist.tmpl: Add forgotten footer include

html/show.tmpl: Don't show changelog links for other archives

We don't extract changelogs for backports/volatile/gnuab currently,
so don't show the links there.

Packages::DoSearchContents: Add missing import of &Packages::CGI::error

html/newpkg.tmpl: Expose mode=byage in UI

html/head.tmpl: Fix HTML syntax error

W3.org validator didn't find this! w3m however reacted
very bad to it...

Packages::Dispatcher: Handle escaped characters in PATH_INFO correctly

Unescape stuff from PATH_INFO before setting CGI parameters to it.
Fixes URLs of the form http://packages.debian.org/g++

Packages::Dispatcher: Handle suite aliases correctly in suite parameter

Handle suite aliases correctly in query parameters, too; not only in PATH_INFO

Packages::DoSearchContents: Handle absolute path names correctly

Avoid adding too many leading / for mode=exactfilename

Packages::DoSearchContents: Replace 'stable' by 'etch' as default suite

Otherwise the "Codenames Everywhere" changes break this.

Deb::Versions: Update list of Debian and Ubuntu releases

Add lenny for Debian
Add edgy, feisty, gutsy for Ubuntu
Remove -backports releases, since these should
be determined by heuristics

apache.conf: Add file: search shortcut

Makes a default contents search (i.e. no mode
specified).

050checkinst: Add uk_UA.UTF-8 to list of needed locales

050checkinst: Add liblingua-stem-perl to list of needed packages

apache.conf: Some updates to mod_perl configuration

Add PerlSwitches
Make etch configuration default

Merge from CVS: Skip clean-up if extraction fails and some minor changes

revision 1.3
date: 2007-07-26 15:32:23 +0200;  author: djpig;  state: Exp;  lines: +13 -5
Skip clean-up run if extraction failed so that we don't lose all
the changelogs next time some bugs goes unnoticed for a week
----------------------------
revision 1.2
date: 2007-07-23 18:47:49 +0200;  author: djpig;  state: Exp;  lines: +2 -2
Commit some older local changes:
 * double time until deletion, no reason here to be too strict
 * enable debug output, makes the logs much more informative in case of problems

Merge from CVS: Fix handling of version 0 and some Perl warnings

revision 1.17
date: 2007-07-26 11:58:34 +0200;  author: djpig;  state: Exp;  lines: +9 -1
Initialize %stats hash to avoid perl warnings
----------------------------
revision 1.16
date: 2007-07-23 17:59:14 +0200;  author: djpig;  state: Exp;  lines: +1 -1
The version number can be just 0, don't fall over that

html/search.tmpl: Fix typo in variable name

Switch to using codenames

Use codenames for suites instead of alias names where possible.

Packages::Search: Implement find_similar

Suggested by Enrico Zini.

For a given <package>, search for P<package>,
and then extract all the terms from the document
you find (you could also implement this part by
just looking up the description and applying the
same algorithms to it as in parse-packages, haven't
benchmarked that against each other).

With these terms then make a OR search. Ignore all
results <package>, since these are obvious ;)
The first few matches of the rest are usually
packages very similar to the one we started with.

parse-packages: Unbreak descriptions handling

Earlier I broke the descriptions handling by storing the
description trimmed for search in place of the original
one.

Packages::Dispatcher: create from code from dispatcher.pl

This is currently only a copy with some small formatting changes.
But this should benefit our mod_perl cleaness and I intend to
wrap that up somewhat nicer in the future, too.

Clean up footer handling

Remove Packages::Template->trailer which essentially forced
any format to have a foot.tmpl even it made no sense for them.
Now formats that want something like that can handle it themself.

Fix handling of languages in the footer so that we get a list
of available translations again. Currently this only reflects
DDTP translations since the po stuff isn't reenabled yet since
the switch to templates.

remove the html_header argument from do_* calls

It has long stopped being used, so it just clutters the code.

html/search.tmpl: Improve message about too many results for fulltext search

This brings this message closer to reality and also mentions that the results
are sorted by relevance now.

Fulltext search: Greatly improve by using a more fuzzy approach

Most of this done on suggestion of Enrico Zini <enrico@enricozini.org>

Using OP_OR instead of OP_AND as default can actually lead to better
matches because the ones found with OP_AND often don't actually are
the most relevant ones. This is especially true when using more than
two keywords.

Accordingly sort by relevance on the result page.

Improve indexing:
 + Add both the unstemmed and the stemmed description to index
   this will increase the relevance of exact matches. Only the
   latter is done with positional information
 + Really index debtags and the package name