Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  process-new: display existing overrides

process-new: display existing overrides

Display overrides belonging to other sources to avoid accepting
packages which "steal" binary packages (Closes: #697729).

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Add md5sum-mismatch tag to nonfatal autoreject list (Closes: #688300)
  Finds newer or equal versions in lowersuite_name
  queue-report: sort changes correctly (Closes: #704231)
  dak: ls: Calculate optimal column sizes

Add md5sum-mismatch tag to nonfatal autoreject list (Closes: #688300)

Finds newer or equal versions in lowersuite_name

This is particularly useful when the same package has migrated
to a different suite (e.g. t-p-u -> testing), so it is displayed
in cruft-report to be manually removed.

queue-report: sort changes correctly (Closes: #704231)

dak: ls: Calculate optimal column sizes

If a package name is longer than 10 characters, or a version
longer than 13 characters, columns had different widths in
different rows. By calculating the maximum column size and
using that instead of hard-coded values, we have a nice
table again (Closes: #705289).

Add world.site_summary view.

The view is used by the backports team to generate a listing of packages in the
backports suites.

dak.conf-backports: Actually set Dinstall::MyAdminAddress

b9e1322334152efd870a0ad6ddf0df819d05b4a3 had a "Dinstall::" prefix even though
the variable was set inside a "Dinstall" block.

Remove dak/metadata.py and daklib/metadata.py.

dak imports package metadata at installation time for some time already.
There is no longer need for an extra subcommand to do so.

dak.conf-backports: Change Dinstall::MyAdminAddress

The backports team address should be used as From for rejections from the
backports-new queue. As this is written into the REJECT.* file by process-new,
we can just change it here.

Require SHA-1 and SHA-256 checksums in "files" table

We are already assuming that these are never NULL in several places, for
example generate-packages-sources2.

Add missing sections to database init script

Update the list of sections to the latest version of the Debian policy,

Merge remote-tracking branch 'dktrkranz/fixes'

s/team@backports.d.o/backports-team@d.o/

Colorize Pre-Depends packages too

processnew.lock is no longer required

include backports archive in (pool) sync

dak.conf-backports: change location of removal logs

Merge remote-tracking branch 'origin/master'

Generate backports-new.html

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  mkchecksums: store md5sums in correct location
  backports queued: pid and log files are in run subdirectory.
  backports queued: forward uploads to ftp-master

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix dm_suites var

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mkchecksums: store md5sums in correct location

We cannot use $indices as the location is specific to each archive.

backports queued: pid and log files are in run subdirectory.

backports queued: forward uploads to ftp-master

misleading log msg

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  config/debian/apache.conf-incoming: add buildd-squeeze-backports alias
  config/debian/dak.conf: no longer reject uploads to squeeze-backports

Signed-off-by: Joerg Jaspert <joerg@debian.org>

also push the backports archive

Signed-off-by: Joerg Jaspert <joerg@debian.org>

config/debian/apache.conf-incoming: add buildd-squeeze-backports alias

config/debian/dak.conf: no longer reject uploads to squeeze-backports

adjust for backports merge

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/import.py: commit after each imported package

config/debian/common: make sure old-style buildd directory exists

An empty build queue would result in $incoming/dists/$suite/buildd no
longer existing. This later triggers an error.

config/debian/*: generate old-style buildd archive for squeeze-backports

The suite will be needed until the squeeze-backports buildds switch to the new
location.

parse_file_list: really handle files without an entry in the Files field

We have to raise an exception right away after all if "entry" is None as we
later assign to "entry['sha*sum']".

parse_file_list: handle files without an entry in the Files field

If a file is only listed in the Checksums-* fields, "entry" will be None and we
cannot call the get method to compare the size in the different fields.

This change just skips the comparison when "entry" is None. We can do this as
we later check that each entry has all required checksums (i.e. is listed in
Files and the Checksums-* fields).

Stop processing uploads to forbidden suites earlier.

config/debian/dinstall.functions: create ${archiveroot}/indices

Use /bin/bash as interpreter.

Since 5390eff0ba7a732269f040b0a4c4a3b9a0db2733 we use a few bash
features like arrays in config/debian/vars.

config/debian/dak.conf-backports: correct path to log and lock directories

dak/process_new.py: document -q/--queue option

dak/admin.py: suite add has a archive=ARCHIVE option.

config/debian/cron.hourly: import backports acl

First set of dinstall changes for backports merge

Still missing is everything that makes the backports archive public,
e.g. the mirror push itself.

Use backports-new by default in process-new and queue-report.

Restore __WARNINGS__ in NEW mail template.

remove arm/hppa keyrings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

scripts/debian/byhand-di: don't append -proposed-updates if it's already there

A .changes file might upload directly to a *-proposed-updates suite. We do not
want to append another -proposed-updates in this case.

debianqueued: set LC_ALL in the environment

Make sure all processes we start also run in the C locale.

queued currently parses the output from gpg to get the name of the
person who signed an upload. A better fix would be to pass --with-colon
to gpg, but as this information is only used for logging anyway...

debianqueued: open ftp connection when trying to upload .dak-commands

dak/acl.py: only add fingerprints from active keyrings to an ACL.

dak/acl.py: allow comments and empty lines

dak/acl.py: raise an exception when an unknown selector is used

dak/acl.py: allow to filter by keyring

This is intended to be used for the backports ACL to allow all buildd
keys to upload.

debianqueued: add armhf and s390x keyrings for security-master.

debianqueued: move log and pid files to run directory for security archive

daklib/archive.py: Use correct variable for the rejected suite.

Handle *.dak-commands files owned by a different user.

include Built-Using sources in Sources indices

Bug: http://bugs.debian.org/657212

config/debian/cron.monthly: debianqueued now runs as dak-unpriv

config/debian/dak.conf: keep dak-unpriv user in postgres

dak show-deferred now runs as dak-unpriv and needs a (read-only) database
connection.

Run debianqueued as dak-unpriv.

We also need to run show-deferred as dak-unpriv as it changes
permissions of some files in the deferred queues.

debianqueued: move log and pid files to run subdirectory

The dak-unpriv user needs to be able to write these files.

debianqueued: remove current directory from @INC

<Files> matches only the basename, so wrap it inside a <Directory> block

config/debian/apache.conf-incoming: allow access to robots.txt

Stop generating dm-uploaders.html.

dm-uploaders.html is huge (74 MB) which makes is unusable. DM upload
permissions can now be seen in dm.txt.

Add robots.txt for incoming.debian.org.

Files on incoming.debian.org only exist for a short while so it makes no
sense to have them indexed.

dak/process_new.py: show target suite and changed-by

dak/show_new.py: use apply_async instead of map_async

The map variant established multiple database connections in each worker
exceeding the maximum number of connections configured in PostgreSQL.
apply_async doesn't have this problem with our wrapper in DakProcessPool.

However as a regression we longer have a timeout and always have to wait for
the job to finish. This could be worked around by using the timeout function
for individual results.

config/debian/dak.conf: There is no dak group.

dak/show_new.py: set examine_package.use_html before creating worker pool

We want examine_package.use_html to be set everywhere. So we have to
change it before we create the worker pool.

This was broken by 24cb4fe2729e5805e8a9d81149dce947787ee20d where the
worker pool was setup earlier.

show-new: run lintian as unprivileged user

As dak/examine_package.py is also used by process-new we cannot run
lintian unconditionally as the unprivileged user. Therefore move the
Unpriv{User,Group} setting from the database to a (group-specific)
dak.conf.

dak/admin.py: add new subcommand to add buildd keyring

This also creates a new ACL which is not fun to do by hand.

Export buildd queues on security archive.

apache.conf-incoming: add alias for /debian-buildd.

scriptdir vs. scriptsdir is confusing

Export buildd queues to public location

The dists/ directory should be updated as atomic as possible. Therefore
buildds access a copy that can be updated with two file renames.

dak/show_new.py: setup worker pool before connecting to database

daklib/archive.py: always copy files instead of using symlinks

Some files in pool locations might not be accessible to the user dak runs
lintian as. So always copy the files and set appropriate permissions.

Bug: http://bugs.debian.org/689598

cruft-report: check for rdeps of arch:all packages on all architectures

When checking for reverse dependencies of sourceless arch:all packages
only those rdeps which were also arch-indep were detected.

Signed-off-by: Adam D. Barratt <adam@adam-barratt.org.uk>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use Squeezy key instead of the expired Lenny key.

%Y works so much nicer than  here

Signed-off-by: Joerg Jaspert <joerg@debian.org>

monthly rotation of the queued log on franck

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Configure dm-{remove,migrate}.

People allowed to use dm-{remove,migrate} are the keyring maintainers
and ftp masters for now.

Implement dm-remove and dm-migrate commands.

The dm-remove command can be used to remove all DM ACL entries for a
given fingerprint:

  Action: dm-remove
  Fingerprint: ...

The dm-migrate command can be used to migrate all DM ACL entries from
one key to another:

  Action: dm-migrate
  From: ...
  To: ...

daklib/upload.py: more verbose message for hash mismatches

Reported-by: Laszlo Kajan <lkajan@rostlab.org>

daklib/checks.py: name of local variable changed: what -> filename

When moving the hash validation in e6b1c633b7127f1d2ef938b7ea2181ce9e184906
one occurrence of "what" was not changed to "filename".

Check hashes from .changes before loading .dsc.

Do not load .dsc to check if an upload is sourceful.

This caused an error when rejecting an upload with an invalid .dsc.

We also do not want to load the .dsc before we have made sure it matches the
hash from the .changes.

daklib/archive.py: don't fail in prepare() if the .dsc is invalid

We only need the .dsc here to try and grab any files not included in the
upload. If there is an error loading the .dsc, do not throw an exception here,
but do so later instead.

debianqueued: check pgp signature before any further processing

As we no longer look at the file in the case of a bad signature, we
cannot know the maintainer address and this cannot send a mail about
the bad signature.

debianqueued: make pgp_check stricter

config/debian/cron.hourly: remove unchecked lock on failure

daklib/policy.py: REJECT.* files should not be executable

dak/process_policy.py: handle rejecting the same package twice

dak/generate_releases.py: Add -q option to be a bit more quiet

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

debianqueued: escape "." in ".changes" in regular expression

Reported-by: Jakub Wilk <jwilk@debian.org>
Reference: https://lists.debian.org/debian-dak/2012/12/msg00016.html

debianqueued: use POSIX::access to check for write access