debianqueued: open ftp connection when trying to upload .dak-commands

dak/acl.py: only add fingerprints from active keyrings to an ACL.

dak/acl.py: allow comments and empty lines

dak/acl.py: raise an exception when an unknown selector is used

dak/acl.py: allow to filter by keyring

This is intended to be used for the backports ACL to allow all buildd
keys to upload.

debianqueued: add armhf and s390x keyrings for security-master.

debianqueued: move log and pid files to run directory for security archive

daklib/archive.py: Use correct variable for the rejected suite.

Handle *.dak-commands files owned by a different user.

include Built-Using sources in Sources indices

Bug: http://bugs.debian.org/657212

config/debian/cron.monthly: debianqueued now runs as dak-unpriv

config/debian/dak.conf: keep dak-unpriv user in postgres

dak show-deferred now runs as dak-unpriv and needs a (read-only) database
connection.

Run debianqueued as dak-unpriv.

We also need to run show-deferred as dak-unpriv as it changes
permissions of some files in the deferred queues.

debianqueued: move log and pid files to run subdirectory

The dak-unpriv user needs to be able to write these files.

debianqueued: remove current directory from @INC

<Files> matches only the basename, so wrap it inside a <Directory> block

config/debian/apache.conf-incoming: allow access to robots.txt

Stop generating dm-uploaders.html.

dm-uploaders.html is huge (74 MB) which makes is unusable. DM upload
permissions can now be seen in dm.txt.

Add robots.txt for incoming.debian.org.

Files on incoming.debian.org only exist for a short while so it makes no
sense to have them indexed.

dak/process_new.py: show target suite and changed-by

dak/show_new.py: use apply_async instead of map_async

The map variant established multiple database connections in each worker
exceeding the maximum number of connections configured in PostgreSQL.
apply_async doesn't have this problem with our wrapper in DakProcessPool.

However as a regression we longer have a timeout and always have to wait for
the job to finish. This could be worked around by using the timeout function
for individual results.

config/debian/dak.conf: There is no dak group.

dak/show_new.py: set examine_package.use_html before creating worker pool

We want examine_package.use_html to be set everywhere. So we have to
change it before we create the worker pool.

This was broken by 24cb4fe2729e5805e8a9d81149dce947787ee20d where the
worker pool was setup earlier.

show-new: run lintian as unprivileged user

As dak/examine_package.py is also used by process-new we cannot run
lintian unconditionally as the unprivileged user. Therefore move the
Unpriv{User,Group} setting from the database to a (group-specific)
dak.conf.

dak/admin.py: add new subcommand to add buildd keyring

This also creates a new ACL which is not fun to do by hand.

Export buildd queues on security archive.

apache.conf-incoming: add alias for /debian-buildd.

scriptdir vs. scriptsdir is confusing

Export buildd queues to public location

The dists/ directory should be updated as atomic as possible. Therefore
buildds access a copy that can be updated with two file renames.

dak/show_new.py: setup worker pool before connecting to database

daklib/archive.py: always copy files instead of using symlinks

Some files in pool locations might not be accessible to the user dak runs
lintian as. So always copy the files and set appropriate permissions.

Bug: http://bugs.debian.org/689598

cruft-report: check for rdeps of arch:all packages on all architectures

When checking for reverse dependencies of sourceless arch:all packages
only those rdeps which were also arch-indep were detected.

Signed-off-by: Adam D. Barratt <adam@adam-barratt.org.uk>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use Squeezy key instead of the expired Lenny key.

%Y works so much nicer than  here

Signed-off-by: Joerg Jaspert <joerg@debian.org>

monthly rotation of the queued log on franck

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Configure dm-{remove,migrate}.

People allowed to use dm-{remove,migrate} are the keyring maintainers
and ftp masters for now.

Implement dm-remove and dm-migrate commands.

The dm-remove command can be used to remove all DM ACL entries for a
given fingerprint:

  Action: dm-remove
  Fingerprint: ...

The dm-migrate command can be used to migrate all DM ACL entries from
one key to another:

  Action: dm-migrate
  From: ...
  To: ...

daklib/upload.py: more verbose message for hash mismatches

Reported-by: Laszlo Kajan <lkajan@rostlab.org>

daklib/checks.py: name of local variable changed: what -> filename

When moving the hash validation in e6b1c633b7127f1d2ef938b7ea2181ce9e184906
one occurrence of "what" was not changed to "filename".

Check hashes from .changes before loading .dsc.

Do not load .dsc to check if an upload is sourceful.

This caused an error when rejecting an upload with an invalid .dsc.

We also do not want to load the .dsc before we have made sure it matches the
hash from the .changes.

daklib/archive.py: don't fail in prepare() if the .dsc is invalid

We only need the .dsc here to try and grab any files not included in the
upload. If there is an error loading the .dsc, do not throw an exception here,
but do so later instead.

debianqueued: check pgp signature before any further processing

As we no longer look at the file in the case of a bad signature, we
cannot know the maintainer address and this cannot send a mail about
the bad signature.

debianqueued: make pgp_check stricter

config/debian/cron.hourly: remove unchecked lock on failure

daklib/policy.py: REJECT.* files should not be executable

dak/process_policy.py: handle rejecting the same package twice

dak/generate_releases.py: Add -q option to be a bit more quiet

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

debianqueued: escape "." in ".changes" in regular expression

Reported-by: Jakub Wilk <jwilk@debian.org>
Reference: https://lists.debian.org/debian-dak/2012/12/msg00016.html

debianqueued: use POSIX::access to check for write access

debianqueued: don't use shell to start gpg

debianqueued: remove unused variables

debianqueued: use Perl, not shell

debianqueued: construct Digest::MD5 object before trying to use it

debianqueued: only start processing files with a sane name

debianqueued: remove two no longer used functions

debianqueued: use three argument form of open() in most places

debianqueued: remove notifications for incomplete uploads

We do not want to inspect unsigned files if we can avoid doing so.

This also fixes get_maintainer not making sure the filename is safe to pass to
shell commands by removing the function.

debianqueued: use Digest::MD5 instead of external md5sum binary

debianqueued: use stricter filename pattern

The new pattern is taken from daklib/regexes.py.

sanitize  variable before using it

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/checks.py: fix index in format string

dak/generate_releases.py: pull components from the database

Address FIXME that talks about pulling Components from the DB.

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>
Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

update93.py: update world.files-1 to handle backports archive on ftp-master

The addition of the backports archive on ftp-master broke the assumption
that only one of the backports, ftp-master and security archives exist.

config/debian/dak.conf: reject uploads to squeeze-backports

We do not want to accept uploads to squeeze-backports on ftp-master for
now.

Merge remote-tracking branch 'origin/master'

remove DMUA flag handling

drop usage of the DMUA flag, only use the new ACL set, as announced in
https://lists.debian.org/debian-devel-announce/2012/09/msg00012.html
and
https://lists.debian.org/debian-devel-announce/2012/09/msg00008.html

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add archive rename command

Make it possible to rename archives using

     dak admin archive rename OLD NEW

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

Typo in comment

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

daklib/dbconn.py: use unicode workaround also for sqlalchemy 0.7

Reference: https://lists.debian.org/debian-dak/2012/11/msg00043.html

apache.conf-incoming: allow access from nagini.codelibre.net

Allow access from nagini.codelibre.net to allow testing sbuild-db.

dak/process_policy.py: don't try to copy files to accepted twice

We might already have copied files to accepted before, for example when
accepting multiple uploads that use the same upstream tarball. So we
have to ignore existing files here.

daklib/archive.py: give a nicer error message for already known .changes

Bug-Debian: http://bugs.debian.org/693163

dak/rm.py: also close forwarded bug reports

Bug-Debian: http://bugs.debian.org/693491

config/debian-security/cron.buildd: $DISTS should only be stable and testing

The archive now has more (private) suites for handling policy and build
queues. These are not of interest here.

config/debian-security/cron.unchecked: call process-upload before process-policy

This saves one run for uploads that are automatically accepted from the
policy queues (eg. buildd uploads for an already accepted source).

config/debian-security/cron.unchecked: calling process-policy once per queue is enough

dak/import.py: control -> source

Don' try to fix bugs while eating breakfast, you will miss things.

dak/import.py: control -> source

dak/import.py: use section_name variable where we need it

Improve dak/import.py.

Add new import subcommand.

daklib/upload.py: add from_file classmethods

Allow to create HashedFile, Binary and Source objects from existing files.
This will be used to directly import binary and source packages into an
archive.

daklib/archive.py: use right name for .dsc dict

config/debian-security/cron.unchecked: be silent

Make sure *.new directories do exist.

The directories will not be created by dak export / dak export-suite if
they have no files to put there.

Always regenerate policy queue exports.

Otherwise outdated symlinks will be kept around for a while after
dak new-security-install was run until cron.unchecked does some real
work again.

dak/make_changelog.py: use correct column name

make_changelog.py: typo

Only move accepted files in cron.unchecked

This avoids triggering the taint check in spawn().

dak/export_suite.py: add workaround to allow exporting broken build queues

config/debian-security/cron.unchecked: export policy queues in old format

config/debian-security/cron.weekly: only regenerate Release for public archive

config/debian-security/cron.daily: use explicit list of suites

config/debian-security/cron.unchecked: just run process-policy to see if there were files to process

dak/new_security_install.py: remove reference to newstage

config/debian-security/cron.unchecked: fix gpg call, use correct description

daklib/archive.py (install_source): always copy source files to target archive

dak/export_suite.py: same file might be in multiple components

Use first() instead of one() in case the file is available in multiple
components.

dak/export_suite.py: take archive file for the archive we are exporting from