make-changelog: add archive option

We do not want to export changelogs for policy queues such as embargoed.

config/debian-security/*: More updates for multiarchive changes.

config/debian/common: pass source overrides to apt-ftparchive sources

config/debian-security/cron.*: update for multiarchive changes

First set of updates for multiarchive changes.

dak/new_security_install.py: Update for multiarchive changes.

newstage is gone. Instead we need to run process-policy and grab
accepted files from $queuedir/accepted.

dak/process_policy.py: Add option to copy accepted packages somewhere

To sync packages accepted into the security archive to the main archive
we need to grab all accepted uploads. The right time to do so is when we
install them from the policy queue into the public archive, ie. in
process-policy.

dak/generate_releases.py: create worker pool before connection to database

We do not want to have the file descriptor for the database connection
in the worker processes.

import_dataset.sh: use shell redirection instead of cat

This will give an error when ${INPUTFILE} does not exist instead of feeding an
empty input to control-suite.

include only packages in the right component in Sources

Having overrides for the same package in multiple components should not
cause source packages to be listed in the wrong Sources index.

Reference: https://lists.debian.org/debian-mirrors/2012/09/msg00020.html

dak/generate_releases.py: also add the ugly hack for wheezy-updates

config/debian/dak.conf: add suite map for {wheezy,testing}-updates

dak/examine_package.py: remove confusing parentheses

Merge remote-tracking branch 'dktrkranz/fixes'

scripts/debian/sync-dd: rsync should stay quiet

Pass basename as title parameter to foldable_output function

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

scripts/debian/sync-dd: add two missing backslashes

push mirror on ries instead of having ries pull from franck

let cron.reboot sleep a bit to have all resources ready

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  setup/README: update for recent changes
  Strip contrib/non-free from source names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Update from squeezer6

Signed-off-by: Joerg Jaspert <joerg@debian.org>

setup/README: update for recent changes

Merge remote-tracking branch 'dktrkranz/fixes'

Strip contrib/non-free from source names

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

daklib/lists: output one less / for the pool/

or otherwise apt-ftparchive is writing non-useful stuff into the
generated files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: allow source to be in enhanced suite

This allows binNMUs for which the source is in stable to be accepted
into proposed-updates.

A better fix would be to handle this in _install_to_suite which already
does the right thing when source_suites is None.

daklib/archive.py: fix autobyhand for binNMUs

daklib/policy.py: don't list missing overrides for each arch

If an upload include binary packages for multiple architectures, dak
should only display (and add) the missing overrides once.

Merge branch 'new-dm'

dak/acl.py: include fingerprint of person who granted upload permission

Bug: http://bugs.debian.org/688490

Merge branch 'fix-acl'

daklib/checks.py: include acl name in reason for rejection

remove per-fingerprint ACLs that are identical to keyring ACL

With the changes in 707a89a3b86961755a99cb9e1a0a5f23690f9529 dak uses
the keyring acl if there is no acl for the fingerprint. Also
import_keyring.py stopped updating the fingerprint acl. This caused
problems for old fingerprints (with an acl set) that move between
keyrings as they would continue to use the old acl.

This update sets the acl to NULL for fingerprints using the keyring acl
to avoid these issues.

daklib/command.py: give a real error message for unknown fingerprints

dak/import_keyring.py: fix SQL syntax error

This was broken by 707a89a3b86961755a99cb9e1a0a5f23690f9529.

Merge branch 'new-dm'

daklib/command.py: quote section we are processing in reply

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  show-new: remove False statement to reduce processing time

Signed-off-by: Joerg Jaspert <joerg@debian.org>

show-new: remove False statement to reduce processing time

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge branch 'backports-merge'

Merge branch 'new-dm'

per-queue NEW comments and permissions

dak/queue_report.py: don't die if dak.conf does not know about LDAP

daklib/command.py: strip whitespace from fingerprint

This allows copying the fingerprint from the gpg output without any
editing.

daklib/command.py: process all sections and not only the first one

dak/process_commands.py: remove all processed files to done

We want all files that were processed to be moved to done. It would be
confusing to have files in reject when we did evaluate some of the
commands from there and only encountered an error later.

Files that do not pass the GPG check are still moved to the reject
directory.

link_morgue.sh: adapt to work also on security-master

dak/acl.py: update documentation

daklib/command.py: error out when trying to grant permission for non-existing packages

Merge branch 'new-dm'

daklib/command.py: Add another experimental action.

dak/process_commands.py: typo

Keep track who adds entries to DM upload table (and when).

debianqueued: log which .dak-commands file we are processing

daklib/archive.py: Fix typo in message about suite mappings.

Rename process-commands.py to process_commands.py.

Merge branch 'new-dm'

Configure new DM implementation for Debian.

dak/acl.py: add export-per-source subcommand

Add process-commands program and activate new DM implementation.

For now packages that use DMUA in the source package are still accepted.

debianqueued: add support for *.dak-commands

Mail notification is not implemented (yet) as this would require another
implementation to extract the uploader address from the signed part of
the file or factoring this out of the existing code.

dak/process_upload.py: show if we accept/reject packages also on stdout

Add support for warnings.

Merge branch 'small-fixes'

daklib/checks.py: only use source.filename if source is not None

Merge branch 'small-fixes'

daklib/upload.py (Source): check hashes for .dsc before using it

This makes sure we have the correct file when accessing the source
property of a Changes object.

Don't include stacktrace for hash mismatches.

Improve error message for uploads that miss files.

daklib/archive.py: change permissions for copied .changes and byhand files

Merge branch 'fix/debinfo'

daklib/archive.py: restore architecture field in .debinfo files

The field was omitted in the new implementation introduced in 49c85ab8.

Reported-by: Don Armstrong <don@debian.org>

Merge branch 'fix-clean-suites'

dak/clean_queues.py: restore line setting incoming variable

Merge branch 'fix-clean-suites'

config/debian/dinstall.functions: reactivate clean-suites

dak/clean_queues.py: use Dir::Unchecked instead of looking for unchecked queue

Merge branch 'pu/backports-merge'

add mail_whitelist column to suite table

Merge branch 'master' into pu/backports-merge

config/debian: Add settings for backports.

daklib/config.py: allow additional configuration files for specific groups

daklib/utils.py: use daklib.config

dak/admin.py: add subcommand to print configuration value

Add per-suite mail whitelists.

cleanup ssh config, remove unused keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add ftpmaster ssh config/authorized_keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'algernon/f/external_files' into merge

* algernon/f/external_files:
  checks: Fix a syntax error in ExternalHashCheck

Signed-off-by: Joerg Jaspert <joerg@debian.org>

checks: Fix a syntax error in ExternalHashCheck

There was one extra closing parens in a call to raise
RejectStupidMaintainerException (oops, stupid me), lets remove it.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Merge remote-tracking branch 'algernon/f/external_files' into merge

* algernon/f/external_files:
  update87: Insert a default use_extfiles value to the config table too
  debian/cron.hourly: Dump & push the external_files table to security
  Introduce the external_files table

Signed-off-by: Joerg Jaspert <joerg@debian.org>

update87: Insert a default use_extfiles value to the config table too

Signed-off-by: Gergely Nagy <algernon@debian.org>

Merge remote-tracking branch 'algernon/h/check/hashcheck' into merge

* algernon/h/check/hashcheck:
  checks: Set the source in HashesCheck correctly

Signed-off-by: Joerg Jaspert <joerg@debian.org>

debian/cron.hourly: Dump & push the external_files table to security

To make the external_files table useful, it needs to be populated. But
it only needs to have that on security, so lets export 7 push the
table there from cron.hourly. (Commented out for now, pending info)

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Introduce the external_files table

The external_files table is to be used by - for example -
security.d.o: we should export the files table to debian-security
under the disguised name of external_files.

We also introduce the use_extfiles setting, and a new check:
check.ExternalHashesCheck, which will compare the uploaded files
hashes to the external_files table, if that holds an entry for them.

It will only do that though, if the use_extfiles setting is on.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

checks: Set the source in HashesCheck correctly

Instead of setting the source within a for loop, set it outside, so it
does what it is supposed to do, instead of accidentally working
because self has a source field set too.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Merge remote-tracking branch 'ansgar/fix-acl' into merge

* ansgar/fix-acl:
  dak/admin.py: make 'keyring list-(binary|source)' work with new ACLs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/admin.py: make 'keyring list-(binary|source)' work with new ACLs

Revert "we dont like -p, use shutil.copy instead of .copy2"

This reverts commit 27392942032f853b74e097a7016d958ed93eac9c.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dont create hardlinks by default

Signed-off-by: Joerg Jaspert <joerg@debian.org>

we dont like -p, use shutil.copy instead of .copy2

Signed-off-by: Joerg Jaspert <joerg@debian.org>

and do it for the tempdir function too

Signed-off-by: Joerg Jaspert <joerg@debian.org>