dak/clean_queues.py: use Dir::Unchecked instead of looking for unchecked queue

Merge branch 'pu/backports-merge'

add mail_whitelist column to suite table

Merge branch 'master' into pu/backports-merge

config/debian: Add settings for backports.

daklib/config.py: allow additional configuration files for specific groups

daklib/utils.py: use daklib.config

dak/admin.py: add subcommand to print configuration value

Add per-suite mail whitelists.

cleanup ssh config, remove unused keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add ftpmaster ssh config/authorized_keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'algernon/f/external_files' into merge

* algernon/f/external_files:
  checks: Fix a syntax error in ExternalHashCheck

Signed-off-by: Joerg Jaspert <joerg@debian.org>

checks: Fix a syntax error in ExternalHashCheck

There was one extra closing parens in a call to raise
RejectStupidMaintainerException (oops, stupid me), lets remove it.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Merge remote-tracking branch 'algernon/f/external_files' into merge

* algernon/f/external_files:
  update87: Insert a default use_extfiles value to the config table too
  debian/cron.hourly: Dump & push the external_files table to security
  Introduce the external_files table

Signed-off-by: Joerg Jaspert <joerg@debian.org>

update87: Insert a default use_extfiles value to the config table too

Signed-off-by: Gergely Nagy <algernon@debian.org>

Merge remote-tracking branch 'algernon/h/check/hashcheck' into merge

* algernon/h/check/hashcheck:
  checks: Set the source in HashesCheck correctly

Signed-off-by: Joerg Jaspert <joerg@debian.org>

debian/cron.hourly: Dump & push the external_files table to security

To make the external_files table useful, it needs to be populated. But
it only needs to have that on security, so lets export 7 push the
table there from cron.hourly. (Commented out for now, pending info)

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Introduce the external_files table

The external_files table is to be used by - for example -
security.d.o: we should export the files table to debian-security
under the disguised name of external_files.

We also introduce the use_extfiles setting, and a new check:
check.ExternalHashesCheck, which will compare the uploaded files
hashes to the external_files table, if that holds an entry for them.

It will only do that though, if the use_extfiles setting is on.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

checks: Set the source in HashesCheck correctly

Instead of setting the source within a for loop, set it outside, so it
does what it is supposed to do, instead of accidentally working
because self has a source field set too.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Merge remote-tracking branch 'ansgar/fix-acl' into merge

* ansgar/fix-acl:
  dak/admin.py: make 'keyring list-(binary|source)' work with new ACLs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/admin.py: make 'keyring list-(binary|source)' work with new ACLs

Revert "we dont like -p, use shutil.copy instead of .copy2"

This reverts commit 27392942032f853b74e097a7016d958ed93eac9c.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dont create hardlinks by default

Signed-off-by: Joerg Jaspert <joerg@debian.org>

we dont like -p, use shutil.copy instead of .copy2

Signed-off-by: Joerg Jaspert <joerg@debian.org>

and do it for the tempdir function too

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/fix-unpriv' into merge

* ansgar/fix-unpriv:
  daklib/utils.py: lookup gid for group.
  daklib/checks.py: typo: unpribgroup → unprivgroup

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/utils.py: lookup gid for group.

daklib/checks.py: typo: unpribgroup → unprivgroup

dont know python? come, join the ftpteam and write code. works for me.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

sod off, None. also, group= is helpful there

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'dak-unpriv' into merge

* dak-unpriv:
  update function docu
  make use of dak-unpriv

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/backports-merge' into merge

* ansgar/pu/backports-merge:
  daklib/checks.py: add note to send warning for DMUA later
  daklib/checks.py: restore comment about hijack check
  daklib/checks.py: include all not allowed binary architectures in error.
  Add suite ACLs and per-suite NEW.
  daklib/upload.py (Changes): add source_name property
  daklib/archive.py: set final_suites earlier.
  daklib/checks.py: use final_suites for DM check
  daklib/archive.py: look for target suites earlier
  add per-suite close_bugs option
  Add per-suite database permissions.
  setup/dak-minimal.conf.template: add missing Dir::Base

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/checks.py: add note to send warning for DMUA later

daklib/checks.py: restore comment about hijack check

daklib/checks.py: include all not allowed binary architectures in error.

Add suite ACLs and per-suite NEW.

update function docu

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make use of dak-unpriv

allow our tempfile/tempdir generating function to chmod/chgrp the created
files/directories
use that to have the processed uploads and the lintian tagfile readable by
the dak-unpriv user/group
run lintian sudo-ed to dak-unpriv

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/upload.py (Changes): add source_name property

daklib/archive.py: set final_suites earlier.

daklib/checks.py: use final_suites for DM check

This way suite mappings will also be evaluated for the DM checks.

Bug: http://bugs.debian.org/685807

daklib/archive.py: look for target suites earlier

add per-suite close_bugs option

Add per-suite database permissions.

Merge remote-tracking branch 'drkranz/graph' into merge

* drkranz/graph:
  Fix (old)stable-new graph generation

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix (old)stable-new graph generation

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/quotes' into merge

* drkranz/quotes:
  dak rul3z

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/lintian' into merge

* drkranz/lintian:
  Add obsolete_lintian_tags.pl tool to recognize obsolete tags
  Remove obsolete lintian tags

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add obsolete_lintian_tags.pl tool to recognize obsolete tags

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Remove obsolete lintian tags

Remove some obsolete lintian tags:
  - debian-control-with-duplicate-fields
  - no-source-field
  - old-style-copyright-file

These were removed from lintian a couple of releases
ago, this broke lintian autorejects.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

setup/dak-minimal.conf.template: add missing Dir::Base

dak rul3z

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/uid' into merge

* drkranz/uid:
  Improve performances of get_logins_from_ldap

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Improve performances of get_logins_from_ldap

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/uid' into merge

* drkranz/uid:
  queue-report: fix display of sponsor email
  Implement get_login_from_ldap function

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/quotes' into merge

* drkranz/quotes:
  IT Crowd

Signed-off-by: Joerg Jaspert <joerg@debian.org>

queue-report: fix display of sponsor email

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Implement get_login_from_ldap function

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

IT Crowd

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  daklib/archive.py: fix automatic byhand processing
  move split_uploaders function to daklib.textutils
  daklib/archive.py: use first component for NEW packages if we don't have a better guess

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: fix automatic byhand processing

move split_uploaders function to daklib.textutils

This allows the test suite to test split_uploaders again.

daklib/archive.py: use first component for NEW packages if we don't have a better guess

Merge remote-tracking branch 'drkranz/updatedb' into merge

* drkranz/updatedb:
  Fix permissions of policy_queue_upload_id_seq

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix permissions of policy_queue_upload_id_seq

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/deferred' into merge

* drkranz/deferred:
  Show fingerprint for deferred uploads (Closes: #684642)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/updatedb' into merge

* drkranz/updatedb:
  Fix permissions of policy_queue_byhand_file_id_seq

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix permissions of policy_queue_byhand_file_id_seq

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Show fingerprint for deferred uploads (Closes: #684642)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Fix sorting of NEW packages to match new parameter names
  Fix note display in Prod and Manual reject mode
  Fix typos in rm template, thanks Noel David Torres Taño

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix sorting of NEW packages to match new parameter names

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Fix note display in Prod and Manual reject mode

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Fix typos in rm template, thanks Noel David Torres Taño

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  dak/process_policy.py: escape '_' in string passed to SQL LIKE operator later

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_policy.py: escape '_' in string passed to SQL LIKE operator later

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  daklib/archive.py: silence output when unpacking source
  dak/clean_suites.py: silence output
  dak/clean_suites.py: remove TODO comment
  dak/clean_suites.py (check_sources): af_bin.last_used can be NULL

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: silence output when unpacking source

dak/clean_suites.py: silence output

dak/clean_suites.py: remove TODO comment

sources only referenced by binaries about to be deleted are no longer
see to be used.

dak/clean_suites.py (check_sources): af_bin.last_used can be NULL

Merge remote-tracking branch 'drkranz/fixes'

* drkranz/fixes:
  queue-report: display a note for packages marked ACCEPT or REJECT
  Do not show absolute filenames in examine-packages
  Show correct actions while processing NEW queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  daklib/announce.py: add missing field name for mail header.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/announce.py: add missing field name for mail header.

queue-report: display a note for packages marked ACCEPT or REJECT

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Do not show absolute filenames in examine-packages

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  daklib/announce.py: use correct subst dict when closing bugs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/announce.py: use correct subst dict when closing bugs

Show correct actions while processing NEW queue

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  dak/process_policy.py: use the right source package

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_policy.py: use the right source package

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Restore sort of NEW changes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Restore sort of NEW changes

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  Always copy source when accepting uploads from policy queues.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Always copy source when accepting uploads from policy queues.

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  dak/clean_suites.py: indicate no-option run in log messages

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/clean_suites.py: indicate no-option run in log messages

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  daklib/archive.py: source for policy queue uploads may be in target suite
  Also send announcements when accepting uploads from policy queues.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: source for policy queue uploads may be in target suite

Note that this patch breaks binNMUs to suites where the source is only
available in a enhanced suite.

Also send announcements when accepting uploads from policy queues.

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  dak/process_policy.py, daklib/announce.py: fix bugs in new announce code
  dak/process_upload.py: convert exception to string
  dak/process_policy.py: only remove changes entey for rejected uploads
  daklib/announce.py: fix typo

Signed-off-by: Joerg Jaspert <joerg@debian.org>