Introduce the external_files table

The external_files table is to be used by - for example -
security.d.o: we should export the files table to debian-security
under the disguised name of external_files.

We also introduce the use_extfiles setting, and a new check:
check.ExternalHashesCheck, which will compare the uploaded files
hashes to the external_files table, if that holds an entry for them.

It will only do that though, if the use_extfiles setting is on.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Merge remote-tracking branch 'ansgar/fix-acl' into merge

* ansgar/fix-acl:
  dak/admin.py: make 'keyring list-(binary|source)' work with new ACLs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/admin.py: make 'keyring list-(binary|source)' work with new ACLs

Revert "we dont like -p, use shutil.copy instead of .copy2"

This reverts commit 27392942032f853b74e097a7016d958ed93eac9c.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dont create hardlinks by default

Signed-off-by: Joerg Jaspert <joerg@debian.org>

we dont like -p, use shutil.copy instead of .copy2

Signed-off-by: Joerg Jaspert <joerg@debian.org>

and do it for the tempdir function too

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/fix-unpriv' into merge

* ansgar/fix-unpriv:
  daklib/utils.py: lookup gid for group.
  daklib/checks.py: typo: unpribgroup → unprivgroup

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/utils.py: lookup gid for group.

daklib/checks.py: typo: unpribgroup → unprivgroup

dont know python? come, join the ftpteam and write code. works for me.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

sod off, None. also, group= is helpful there

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'dak-unpriv' into merge

* dak-unpriv:
  update function docu
  make use of dak-unpriv

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/backports-merge' into merge

* ansgar/pu/backports-merge:
  daklib/checks.py: add note to send warning for DMUA later
  daklib/checks.py: restore comment about hijack check
  daklib/checks.py: include all not allowed binary architectures in error.
  Add suite ACLs and per-suite NEW.
  daklib/upload.py (Changes): add source_name property
  daklib/archive.py: set final_suites earlier.
  daklib/checks.py: use final_suites for DM check
  daklib/archive.py: look for target suites earlier
  add per-suite close_bugs option
  Add per-suite database permissions.
  setup/dak-minimal.conf.template: add missing Dir::Base

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/checks.py: add note to send warning for DMUA later

daklib/checks.py: restore comment about hijack check

daklib/checks.py: include all not allowed binary architectures in error.

Add suite ACLs and per-suite NEW.

update function docu

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make use of dak-unpriv

allow our tempfile/tempdir generating function to chmod/chgrp the created
files/directories
use that to have the processed uploads and the lintian tagfile readable by
the dak-unpriv user/group
run lintian sudo-ed to dak-unpriv

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/upload.py (Changes): add source_name property

daklib/archive.py: set final_suites earlier.

daklib/checks.py: use final_suites for DM check

This way suite mappings will also be evaluated for the DM checks.

Bug: http://bugs.debian.org/685807

daklib/archive.py: look for target suites earlier

add per-suite close_bugs option

Add per-suite database permissions.

Merge remote-tracking branch 'drkranz/graph' into merge

* drkranz/graph:
  Fix (old)stable-new graph generation

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix (old)stable-new graph generation

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/quotes' into merge

* drkranz/quotes:
  dak rul3z

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/lintian' into merge

* drkranz/lintian:
  Add obsolete_lintian_tags.pl tool to recognize obsolete tags
  Remove obsolete lintian tags

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add obsolete_lintian_tags.pl tool to recognize obsolete tags

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Remove obsolete lintian tags

Remove some obsolete lintian tags:
  - debian-control-with-duplicate-fields
  - no-source-field
  - old-style-copyright-file

These were removed from lintian a couple of releases
ago, this broke lintian autorejects.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

setup/dak-minimal.conf.template: add missing Dir::Base

dak rul3z

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/uid' into merge

* drkranz/uid:
  Improve performances of get_logins_from_ldap

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Improve performances of get_logins_from_ldap

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/uid' into merge

* drkranz/uid:
  queue-report: fix display of sponsor email
  Implement get_login_from_ldap function

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/quotes' into merge

* drkranz/quotes:
  IT Crowd

Signed-off-by: Joerg Jaspert <joerg@debian.org>

queue-report: fix display of sponsor email

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Implement get_login_from_ldap function

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

IT Crowd

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  daklib/archive.py: fix automatic byhand processing
  move split_uploaders function to daklib.textutils
  daklib/archive.py: use first component for NEW packages if we don't have a better guess

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: fix automatic byhand processing

move split_uploaders function to daklib.textutils

This allows the test suite to test split_uploaders again.

daklib/archive.py: use first component for NEW packages if we don't have a better guess

Merge remote-tracking branch 'drkranz/updatedb' into merge

* drkranz/updatedb:
  Fix permissions of policy_queue_upload_id_seq

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix permissions of policy_queue_upload_id_seq

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/deferred' into merge

* drkranz/deferred:
  Show fingerprint for deferred uploads (Closes: #684642)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/updatedb' into merge

* drkranz/updatedb:
  Fix permissions of policy_queue_byhand_file_id_seq

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix permissions of policy_queue_byhand_file_id_seq

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Show fingerprint for deferred uploads (Closes: #684642)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Fix sorting of NEW packages to match new parameter names
  Fix note display in Prod and Manual reject mode
  Fix typos in rm template, thanks Noel David Torres Taño

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix sorting of NEW packages to match new parameter names

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Fix note display in Prod and Manual reject mode

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Fix typos in rm template, thanks Noel David Torres Taño

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  dak/process_policy.py: escape '_' in string passed to SQL LIKE operator later

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_policy.py: escape '_' in string passed to SQL LIKE operator later

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  daklib/archive.py: silence output when unpacking source
  dak/clean_suites.py: silence output
  dak/clean_suites.py: remove TODO comment
  dak/clean_suites.py (check_sources): af_bin.last_used can be NULL

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: silence output when unpacking source

dak/clean_suites.py: silence output

dak/clean_suites.py: remove TODO comment

sources only referenced by binaries about to be deleted are no longer
see to be used.

dak/clean_suites.py (check_sources): af_bin.last_used can be NULL

Merge remote-tracking branch 'drkranz/fixes'

* drkranz/fixes:
  queue-report: display a note for packages marked ACCEPT or REJECT
  Do not show absolute filenames in examine-packages
  Show correct actions while processing NEW queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  daklib/announce.py: add missing field name for mail header.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/announce.py: add missing field name for mail header.

queue-report: display a note for packages marked ACCEPT or REJECT

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Do not show absolute filenames in examine-packages

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  daklib/announce.py: use correct subst dict when closing bugs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/announce.py: use correct subst dict when closing bugs

Show correct actions while processing NEW queue

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  dak/process_policy.py: use the right source package

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_policy.py: use the right source package

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Restore sort of NEW changes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Restore sort of NEW changes

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  Always copy source when accepting uploads from policy queues.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Always copy source when accepting uploads from policy queues.

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  dak/clean_suites.py: indicate no-option run in log messages

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/clean_suites.py: indicate no-option run in log messages

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  daklib/archive.py: source for policy queue uploads may be in target suite
  Also send announcements when accepting uploads from policy queues.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: source for policy queue uploads may be in target suite

Note that this patch breaks binNMUs to suites where the source is only
available in a enhanced suite.

Also send announcements when accepting uploads from policy queues.

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  dak/process_policy.py, daklib/announce.py: fix bugs in new announce code
  dak/process_upload.py: convert exception to string
  dak/process_policy.py: only remove changes entey for rejected uploads
  daklib/announce.py: fix typo

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_policy.py, daklib/announce.py: fix bugs in new announce code

dak/process_upload.py: convert exception to string

This fixes a type error when the code uses "+" to concat strings which
we reach when we throw an exception in the exception handling code.

dak/process_policy.py: only remove changes entey for rejected uploads

daklib/announce.py: fix typo

process-new: examine binary packages with new overrides only

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  rewrite code for sending mails about processed uploads
  dak/process_upload.py: improve error message for ArchiveExceptions and Rejects

Signed-off-by: Joerg Jaspert <joerg@debian.org>

right order. *sigh*

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Ensure we always have  when we need it

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rewrite code for sending mails about processed uploads

dak/process_upload.py: improve error message for ArchiveExceptions and Rejects

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  daklib/archive.py: don't check hashes when copying upload to temporary location
  dak/clean_suites.py: use '>' instead of '>='
  daklib/utils.py (gpg_get_key_addresses): prefer @debian.org addresses
  dak/process_upload.py: remove old inactive code; update some comments
  dak/dakdb/update79.py: fix typo: workd → world

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: don't check hashes when copying upload to temporary location

dak/clean_suites.py: use '>' instead of '>='

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  process-new: examine binary packages with new overrides only

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-new: examine binary packages with new overrides only

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Restore dak process-new -c
  end() is not defined in daklib/queue.py
  Correctly load comments text while rejecting a package with comments

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Restore dak process-new -c

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

end() is not defined in daklib/queue.py

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>