Merge remote-tracking branch 'ansgar/package-list' into merge

* ansgar/package-list:
  Adapt to changes to Package-List field.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Include short description.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adapt to changes to Package-List field.

Include short description.

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Remove unused files.
  Use overridesuite when joining override table.
  dinstall: Generate dists/ with Description-MD5 for testing
  generate-releases: Add -o option to set arbitrary configuration options.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove unused files.

daklib/threadpool.py should no longer be used anywhere. Also remove the
license for it (not used anywhere else).

Use overridesuite when joining override table.

dinstall: Generate dists/ with Description-MD5 for testing

Run generate-packages-sources2 and generate-releases a second time with
the --description-md5 option enabled for testing.

generate-releases: Add -o option to set arbitrary configuration options.

Fix versionregex conversion

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Fix traceback when given suite is not recognized

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix traceback when given suite is not recognized

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

much better

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/add-missing-source-checksums' into merge

* ansgar/add-missing-source-checksums:
  Move query for add-missing-source-checksums to Python code
  Add missing checksums for source packages.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Move query for add-missing-source-checksums to Python code

There is no real need for using a stored procedure and having the query
in the normal code makes future changes easier.

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Delay setting up worker pool.
  gps2: Add -o option to set arbitrary configuration options.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/britney-changelog' into merge

* ansgar/britney-changelog:
  Fix britney_changelog.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Delay setting up worker pool.

We need to delay creating the worker pool until we have parsed the
command line options so that changes also take effect in child
processes.

gps2: Add -o option to set arbitrary configuration options.

Fix britney_changelog.

674e520b01fd361fc2d88909f7da8ca3ed97d60c changed the keys in the package
list from a string to a tuple. This patch adapts britney_changelog to
this change.

Add missing checksums for source packages.

Add a new subcommand, dak check-archive add-missing-source-checksums, to
add missing checksums for source packages to source_metadata.

Bug: http://bugs.debian.org/637563

Merge remote-tracking branch 'mhy/override-cs-db' into merge

* mhy/override-cs-db:
  Bump db version to 70
  Change make_overrides to use database config
  Use database for check_overrides configuration
  Move sanity check to use database
  Actually apply database update 69
  Add database fields to support overrides and c-s

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Bump db version to 70

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote branch 'ftpmaster/master' into override-cs-db

Conflicts:
dak/dakdb/update69.py

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Rename dakdb/update67.py -> dakdb/update69.py
  generate-packages-sources2: add --description-md5 option
  Include a trailing newline for the hash.
  generate-packages-sources2: Add support for Description-md5
  Add database support for Description-md5
  add TranslationFileWriter

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'origin/master' into description-md5

Conflicts:
dak/update_db.py

Rename dakdb/update67.py -> dakdb/update69.py

Merge remote-tracking branch 'ansgar/control-suite-sort-by-version' into merge

* ansgar/control-suite-sort-by-version:
  control-suite: sort list of desired packages as intended

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/rm' into merge

* ansgar/rm:
  Use sub-SELECT instead of LEFT OUTER JOIN.
  Check broken dependencies for arch-all packages only once.
  Get rid of WITH.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

And one more lintian reject, nonfatal

added bad-perm-for-file-in-etc-sudoers.d to nonfatal rejects, (Closes: #632466)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add a fatal lintian tag. closes #637389

add udeb-uses-non-gzip-data-tarball as a fatal lintian tag, which closes #637389

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Change make_overrides to use database config

Signed-off-by: Mark Hymers <mhy@debian.org>

Use database for check_overrides configuration

Signed-off-by: Mark Hymers <mhy@debian.org>

Move sanity check to use database

Signed-off-by: Mark Hymers <mhy@debian.org>

Actually apply database update 69

Signed-off-by: Mark Hymers <mhy@debian.org>

Add database fields to support overrides and c-s

Signed-off-by: Mark Hymers <mhy@debian.org>

Enhance source package/version handling when adding a binary deb

Signed-off-by: Mark Hymers <mhy@debian.org>

Make permissions cascade properly

Signed-off-by: Mark Hymers <mhy@debian.org>

Add missing python-debian dependency

Signed-off-by: Mark Hymers <mhy@debian.org>

Update current schema dump to v68

Signed-off-by: Mark Hymers <mhy@debian.org>

Fix incorrect update number

Signed-off-by: Mark Hymers <mhy@debian.org>

Clean out unused languages

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't use old style exception syntax

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote branch 'ansgar/clean-suites'

Signed-off-by: Mark Hymers <mhy@debian.org>

Use sub-SELECT instead of LEFT OUTER JOIN.

Check broken dependencies for arch-all packages only once.

Get rid of WITH.

Merge remote branch 'ansgar/auditpackages'

Signed-off-by: Mark Hymers <mhy@debian.org>

Replace deprecated sys.exc_type and sys.exc_value.

This is deprecated since Python 1.5!

Signed-off-by: Torsten Werner <twerner@debian.org>

Remove deprecated xreadlines().

Signed-off-by: Torsten Werner <twerner@debian.org>

Convert raise statement to Python 2.6.

Signed-off-by: Torsten Werner <twerner@debian.org>

Don't import with_statement from __future__.

Signed-off-by: Torsten Werner <twerner@debian.org>

Convert octal literals to Python 2.6 syntax.

Signed-off-by: Torsten Werner <twerner@debian.org>

Convert exception handling to Python3 syntax.

That works in Python >= 2.6.

Signed-off-by: Torsten Werner <twerner@debian.org>

String exceptions do not work in Python >= 2.6.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote-tracking branch 'origin/master' into auditpackages

Conflicts:
dak/update_db.py

rename update66.py to update67.py

Merge remote-tracking branch 'drkranz/rm' into merge

* drkranz/rm:
  rm.py: ignore binNMU versions

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rm.py: ignore binNMU versions

dak rm sometimes complains when closing bugs for
packages with multiple package versions.
Most of the times this is due to binNMUs, so don't
consider their versions.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

clean-suites: preserve source packages referenced in extra_src_references

control-suite: sort list of desired packages as intended

The list of desired packages contained a string of the form
"package-name version architecture".  Sorting with cmp_package_version
would sort this my the first two characters of the package name which is
not what was intended.

With this patch, the list instead contains tuples which means
cmp_package_version can now sort the list as intended.

generate-packages-sources2: add --description-md5 option

In order to use Description-md5 instead of Description in the Packages
index, this option needs to be set in addition to setting
suite.include_long_descriptions to false.

It will likely be removed again later.

Merge remote-tracking branch 'ansgar/control-suite-sort-by-version' into merge

* ansgar/control-suite-sort-by-version:
  admin: fix a typo
  control-suite: remove packages after adding new ones
  control-suite: sort list by (package-name, version)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

admin: fix a typo

control-suite: remove packages after adding new ones

We have to add package before removing those no longer wanted. Otherwise
an old version could enter a suite without us noticing (as the old
version would already be gone and thus no version check violated).

control-suite: sort list by (package-name, version)

Having multiple versions of the same package in a suite should be
possible, but we need to add the package with the lower version first to
ensure that version checks are not violated.

Include a trailing newline for the hash.

Set search_path to a secure value.

generate-packages-sources2: Add support for Description-md5

Add database support for Description-md5

add TranslationFileWriter

Add 2 partial indexes to db to speed up dak rm.

Signed-off-by: Torsten Werner <twerner@debian.org>

Rewrite trigger functions in plpgsql.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Merge remote-tracking branch 'ansgar/rm' into merge

* ansgar/rm:
  Use WITH statement instead of a temporary table

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Log updates more sanely and give appropriate warnings

Signed-off-by: Mark Hymers <mhy@debian.org>

Add SQL triggers for package audits

Signed-off-by: Mark Hymers <mhy@debian.org>

copyoverrides

we do want to work with the basename, not the full path of the file here

Signed-off-by: Joerg Jaspert <joerg@debian.org>

copyoverrides

make copyoverrides() function MUCH simpler and let it export all
the overrides, it was missing stuff which let to problems with
security archive.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/mail' into merge

* drkranz/mail:
  Check whether GPG key has a @debian.org uid, and use it
  Make sure uid_email is a valid email address

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use WITH statement instead of a temporary table

Merge branch 'master' into rm

add primary key

Signed-off-by: Torsten Werner <twerner@debian.org>

yet another fix

Signed-off-by: Torsten Werner <twerner@debian.org>

fix sql statement in rm.py

Signed-off-by: Torsten Werner <twerner@debian.org>

Check whether GPG key has a @debian.org uid, and use it

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Make sure uid_email is a valid email address

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Update schema to 65

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote branch 'ftpmaster/master'

Make suite.announce an ARRAY

Signed-off-by: Mark Hymers <mhy@debian.org>

fix last commit: return [] instead of None

Signed-off-by: Torsten Werner <twerner@debian.org>

get_suite_architectures() can return None

Signed-off-by: Torsten Werner <twerner@debian.org>

Set overridecodename by default

Signed-off-by: Mark Hymers <mhy@debian.org>

Give slightly nicer error message on db conn failure

Signed-off-by: Mark Hymers <mhy@debian.org>

Fix NoMail case

Signed-off-by: Mark Hymers <mhy@debian.org>

Document Depends more clearly

Signed-off-by: Mark Hymers <mhy@debian.org>

Make it easier to spot if psql fails

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote branch 'ftpmaster/master'

Bail out earlier

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't say we're sending mail when we're not

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote branch 'ftpmaster/master'