stop using deprecated methods from apt_pkg

More deprecated python-apt stuff:

  renamed methods in apt_pkg.TagFile:
    Section -> section
    Step    -> step

  renamed methods in apt_pkg.TagSection:
    Find    -> find

Reported-by: Matthias Klumpp <mak@debian.org>
Reference: https://lists.debian.org/debian-dak/2013/03/msg00028.html

Send copy of rejections to the rejector

Copies of rejections should go to the people responsible for the rejection and
not to the dak's mail address: if the backports team in Debian rejects uploads,
they should get the copy and not the ftp team.

Stop using deprecated functions from python-apt

A few deprecated functions from python-apt were still used:

  ParseDepends      -> parse_depends
  ParseSrcDepends   -> parse_src_depends
  ParseTagFile      -> TagFile
  ReadConfigFileISC -> read_config_file_isc

README.first: remove a bit old cruft

build queues: keep packages pending in policy queues

manage-build-queues will now keep packages that are still pending in a
policy queue. This is important for the security archive where we
already want packages to be built, but not accept packages into the
public archive yet.

Packages will now also be removed from build queues right away if they
are no longer present in any suite or policy queue associated with the
build queue. Before the packages would stay in the build queue until
they expired and still be visible by buildds.

queued: add config for embargoed and disembargo queues

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Close master bugs only, not merged ones (Closes:# 707808)
  Whoops, removing changelogs lock on success

Close master bugs only, not merged ones (Closes:# 707808)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Whoops, removing changelogs lock on success

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

config/debian/dak.conf: Add another two oldstable maps.

Map oldstable-security and oldstable-updates to oldstable-proposed-updates.

<adsb> missing "map oldstable oldstable-proposed-updates"

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  daklib/checks.py: give a nice error for sources with invalid versions

Signed-off-by: Joerg Jaspert <joerg@debian.org>

activate make-changelog for backports

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/checks.py: give a nice error for sources with invalid versions

Give a proper error message if a source package includes an upstream
tarball, but doesn't have a Debian revision.

actually use multiple keyids in the commandline

let generate_releases be able to use multiple keys for a signature

without having two signature blocks, which apt / co arent really checking.
now they get them presented in one block, so they might actually do so.

only really interesting whenever we do a key rollover of the ftpmaster key,
as we dont have the stable key available. pity, or it would work there to
to make this kind of "merged" signature.

daklib/checks.py: lintian check should not try to validate signatures

By default dpkg-source -x requires a valid signature, but uses different
keyrings than configured in dak. So this check can fail for signatures dak has
just verified as valid a bit earlier.

With this patch lintian will pass --no-check to dpkg-source to skip signature
(and checksum) verification.

Merge remote-tracking branch 'origin/master'

config/homedir/ssh/ftpmaster-authorized_keys: add key to import wheezy-updates

config/homedir/ssh/ftpmaster-authorized_keys: update IP address for franck

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  ad348f8d has been superseded by 3daf09a3
  rrd-release-freeze-dates: drop obsolete dates
  rrd-release-freeze-dates: add wheezy release date
  upload.source can be null, fall back to upload.changes
  update-db: display descriptions before deploying update modules
  update-db: automatically find the schema nunmber to upgrade to

dak/generate_releases.py: don't include "updates/" twice

On the security archive "updates" is both suite suffix and part of the
component name. It should only be included once in the Components field.

Bug: http://bugs.debian.org/702386

ad348f8d has been superseded by 3daf09a3

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

rrd-release-freeze-dates: drop obsolete dates

Drop lenny release date and squeeze freeze date, as queue data
is not available anymore prior to squeeze release date.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

rrd-release-freeze-dates: add wheezy release date

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

upload.source can be null, fall back to upload.changes

update-db: display descriptions before deploying update modules

update-db: automatically find the schema nunmber to upgrade to

dak/process_new.py: binaries -> upload.binaries

dak/process_new.py: fix handling binary-only NEW uploads

For a binary-only (buildd) upload that ends in NEW, upload.source is None. So
we have to get the source package name from somewhere else.

config/debian/apache.conf-incoming: update IP address for franck.d.o

Add /debian-backports alias to incoming.debian.org.

Merge branch 'master' of /srv/ftp.debian.org/git/dak

Sync i18n for jessie, not wheezy

Signed-off-by: Mark Hymers <mhy@debian.org>

config/debian-security/cron.*: update suite list

The security archive now has oldstable (squeeze) and stable (wheezy).
Update the suite lists accordingly.

The new testing (jessie) suite is not working yet and shouldn't be added
to obsolete parts of the configuration (such as old-style build queues).

This postinst is rubbish, but remove touching apt.conf anyways

Signed-off-by: Mark Hymers <mhy@debian.org>

Correct comment in init_dirs

Signed-off-by: Mark Hymers <mhy@debian.org>

Remove unused backports configuration

Signed-off-by: Mark Hymers <mhy@debian.org>

Eliminate all references to apt.conf

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge branch 'master' of /srv/ftp.debian.org/git/dak

Remove all apt.conf usage from dak

Signed-off-by: Mark Hymers <mhy@debian.org>

Update configuration for wheezy release.

Make squeeze oldstable, wheezy stable and add jessie as the new testing.

Fix up apt.conf and g-p-s for wheezy release.

Also remove all of the other suites from g-p-s as they should be using g-p-s2
and this makes it clearer by blowing up if you try and use g-p-s on them.

Signed-off-by: Mark Hymers <mhy@debian.org>

update with what we have on franck

Merge remote-tracking branch 'drkranz/changelogs' into merge

* drkranz/changelogs:
  Generate a lock to protect changelog export runs
  Allow to specify a custom unpack directory in UnpackedSource class

Generate a lock to protect changelog export runs

Allow to specify a custom unpack directory in UnpackedSource class

archive must not be a string

update the revision

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/changelogs' into merge

* drkranz/changelogs:
  Remove references to changelog exportpath, no longer used
  Use changelog export path derived from projectb
  Add changelog column to archive table
  xzip changelog listing file

Remove references to changelog exportpath, no longer used

Use changelog export path derived from projectb

Add changelog column to archive table

xzip changelog listing file

Off for now until our tools can actually handle multiple archives and different configs for them. which they cant (not dak.conf, except for unix group based)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

turn make-changelog back on

also let it run for backports, though we don't have that on metadata
yet.

also, we need a nicer way to deal with the env vars.

Merge remote-tracking branch 'drkranz/p-n' into merge

* drkranz/p-n:
  Do not hardcode suite names
  Simplify code to avoid executing the same query twice
  Use a better name for function name and output string
  source should not be a list

Do not hardcode suite names

Simplify code to avoid executing the same query twice

Use a better name for function name and output string

source should not be a list

Merge remote-tracking branch 'drkranz/changelogs' into merge

* drkranz/changelogs:
  Define changelog export directory for backports
  Automatically remove empty directories
  Generate a listing of the exported files
  Fix number of removed files when rmtree'ing directories

Define changelog export directory for backports

Automatically remove empty directories

Generate a listing of the exported files

Fix number of removed files when rmtree'ing directories

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  make-changelog: use a better separator for extracted files

make-changelog: use a better separator for extracted files

Merge branch 'merge'

* merge:
  make-changelog: implement progress option

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  make-changelog: implement progress option

make-changelog: implement progress option

turn off until the long manual run is done

make-changelog: fix wrong field name in the SQL query

make-changelog. document --archive option

Improve reporting of processed packages in NEW

Use distinct() to avoid listing duplicated claimed overrides

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  process-new: display existing overrides

process-new: display existing overrides

Display overrides belonging to other sources to avoid accepting
packages which "steal" binary packages (Closes: #697729).

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Add md5sum-mismatch tag to nonfatal autoreject list (Closes: #688300)
  Finds newer or equal versions in lowersuite_name
  queue-report: sort changes correctly (Closes: #704231)
  dak: ls: Calculate optimal column sizes

Add md5sum-mismatch tag to nonfatal autoreject list (Closes: #688300)

Finds newer or equal versions in lowersuite_name

This is particularly useful when the same package has migrated
to a different suite (e.g. t-p-u -> testing), so it is displayed
in cruft-report to be manually removed.

queue-report: sort changes correctly (Closes: #704231)

dak: ls: Calculate optimal column sizes

If a package name is longer than 10 characters, or a version
longer than 13 characters, columns had different widths in
different rows. By calculating the maximum column size and
using that instead of hard-coded values, we have a nice
table again (Closes: #705289).

Add world.site_summary view.

The view is used by the backports team to generate a listing of packages in the
backports suites.

dak.conf-backports: Actually set Dinstall::MyAdminAddress

b9e1322334152efd870a0ad6ddf0df819d05b4a3 had a "Dinstall::" prefix even though
the variable was set inside a "Dinstall" block.

Remove dak/metadata.py and daklib/metadata.py.

dak imports package metadata at installation time for some time already.
There is no longer need for an extra subcommand to do so.

dak.conf-backports: Change Dinstall::MyAdminAddress

The backports team address should be used as From for rejections from the
backports-new queue. As this is written into the REJECT.* file by process-new,
we can just change it here.

Require SHA-1 and SHA-256 checksums in "files" table

We are already assuming that these are never NULL in several places, for
example generate-packages-sources2.

Add missing sections to database init script

Update the list of sections to the latest version of the Debian policy,

Merge remote-tracking branch 'dktrkranz/fixes'

s/team@backports.d.o/backports-team@d.o/

Colorize Pre-Depends packages too

processnew.lock is no longer required

include backports archive in (pool) sync

dak.conf-backports: change location of removal logs

Merge remote-tracking branch 'origin/master'

Generate backports-new.html

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  mkchecksums: store md5sums in correct location
  backports queued: pid and log files are in run subdirectory.
  backports queued: forward uploads to ftp-master

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix dm_suites var

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mkchecksums: store md5sums in correct location

We cannot use $indices as the location is specific to each archive.