Avoid converting unicode strings into yaml nodes

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

override.py: fix typo, spotted by Holger Levsen

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge branch 'security'

* security: (36 commits)
  bugfixes
  process-policy
  also clean disembargo incoming
  Override mail
  use the right var name, stupid
  Move a-f cleanup to the last
  right path
  More directories for queue-report
  Fix the arch entries for the buildd suites
  s/install//
  try with case
  no more advisory
  fix n-s-i
  cron.buildd
  cron.buildd
  copyfile wants full names
  only run the archive update when we actually had changes in the archive
  use copyfile, we want it accessible in that dest
  Add import-keyring
  unchecked
  ...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

bugfixes

merge bugfixes from Torsten and Mark:
- built uncompressed and bz2 packages/sources too for buildd
- set a codename in the release file
- strip epoch from version

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rsyncable

centrally export the GZIP variable with the --rsyncable default set

Signed-off-by: Joerg Jaspert <joerg@debian.org>

we need to wait for the background processes before the end of dinstall

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Added --rsyncable for gzip calls to scriptvars

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'drkranz/overrides' into merge

* drkranz/overrides:
  Move more objects into get_packages_from_ftp()
  Pipes ftw!
  Add dak override-disparity command to cron.daily
  override_disparity.py: display YAML output
  Move common code to the new get_packages_from_ftp()
  override_disparity.py: generate a list of override disparities
  override.py: check override compliance
  ls.py: let -a source display sources only (#458186)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

implement first test with database access

* Implement a new test class: DBDakTestCase in db_test.py.
* First test: dbtest_fingerprint.py is prefixed with dbtest_ instead of
  test_ because we do not have a test database on franck (yet).

Signed-off-by: Torsten Werner <twerner@debian.org>

Remove useless type casts from primary keys.

Signed-off-by: Torsten Werner <twerner@debian.org>

suppress warnings when running tests in squeeze

Signed-off-by: Torsten Werner <twerner@debian.org>

Move more objects into get_packages_from_ftp()

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Pipes ftw!

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Add dak override-disparity command to cron.daily

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

override_disparity.py: display YAML output

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Move common code to the new get_packages_from_ftp()

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

override_disparity.py: generate a list of override disparities

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

override.py: check override compliance

Before attempting to edit overrides, check if the
proposed change complies with Debian Policy §2.5.
Check is performed on package dependencies and
reverse dependencies as well.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

ls.py: let -a source display sources only (#458186)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

fix paths in test_copy_installer to work on franck

Signed-off-by: Torsten Werner <twerner@debian.org>

add command copy-installer to dak driver

Signed-off-by: Torsten Werner <twerner@debian.org>

copy_installer.py: implement main()

Signed-off-by: Torsten Werner <twerner@debian.org>

create new class InstallerCopier

- will support the now copy-installer command
- includes test code

Signed-off-by: Torsten Werner <twerner@debian.org>

cron.unchecked: improve error message if locking fails

Signed-off-by: Torsten Werner <twerner@debian.org>

increase retry count for locking unchecked.lock

Signed-off-by: Torsten Werner <twerner@debian.org>

fix error handling in add_deb_to_db()

Signed-off-by: Torsten Werner <twerner@debian.org>

improve import of DM keyring

Fall back to first uid that contains an email address if the primary uid
does not.

Signed-off-by: Torsten Werner <twerner@debian.org>

remove useless "aliases" entry in Keyring

Signed-off-by: Torsten Werner <twerner@debian.org>

fix syntax error in show-new

Signed-off-by: Torsten Werner <twerner@debian.org>

show-new: refactor Luca's changes

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'dktrkranz/show-new'

Merge branch 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak

secure show-new by unchecked.log

... to avoid parallel execution of dak

Signed-off-by: Torsten Werner <twerner@debian.org>

show-new: query database only when needed

Instead of querying database once for every single .changes file,
only regenerate html output if not previously available or older.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

fix lock removal in dinstall

Signed-off-by: Torsten Werner <twerner@debian.org>

wait for background processes at dinstall's end

Signed-off-by: Torsten Werner <twerner@debian.org>

append cron.daily's output to dinstall's logfile

(instead of sending spam)

Signed-off-by: Torsten Werner <twerner@debian.org>

fix exception in 'dak override'

Signed-off-by: Torsten Werner <twerner@debian.org>

make onerror() in dinstall.functions more robust

Signed-off-by: Torsten Werner <twerner@debian.org>

avoid 'unbound variable' error in shell script

Signed-off-by: Torsten Werner <twerner@debian.org>

fix threadpool's joinAll() method

Signed-off-by: Torsten Werner <twerner@debian.org>

add option --no-action to import-keyring

Signed-off-by: Torsten Werner <twerner@debian.org>

add option --list-uids to import-keyring

Signed-off-by: Torsten Werner <twerner@debian.org>

fix arguments for format string

... to avoid exception during import

Signed-off-by: Torsten Werner <twerner@debian.org>

do no longer automatically update UIDs

- ... because we want to have control over the UIDs.

Signed-off-by: Torsten Werner <twerner@debian.org>

process-policy

also process ACCEPTED files once more, so late-accepts do work
use the len(opref) to find how much of the name to strip to see if its a direntry we work on

Signed-off-by: Joerg Jaspert <joerg@debian.org>

also clean disembargo incoming

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use the right var name, stupid

Signed-off-by: Joerg Jaspert <joerg@debian.org>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Override mail

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use the right var name, stupid

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Move a-f cleanup to the last

Signed-off-by: Joerg Jaspert <joerg@debian.org>

right path

Signed-off-by: Joerg Jaspert <joerg@debian.org>

More directories for queue-report

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix the arch entries for the buildd suites

Signed-off-by: Joerg Jaspert <joerg@debian.org>

s/install//

Signed-off-by: Joerg Jaspert <joerg@debian.org>

try with case

Signed-off-by: Joerg Jaspert <joerg@debian.org>

no more advisory

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix n-s-i

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cron.buildd

whitespace fun

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cron.buildd

now with signed buildd dirs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

copyfile wants full names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

only run the archive update when we actually had changes in the archive

Signed-off-by: Joerg Jaspert <joerg@debian.org>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

use copyfile, we want it accessible in that dest

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add import-keyring

Signed-off-by: Joerg Jaspert <joerg@debian.org>

unchecked

run the process-policy stuff and accept (late) builds for already accepted
security releases.
this also requires a run of the normal archive fun, to push it out.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

new-security-install

entirely rewritten. much smaller and nicer and better and whatnot.
except preparing advisories, this should be all they need. lets see.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

vars

remove duplicate

Signed-off-by: Joerg Jaspert <joerg@debian.org>

queue_install

we really need to copy here, symlinks wont work due to the rights
of the queues. the webserver wont see the embargoed fun otherwise

Signed-off-by: Joerg Jaspert <joerg@debian.org>

updated for new version

Signed-off-by: Joerg Jaspert <joerg@debian.org>

update variables

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into security

* master:
  security install fun

security install fun

yes, the mhy is right, its all wrong to go special for security in changesutil. remove the special case.
also, check if we process files in newstage. if thats the case (changes known and its in_queue attribute
tells us the queue its in is newstage) then dont do embargo/disembargo, this is one that got accepted
from there

Signed-off-by: Joerg Jaspert <joerg@debian.org>

right lockfile

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into security

* master:
  new lock dir
  embargo/disembargo build up a symlink farm for our buildds.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

new lock dir

Signed-off-by: Joerg Jaspert <joerg@debian.org>

embargo/disembargo build up a symlink farm for our buildds.

Signed-off-by: Joerg Jaspert <joerg@debian.org>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

embargo/disembargo build up a symlink farm for our buildds.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into security

* master:
  fixme note

fixme note

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into security

* master:
  In case the component name contains a /, replace it with a _. Works much better when using this as part of a filename

In case the component name contains a /, replace it with a _. Works much better when using this as part of a filename

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add check-overrides entry

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add cache dir

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into security

* master:
  missing the chg parameter

missing the chg parameter

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into security

* master:
  do is a little different than queue, even if just a tiny bit
  better function names

keyring stuff

Signed-off-by: Joerg Jaspert <joerg@debian.org>

do is a little different than queue, even if just a tiny bit

Signed-off-by: Joerg Jaspert <joerg@debian.org>

better function names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into security

* master:
  security queue handling

security queue handling

reenable the embargo/disembargo handling. we check if the policy_queues
named like it exist, if not we just dont do anything. if they (especially)
embargo exist, we always do it. As embargo is just a kind of catch-all at the
end

Signed-off-by: Joerg Jaspert <joerg@debian.org>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

security queue handling

reenable the embargo/disembargo handling. we check if the policy_queues
named like it exist, if not we just dont do anything. if they (especially)
embargo exist, we always do it. As embargo is just a kind of catch-all at the
end

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into security

* master:
  ignore advisories

ignore advisories

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into security

* master:
  Ask the database for components
  disable a-f
  new path
  clean the debbugs version track archive
  oh yay, we get away without the s-u-p-u, anything will be taken from s-p-u
  db schema 40
  rename volatile to updates

Ask the database for components

Signed-off-by: Joerg Jaspert <joerg@debian.org>

no more oldstable

Signed-off-by: Joerg Jaspert <joerg@debian.org>

no more oldstable

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add the special queues

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add newstage remove accepted

Signed-off-by: Joerg Jaspert <joerg@debian.org>