Merge remote branch 'twerner/process-upload' into merge

* twerner/process-upload:
  add_dsc_to_db: fix typo u <-> up

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add_dsc_to_db: fix typo u <-> up

* rename up to up_id to make it easier to distinguish

Signed-off-by: Torsten Werner <twerner@debian.org>

Mention deferred queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Name it newstage

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

move the i18n foo up before locks
lock before we do the (o-)p-u-new stuff
do a newstage run, so the running dinstall actually includes the just
accepted (o-)p-u-new files, not leaving them for one later.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-policy

reenable automated processing of (o-)p-u-new.
mail possible output to the release team.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Its dest_file and Dir. damnit

Signed-off-by: Joerg Jaspert <joerg@debian.org>

force_reject fixup

no longer try to rampage through a morgue/ directory, it has no
business there. Instead just claim the next name in the reject/ subdir
of queue/

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rejection mail, closes: #543960

we now also send a mail to the maintainer when we had trouble
verifying the signature due to key expire. closes: #543960
That is, provided we can still parse the changes file.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove wb

remove the wb daily push stuff.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

No longer trigger the wb daily run, this is now a normal mirror push

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add a statefile. this closes #560277

add a statefile to dinstall, roughly telling where we are.
sets a start timestamp and one of the time the statefile is updated.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/cruft' into merge

* twerner/cruft:
  new NBS detection for cruft-report

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Adjust slicing of direction list

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust slicing of direction list

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote branch 'bdefreese/barry_fix_new' into merge

* bdefreese/barry_fix_new:
  Fix barry breaking new.html

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix barry breaking new.html

Merge remote branch 'bdefreese/barry_new_binary' into merge

* bdefreese/barry_new_binary:
  Fix indentation screwup
  Add Binary packages to new.822

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix indentation screwup

queue_install

make autobyhand work again

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add Binary packages to new.822

new NBS detection for cruft-report

it support the new arch all handlung now

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'drkranz/new' into merge

* drkranz/new:
  Reintroduce "Sponsor" in HTML queue view

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Reintroduce "Sponsor" in HTML queue view

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Correctly handle lists for SQL queries in get_binary_from_name_suite()

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Correctly handle lists for SQL queries in get_binary_from_name_suite()

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Enable show-new again

Signed-off-by: Joerg Jaspert <joerg@debian.org>

show-new

lots of more changes needed.
Now it at least outputs a bit of html, but i dont think its completly
done yet.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'juliank/master' into merge

* juliank/master:
  dak/show_new.py: Replace Changes() object use with an Upload() object.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'drkranz/p-n' into merge

* drkranz/p-n:
  Restore display of package colours

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Restore display of package colours

Adjust SQL and parameters strings to correctly execute SQL query
and thus restoring display of package colours in examine-package.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

dak/show_new.py: Replace Changes() object use with an Upload() object.

This change should make it possible to run show-new again, although
I have not tested it.

Signed-off-by: Julian Andres Klode <jak@debian.org>

fix message sending

Signed-off-by: Mark Hymers <mhy@debian.org>

build experimental directory tree

Signed-off-by: Mark Hymers <mhy@debian.org>

fill in headers at reject time

Signed-off-by: Mark Hymers <mhy@debian.org>

tidy up output slightly

Signed-off-by: Mark Hymers <mhy@debian.org>

deal with orig's we have in the DB which are references in the changes file but not there (e.g. security uploads)

Signed-off-by: Mark Hymers <mhy@debian.org>

centralise No-Mail handling

Signed-off-by: Mark Hymers <mhy@debian.org>

Make policy queues work and remove print debugging

Signed-off-by: Mark Hymers <mhy@debian.org>

variable name fixes

Signed-off-by: Mark Hymers <mhy@debian.org>

add process-policy

Signed-off-by: Mark Hymers <mhy@debian.org>

fix GPG reject lines

Signed-off-by: Mark Hymers <mhy@debian.org>

couple of c+p bugs

Signed-off-by: Mark Hymers <mhy@debian.org>

add initial version of process-policy

Signed-off-by: Mark Hymers <mhy@debian.org>

move some logic to daklib

Signed-off-by: Mark Hymers <mhy@debian.org>

fix up cross-component logic

Signed-off-by: Mark Hymers <mhy@debian.org>

fix variable references

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'twerner/cruft' into merge

* commit 'twerner/cruft':
  do not create new db views just improve older ones
  cruft-report: reimplement 'obsolete source'

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'twerner/process-new' into merge

* commit 'twerner/process-new':
  fix OverrideSuite handling

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix OverrideSuite handling

do it in determine_new() (queue.py) instead of do_new() (process_new.py)

Signed-off-by: Torsten Werner <twerner@debian.org>

do not create new db views just improve older ones

Signed-off-by: Torsten Werner <twerner@debian.org>

cruft-report: reimplement 'obsolete source'

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Adjust regex

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust regex

Match "Archive maintenance timestamp" only if present at the
beginning of the row, thus ignoring bogus messages eventually registered
in the logs.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

different tags

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Do not break manual rejects when a note exists

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n

make sure to commit after we rejected stuff and changed database.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n

call upload.remove_known_changes in a few more places.
also give it our session.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

import-users

delete no longer existing users instead of just needlessly spamming us
with their names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/web2' into merge

* twerner/web2:
  web: add link to cruft-report-daily.txt

Signed-off-by: Joerg Jaspert <joerg@debian.org>

web: add link to cruft-report-daily.txt

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Handle broken pipe while waiting for action

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'bdefreese/barry_update25' into merge

* bdefreese/barry_update25:
  Update update_db to use schema 26
  Fix indentation on commit to be outside for loop but inside try. Add update to db_revision to set it to 26.
  Add dakdb/update26.py to add created and modified fields on all tables and add a trigger to update the modified field on update

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'bdefreese/override' into merge

* bdefreese/override:
  Cnf[...] changed to cnf[...] in override.py

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Handle broken pipe while waiting for action

our_raw_input waits for action, but an exception is raised if user
does not provide it. Loop until a correct action is taken, this way
dak does not horribly crash each time.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Cnf[...] changed to cnf[...] in override.py

Update update_db to use schema 26

Fix indentation on commit to be outside for loop but inside try. Add update to db_revision to set it to 26.

Add dakdb/update26.py to add created and modified fields on all tables and add a trigger to update the modified field on update

p-n

only remove known changes if reject isnt aborted

Signed-off-by: Joerg Jaspert <joerg@debian.org>

no longer changes, its self.pkg.changes here

Signed-off-by: Joerg Jaspert <joerg@debian.org>

its self.rejects

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'bdefreese/barry_c_d' into merge

* bdefreese/barry_c_d:
  Remove suite validation and use check_distributions instead and move it further up in process

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove suite validation and use check_distributions instead and move it further up in process

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Move TempPath under Dir option instead of creating a new one
  daklib/holding.py:
  config/debian/dak.conf, dak/transitions.py:

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Move TempPath under Dir option instead of creating a new one

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

daklib/holding.py:
ftptrainees don't have write permissions to holding directory,
so allow them to store packages to be reviewed into TempPath.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

config/debian/dak.conf, dak/transitions.py:

Move TempPath under its own domain, so it can be used by some other
pieces of dak. Adjust transitions accordingly.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote branch 'twerner/sponsoremail' into merge

* twerner/sponsoremail:
  queue: fix sponsored uploads

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/msfl' into merge

* twerner/msfl:
  cruft-report: fix exception in full mode
  cruft-report: disable OBS in daily mode
  cruft-report: ignore duplicate source packages
  cruft-report: always check revdeps on NBS removals

Signed-off-by: Joerg Jaspert <joerg@debian.org>

queue: fix sponsored uploads

cruft-report: fix exception in full mode

Signed-off-by: Torsten Werner <twerner@debian.org>

cruft-report: disable OBS in daily mode

Signed-off-by: Torsten Werner <twerner@debian.org>

cruft-report: ignore duplicate source packages

Signed-off-by: Torsten Werner <twerner@debian.org>

cruft-report: always check revdeps on NBS removals

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'twerner/msfl' into merge

* twerner/msfl:
  Really replace msfl by dominate in dinstall
  NEW

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Really replace msfl by dominate in dinstall

Signed-off-by: Torsten Werner <twerner@debian.org>

NEW

dont fillin automated reject message when doing a manual NEW reject.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/msfl' into merge

* twerner/msfl:
  log ids of deleted rows to aid debugging
  replace msfl by dominate
  closes #246992

Signed-off-by: Joerg Jaspert <joerg@debian.org>

log ids of deleted rows to aid debugging

Signed-off-by: Torsten Werner <twerner@debian.org>

replace msfl by dominate

Merge remote branch 'twerner/msfl' into merge

* twerner/msfl:
  add dominate.py and db upgrade script #25

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Also allow bz2 on the upload queues elsewhere

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'buxy/pu/debianqueued-fix' into merge

* buxy/pu/debianqueued-fix:
  debianqueued: avoid removing .tar.bz2 files too early

Signed-off-by: Joerg Jaspert <joerg@debian.org>

debianqueued: avoid removing .tar.bz2 files too early

add dominate.py and db upgrade script #25

http://ftp-master.debian.org/wiki/projects/arch-all-tracking/

unchecked

additionally run over newstage/

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n
cleanup holding dir

Signed-off-by: Joerg Jaspert <joerg@debian.org>

allow newstage to act like unchecked

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n

do commit changes. also run do_accept in do_new

Signed-off-by: Joerg Jaspert <joerg@debian.org>