queue

partly back out the previous commit,
keep the conditional on source, we only extract the info on source
uploads.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/queue

drop the condition on bts-changelog and source upload.
bts -> old old comment says it should have been done years ago
source -> don says bts has no problem with it getting the files
always.

maybe this "fixes" the bug where we not write .versions for all
uploads, just some. seemingly random.
maybe it just gets is to backtrace lots.
lets see, a surprise for the new year.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/msfl' into merge

* twerner/msfl:
  generate-filelist: add irc quote
  generate-filelist: improve arch all handling
  generate-filelist: improve formatting of help

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate-filelist: add irc quote

Signed-off-by: Torsten Werner <twerner@debian.org>

generate-filelist: improve arch all handling

include only the 'right' version of arch all packages

Signed-off-by: Torsten Werner <twerner@debian.org>

generate-filelist: improve formatting of help

Signed-off-by: Torsten Werner <twerner@debian.org>

why, oh why, doesnt this fix itself when its wrong?

Signed-off-by: Joerg Jaspert <joerg@debian.org>

meh

Signed-off-by: Joerg Jaspert <joerg@debian.org>

common

archive the .versions files.
either we or don are losing some of them.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

multiple

add a mode:sh line

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Umm, tee >> report? wth, good morning, do it right

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  add_dsc_to_db: fix typo u <-> up

Merge remote branch 'twerner/process-upload' into merge

* twerner/process-upload:
  add_dsc_to_db: fix typo u <-> up

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add_dsc_to_db: fix typo u <-> up

* rename up to up_id to make it easier to distinguish

Signed-off-by: Torsten Werner <twerner@debian.org>

Ups, add an id=, thanks to Adam D. Barratt

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Mention deferred queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Name it newstage

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

move the i18n foo up before locks
lock before we do the (o-)p-u-new stuff
do a newstage run, so the running dinstall actually includes the just
accepted (o-)p-u-new files, not leaving them for one later.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-policy

reenable automated processing of (o-)p-u-new.
mail possible output to the release team.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Its dest_file and Dir. damnit

Signed-off-by: Joerg Jaspert <joerg@debian.org>

force_reject fixup

no longer try to rampage through a morgue/ directory, it has no
business there. Instead just claim the next name in the reject/ subdir
of queue/

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rejection mail, closes: #543960

we now also send a mail to the maintainer when we had trouble
verifying the signature due to key expire. closes: #543960
That is, provided we can still parse the changes file.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove wb

remove the wb daily push stuff.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

No longer trigger the wb daily run, this is now a normal mirror push

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add a statefile. this closes #560277

add a statefile to dinstall, roughly telling where we are.
sets a start timestamp and one of the time the statefile is updated.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/cruft' into merge

* twerner/cruft:
  new NBS detection for cruft-report

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Adjust slicing of direction list

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust slicing of direction list

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote branch 'bdefreese/barry_fix_new' into merge

* bdefreese/barry_fix_new:
  Fix barry breaking new.html

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix barry breaking new.html

Merge remote branch 'bdefreese/barry_new_binary' into merge

* bdefreese/barry_new_binary:
  Fix indentation screwup
  Add Binary packages to new.822

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix indentation screwup

queue_install

make autobyhand work again

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add Binary packages to new.822

new NBS detection for cruft-report

it support the new arch all handlung now

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'drkranz/new' into merge

* drkranz/new:
  Reintroduce "Sponsor" in HTML queue view

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Reintroduce "Sponsor" in HTML queue view

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Correctly handle lists for SQL queries in get_binary_from_name_suite()

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Correctly handle lists for SQL queries in get_binary_from_name_suite()

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Enable show-new again

Signed-off-by: Joerg Jaspert <joerg@debian.org>

show-new

lots of more changes needed.
Now it at least outputs a bit of html, but i dont think its completly
done yet.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'juliank/master' into merge

* juliank/master:
  dak/show_new.py: Replace Changes() object use with an Upload() object.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'drkranz/p-n' into merge

* drkranz/p-n:
  Restore display of package colours

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Restore display of package colours

Adjust SQL and parameters strings to correctly execute SQL query
and thus restoring display of package colours in examine-package.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

dak/show_new.py: Replace Changes() object use with an Upload() object.

This change should make it possible to run show-new again, although
I have not tested it.

Signed-off-by: Julian Andres Klode <jak@debian.org>

fix message sending

Signed-off-by: Mark Hymers <mhy@debian.org>

build experimental directory tree

Signed-off-by: Mark Hymers <mhy@debian.org>

fill in headers at reject time

Signed-off-by: Mark Hymers <mhy@debian.org>

tidy up output slightly

Signed-off-by: Mark Hymers <mhy@debian.org>

deal with orig's we have in the DB which are references in the changes file but not there (e.g. security uploads)

Signed-off-by: Mark Hymers <mhy@debian.org>

centralise No-Mail handling

Signed-off-by: Mark Hymers <mhy@debian.org>

Make policy queues work and remove print debugging

Signed-off-by: Mark Hymers <mhy@debian.org>

variable name fixes

Signed-off-by: Mark Hymers <mhy@debian.org>

add process-policy

Signed-off-by: Mark Hymers <mhy@debian.org>

fix GPG reject lines

Signed-off-by: Mark Hymers <mhy@debian.org>

couple of c+p bugs

Signed-off-by: Mark Hymers <mhy@debian.org>

add initial version of process-policy

Signed-off-by: Mark Hymers <mhy@debian.org>

move some logic to daklib

Signed-off-by: Mark Hymers <mhy@debian.org>

fix up cross-component logic

Signed-off-by: Mark Hymers <mhy@debian.org>

fix variable references

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'twerner/cruft' into merge

* commit 'twerner/cruft':
  do not create new db views just improve older ones
  cruft-report: reimplement 'obsolete source'

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'twerner/process-new' into merge

* commit 'twerner/process-new':
  fix OverrideSuite handling

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix OverrideSuite handling

do it in determine_new() (queue.py) instead of do_new() (process_new.py)

Signed-off-by: Torsten Werner <twerner@debian.org>

do not create new db views just improve older ones

Signed-off-by: Torsten Werner <twerner@debian.org>

cruft-report: reimplement 'obsolete source'

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Adjust regex

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust regex

Match "Archive maintenance timestamp" only if present at the
beginning of the row, thus ignoring bogus messages eventually registered
in the logs.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

different tags

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Do not break manual rejects when a note exists

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n

make sure to commit after we rejected stuff and changed database.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n

call upload.remove_known_changes in a few more places.
also give it our session.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

import-users

delete no longer existing users instead of just needlessly spamming us
with their names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/web2' into merge

* twerner/web2:
  web: add link to cruft-report-daily.txt

Signed-off-by: Joerg Jaspert <joerg@debian.org>

web: add link to cruft-report-daily.txt

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Handle broken pipe while waiting for action

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'bdefreese/barry_update25' into merge

* bdefreese/barry_update25:
  Update update_db to use schema 26
  Fix indentation on commit to be outside for loop but inside try. Add update to db_revision to set it to 26.
  Add dakdb/update26.py to add created and modified fields on all tables and add a trigger to update the modified field on update

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'bdefreese/override' into merge

* bdefreese/override:
  Cnf[...] changed to cnf[...] in override.py

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Handle broken pipe while waiting for action

our_raw_input waits for action, but an exception is raised if user
does not provide it. Loop until a correct action is taken, this way
dak does not horribly crash each time.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Cnf[...] changed to cnf[...] in override.py

Update update_db to use schema 26

Fix indentation on commit to be outside for loop but inside try. Add update to db_revision to set it to 26.

Add dakdb/update26.py to add created and modified fields on all tables and add a trigger to update the modified field on update

p-n

only remove known changes if reject isnt aborted

Signed-off-by: Joerg Jaspert <joerg@debian.org>

no longer changes, its self.pkg.changes here

Signed-off-by: Joerg Jaspert <joerg@debian.org>

its self.rejects

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'bdefreese/barry_c_d' into merge

* bdefreese/barry_c_d:
  Remove suite validation and use check_distributions instead and move it further up in process

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove suite validation and use check_distributions instead and move it further up in process

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Move TempPath under Dir option instead of creating a new one
  daklib/holding.py:
  config/debian/dak.conf, dak/transitions.py:

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Move TempPath under Dir option instead of creating a new one

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

daklib/holding.py:
ftptrainees don't have write permissions to holding directory,
so allow them to store packages to be reviewed into TempPath.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

config/debian/dak.conf, dak/transitions.py:

Move TempPath under its own domain, so it can be used by some other
pieces of dak. Adjust transitions accordingly.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote branch 'twerner/sponsoremail' into merge

* twerner/sponsoremail:
  queue: fix sponsored uploads

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/msfl' into merge

* twerner/msfl:
  cruft-report: fix exception in full mode
  cruft-report: disable OBS in daily mode
  cruft-report: ignore duplicate source packages
  cruft-report: always check revdeps on NBS removals

Signed-off-by: Joerg Jaspert <joerg@debian.org>

queue: fix sponsored uploads

cruft-report: fix exception in full mode

Signed-off-by: Torsten Werner <twerner@debian.org>

cruft-report: disable OBS in daily mode

Signed-off-by: Torsten Werner <twerner@debian.org>

cruft-report: ignore duplicate source packages

Signed-off-by: Torsten Werner <twerner@debian.org>

cruft-report: always check revdeps on NBS removals

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'twerner/msfl' into merge

* twerner/msfl:
  Really replace msfl by dominate in dinstall
  NEW

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Really replace msfl by dominate in dinstall

Signed-off-by: Torsten Werner <twerner@debian.org>