Merge remote branch 'origin/master' into contents

* origin/master:
  fix function prod_maintainer()
  website
  process-upload
  process-upload

update29 to get rid of old contents tables

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'stew/contents' into merge

* stew/contents:
  get rid of testing code (hardcoded 'unstable','testing', /home/stew paths, etc)
  get rid of some w h           i t spa              c e; and fix the comment in update28
  fix one trigger, add a bin_associations trigger
  add indexes to make override trigger fast
  triggers now work
  wtf was that
  fix section, get rid of unneeded component
  switch execute to executemany for insert_content_paths
  minor fixes
  before I rip out pending_*
  check for a DAK_CONFIG env variable when looking for dak.conf
  adding grants
  do all binaries, not just the first
  undoing changes I shouldn't have made
  undoing some changes I shouldn't have made
  get rid of stew config hacks

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/process-new' into merge

* twerner/process-new:
  fix function prod_maintainer()

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix function prod_maintainer()

Signed-off-by: Torsten Werner <twerner@debian.org>

website

add lintian tags paragraph and a link to it

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  process-upload
  process-upload

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-upload

Check for Options["No-Action"] too

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

process-upload

Ensure source package is valid and can be extracted correctly
before trying to launch lintian checks on it

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

get rid of testing code (hardcoded 'unstable','testing', /home/stew paths, etc)

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'origin/master' into contents

* origin/master: (35 commits)
  Fix indentation
  policy-queue
  dinstall
  No longer update a tracefile hourly. Instead update our tracefile the second before we create the mirror hardlinks
  docstrings
  Describe what debversion is doing
  Adjust filename passed to get_poolfile_like_name
  drop unused function, fix a docstring
  docstrings
  Add a few docstrings. If someone could complete that, it would be great
  queue, check_source
  queue
  daklib/queue
  generate-filelist: add irc quote
  generate-filelist: improve arch all handling
  generate-filelist: improve formatting of help
  why, oh why, doesnt this fix itself when its wrong?
  meh
  common
  multiple
  ...

Fix indentation

Signed-off-by: Joerg Jaspert <joerg@debian.org>

policy-queue

also output ACCEPT/REJECT on stdout, making mails to -release a bit
more informative

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

maintain an archive serial: line in the project trace file

Signed-off-by: Joerg Jaspert <joerg@debian.org>

No longer update a tracefile hourly. Instead update our tracefile the second before we create the mirror hardlinks

Signed-off-by: Joerg Jaspert <joerg@debian.org>

docstrings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Describe what debversion is doing

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Adjust filename passed to get_poolfile_like_name

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust filename passed to get_poolfile_like_name

get_poolfile_like_name is pickier when parsing file names, so
adhere to the new schema to avoid wrong matches.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

drop unused function, fix a docstring

Signed-off-by: Joerg Jaspert <joerg@debian.org>

docstrings

fix up a few wrong docstrings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add a few docstrings. If someone could complete that, it would be great

Signed-off-by: Joerg Jaspert <joerg@debian.org>

queue, check_source

only bail out if we have a non-source upload.
do not bail out if self.pkg.orig_files is empty.
We either have a bug filling orig_files where we only set this when the files
already have been in the archive, or we intended to use orig_files to show
us files already in the archive. Currently it looks like the latter, and then
it is wrong to check on that in check_source, as that would mean we skip one
check (and also extraction of .debinfo information for the BTS!) for every
upload that comes with totally new files. (Imagine a native package).

Signed-off-by: Joerg Jaspert <joerg@debian.org>

queue

partly back out the previous commit,
keep the conditional on source, we only extract the info on source
uploads.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/queue

drop the condition on bts-changelog and source upload.
bts -> old old comment says it should have been done years ago
source -> don says bts has no problem with it getting the files
always.

maybe this "fixes" the bug where we not write .versions for all
uploads, just some. seemingly random.
maybe it just gets is to backtrace lots.
lets see, a surprise for the new year.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/msfl' into merge

* twerner/msfl:
  generate-filelist: add irc quote
  generate-filelist: improve arch all handling
  generate-filelist: improve formatting of help

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate-filelist: add irc quote

Signed-off-by: Torsten Werner <twerner@debian.org>

generate-filelist: improve arch all handling

include only the 'right' version of arch all packages

Signed-off-by: Torsten Werner <twerner@debian.org>

generate-filelist: improve formatting of help

Signed-off-by: Torsten Werner <twerner@debian.org>

why, oh why, doesnt this fix itself when its wrong?

Signed-off-by: Joerg Jaspert <joerg@debian.org>

meh

Signed-off-by: Joerg Jaspert <joerg@debian.org>

common

archive the .versions files.
either we or don are losing some of them.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

multiple

add a mode:sh line

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Umm, tee >> report? wth, good morning, do it right

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  add_dsc_to_db: fix typo u <-> up

Merge remote branch 'twerner/process-upload' into merge

* twerner/process-upload:
  add_dsc_to_db: fix typo u <-> up

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add_dsc_to_db: fix typo u <-> up

* rename up to up_id to make it easier to distinguish

Signed-off-by: Torsten Werner <twerner@debian.org>

Ups, add an id=, thanks to Adam D. Barratt

Signed-off-by: Joerg Jaspert <joerg@debian.org>

get rid of some w h           i t spa              c e; and fix the comment in update28

Signed-off-by: Mike O'Connor <stew@vireo.org>

Mention deferred queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Name it newstage

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

move the i18n foo up before locks
lock before we do the (o-)p-u-new stuff
do a newstage run, so the running dinstall actually includes the just
accepted (o-)p-u-new files, not leaving them for one later.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-policy

reenable automated processing of (o-)p-u-new.
mail possible output to the release team.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Its dest_file and Dir. damnit

Signed-off-by: Joerg Jaspert <joerg@debian.org>

force_reject fixup

no longer try to rampage through a morgue/ directory, it has no
business there. Instead just claim the next name in the reject/ subdir
of queue/

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rejection mail, closes: #543960

we now also send a mail to the maintainer when we had trouble
verifying the signature due to key expire. closes: #543960
That is, provided we can still parse the changes file.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove wb

remove the wb daily push stuff.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

No longer trigger the wb daily run, this is now a normal mirror push

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add a statefile. this closes #560277

add a statefile to dinstall, roughly telling where we are.
sets a start timestamp and one of the time the statefile is updated.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

merge from ftp-master

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'twerner/cruft' into merge

* twerner/cruft:
  new NBS detection for cruft-report

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Adjust slicing of direction list

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into contents

* master:
  Add back the update_subst call
  i think i fixed sort_changes
  fix the way we move files
  it at least gets to examine_package now
  attempt to fix process_new
  don't be too lax with our LIKE match
  p-n
  p-n
  p-n
  p-n

Adjust slicing of direction list

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote branch 'bdefreese/barry_fix_new' into merge

* bdefreese/barry_fix_new:
  Fix barry breaking new.html

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix barry breaking new.html

Merge remote branch 'bdefreese/barry_new_binary' into merge

* bdefreese/barry_new_binary:
  Fix indentation screwup
  Add Binary packages to new.822

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix indentation screwup

queue_install

make autobyhand work again

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add Binary packages to new.822

new NBS detection for cruft-report

it support the new arch all handlung now

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'drkranz/new' into merge

* drkranz/new:
  Reintroduce "Sponsor" in HTML queue view

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Reintroduce "Sponsor" in HTML queue view

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Correctly handle lists for SQL queries in get_binary_from_name_suite()

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Correctly handle lists for SQL queries in get_binary_from_name_suite()

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Enable show-new again

Signed-off-by: Joerg Jaspert <joerg@debian.org>

show-new

lots of more changes needed.
Now it at least outputs a bit of html, but i dont think its completly
done yet.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'juliank/master' into merge

* juliank/master:
  dak/show_new.py: Replace Changes() object use with an Upload() object.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'drkranz/p-n' into merge

* drkranz/p-n:
  Restore display of package colours

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Restore display of package colours

Adjust SQL and parameters strings to correctly execute SQL query
and thus restoring display of package colours in examine-package.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

dak/show_new.py: Replace Changes() object use with an Upload() object.

This change should make it possible to run show-new again, although
I have not tested it.

Signed-off-by: Julian Andres Klode <jak@debian.org>

fix message sending

Signed-off-by: Mark Hymers <mhy@debian.org>

build experimental directory tree

Signed-off-by: Mark Hymers <mhy@debian.org>

fill in headers at reject time

Signed-off-by: Mark Hymers <mhy@debian.org>

tidy up output slightly

Signed-off-by: Mark Hymers <mhy@debian.org>

deal with orig's we have in the DB which are references in the changes file but not there (e.g. security uploads)

Signed-off-by: Mark Hymers <mhy@debian.org>

centralise No-Mail handling

Signed-off-by: Mark Hymers <mhy@debian.org>

Make policy queues work and remove print debugging

Signed-off-by: Mark Hymers <mhy@debian.org>

variable name fixes

Signed-off-by: Mark Hymers <mhy@debian.org>

add process-policy

Signed-off-by: Mark Hymers <mhy@debian.org>

fix GPG reject lines

Signed-off-by: Mark Hymers <mhy@debian.org>

couple of c+p bugs

Signed-off-by: Mark Hymers <mhy@debian.org>

add initial version of process-policy

Signed-off-by: Mark Hymers <mhy@debian.org>

move some logic to daklib

Signed-off-by: Mark Hymers <mhy@debian.org>

fix up cross-component logic

Signed-off-by: Mark Hymers <mhy@debian.org>

fix variable references

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'twerner/cruft' into merge

* commit 'twerner/cruft':
  do not create new db views just improve older ones
  cruft-report: reimplement 'obsolete source'

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'twerner/process-new' into merge

* commit 'twerner/process-new':
  fix OverrideSuite handling

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix OverrideSuite handling

do it in determine_new() (queue.py) instead of do_new() (process_new.py)

Signed-off-by: Torsten Werner <twerner@debian.org>

do not create new db views just improve older ones

Signed-off-by: Torsten Werner <twerner@debian.org>

cruft-report: reimplement 'obsolete source'

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Adjust regex

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust regex

Match "Archive maintenance timestamp" only if present at the
beginning of the row, thus ignoring bogus messages eventually registered
in the logs.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

different tags

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Do not break manual rejects when a note exists

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n

make sure to commit after we rejected stuff and changed database.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n

call upload.remove_known_changes in a few more places.
also give it our session.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

import-users

delete no longer existing users instead of just needlessly spamming us
with their names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/web2' into merge

* twerner/web2:
  web: add link to cruft-report-daily.txt

Signed-off-by: Joerg Jaspert <joerg@debian.org>

web: add link to cruft-report-daily.txt

Signed-off-by: Torsten Werner <twerner@debian.org>