Fix problem with uploaders containing a "," sign in their name

Merge branch 'master' into uploaders

* master:
  notautomatic
  add a "notautomatic" flag to the build queues
  removals, crontab
  Tell queue_rss where it can find out log
  tools/queue_rss.py: parse process-new reasons (Closes: #517950)
  tools/queue_rss.py: bump version and wrap to 79 columns

notautomatic

build queues can now be notautomatic.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add a "notautomatic" flag to the build queues

Signed-off-by: Joerg Jaspert <joerg@debian.org>

removals, crontab

add generation of removals-full.txt, doesnt need to be in my own
crontab.
also add the crontab into VCS, even though crontab is not yet
automagically updated from VCS.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Tell queue_rss where it can find out log

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'godog/master' into merge

* godog/master:
  tools/queue_rss.py: parse process-new reasons (Closes: #517950)
  tools/queue_rss.py: bump version and wrap to 79 columns

Signed-off-by: Joerg Jaspert <joerg@debian.org>

tools/queue_rss.py: parse process-new reasons (Closes: #517950)

This commit adds a new command line option -l to point queue_rss.py where
process-new logs are.
While processing outgoing packages parse also logdir/%Y-%m to search for a
reason (ACCEPT/REJECT) and include it in the RSS entry, if any.

Signed-off-by: Filippo Giunchedi <filippo@debian.org>

tools/queue_rss.py: bump version and wrap to 79 columns

Signed-off-by: Filippo Giunchedi <filippo@debian.org>

make_maintainers.py: Support creating an uploaders index, closes: #120262

Signed-off-by: Joerg Jaspert <joerg@debian.org>

unify buildd queues, no matter which suite

Signed-off-by: Joerg Jaspert <joerg@debian.org>

some docstrings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

And its now 31

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'stew/contents' into merge

* stew/contents:
  fixing triggers
  call generate instead of deb_generate so that udeb contents are generated

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fixing triggers

Signed-off-by: Mike O'Connor <stew@vireo.org>

call generate instead of deb_generate so that udeb contents are generated

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'stew/contents' into merge

* stew/contents:
  o.type -> ot.type

Signed-off-by: Joerg Jaspert <joerg@debian.org>

o.type -> ot.type

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'stew/contents' into merge

* stew/contents:
  limit the query in 'update-content-for-bin_a' to only look for deb,udeb

Signed-off-by: Joerg Jaspert <joerg@debian.org>

limit the query in 'update-content-for-bin_a' to only look for deb,udeb

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'stew/contents' into merge

* stew/contents:
  add update30 to fix 'bin_contents' trigger
  dak.py
  dbconn
  Missing ,
  Is schema 30 now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add update30 to fix 'bin_contents' trigger

Signed-off-by: Mike O'Connor <stew@vireo.org>

dak.py

ignore the crap sqlalchemy warnings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  fixes from some previous bad merge

Merge remote branch 'stew/contents' into merge

* stew/contents:
  fixes from some previous bad merge

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fixes from some previous bad merge

Signed-off-by: Mike O'Connor <stew@vireo.org>

dbconn

i think he meant suite, not component, looking at the table

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Missing ,

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Is schema 29 now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'stew/contents' into merge

* stew/contents:
  bride of bad index name
  return of bad index name
  bad index name
  you can quote me on that
  lalalal
  those are strings not ints
  another wrong way to paramaterize
  wrong way to paramaterize
  really don't use DBConn() in an update
  don't use DBConn() in an update

Signed-off-by: Joerg Jaspert <joerg@debian.org>

bride of bad index name

Signed-off-by: Mike O'Connor <stew@vireo.org>

return of bad index name

Signed-off-by: Mike O'Connor <stew@vireo.org>

bad index name

Signed-off-by: Mike O'Connor <stew@vireo.org>

you can quote me on that

Signed-off-by: Mike O'Connor <stew@vireo.org>

lalalal

Signed-off-by: Mike O'Connor <stew@vireo.org>

those are strings not ints

Signed-off-by: Mike O'Connor <stew@vireo.org>

another wrong way to paramaterize

Signed-off-by: Mike O'Connor <stew@vireo.org>

wrong way to paramaterize

Signed-off-by: Mike O'Connor <stew@vireo.org>

really don't use DBConn() in an update

Signed-off-by: Mike O'Connor <stew@vireo.org>

don't use DBConn() in an update

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'stew/contents' into merge

* stew/contents:
  index all suites

Signed-off-by: Joerg Jaspert <joerg@debian.org>

index all suites

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'stew/contents' into merge

* stew/contents:
  add Config() import

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add Config() import

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'stew/contents' into merge

* stew/contents:
  suites -> _suites

Signed-off-by: Joerg Jaspert <joerg@debian.org>

suites -> _suites

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'stew/contents' into merge

* stew/contents:
  self.suites->suites

Signed-off-by: Joerg Jaspert <joerg@debian.org>

self.suites->suites

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'stew/contents' into merge

* stew/contents:
  fix errant middle click
  forgot to save update29
  fix errors found by epydoc
  update29 to get rid of old contents tables

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix errant middle click

Signed-off-by: Mike O'Connor <stew@vireo.org>

forgot to save update29

Signed-off-by: Mike O'Connor <stew@vireo.org>

fix errors found by epydoc

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'origin/master' into contents

* origin/master:
  fix function prod_maintainer()
  website
  process-upload
  process-upload

update29 to get rid of old contents tables

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'stew/contents' into merge

* stew/contents:
  get rid of testing code (hardcoded 'unstable','testing', /home/stew paths, etc)
  get rid of some w h           i t spa              c e; and fix the comment in update28
  fix one trigger, add a bin_associations trigger
  add indexes to make override trigger fast
  triggers now work
  wtf was that
  fix section, get rid of unneeded component
  switch execute to executemany for insert_content_paths
  minor fixes
  before I rip out pending_*
  check for a DAK_CONFIG env variable when looking for dak.conf
  adding grants
  do all binaries, not just the first
  undoing changes I shouldn't have made
  undoing some changes I shouldn't have made
  get rid of stew config hacks

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/process-new' into merge

* twerner/process-new:
  fix function prod_maintainer()

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix function prod_maintainer()

Signed-off-by: Torsten Werner <twerner@debian.org>

website

add lintian tags paragraph and a link to it

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  process-upload
  process-upload

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-upload

Check for Options["No-Action"] too

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

process-upload

Ensure source package is valid and can be extracted correctly
before trying to launch lintian checks on it

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

get rid of testing code (hardcoded 'unstable','testing', /home/stew paths, etc)

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge remote branch 'origin/master' into contents

* origin/master: (35 commits)
  Fix indentation
  policy-queue
  dinstall
  No longer update a tracefile hourly. Instead update our tracefile the second before we create the mirror hardlinks
  docstrings
  Describe what debversion is doing
  Adjust filename passed to get_poolfile_like_name
  drop unused function, fix a docstring
  docstrings
  Add a few docstrings. If someone could complete that, it would be great
  queue, check_source
  queue
  daklib/queue
  generate-filelist: add irc quote
  generate-filelist: improve arch all handling
  generate-filelist: improve formatting of help
  why, oh why, doesnt this fix itself when its wrong?
  meh
  common
  multiple
  ...

Fix indentation

Signed-off-by: Joerg Jaspert <joerg@debian.org>

policy-queue

also output ACCEPT/REJECT on stdout, making mails to -release a bit
more informative

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

maintain an archive serial: line in the project trace file

Signed-off-by: Joerg Jaspert <joerg@debian.org>

No longer update a tracefile hourly. Instead update our tracefile the second before we create the mirror hardlinks

Signed-off-by: Joerg Jaspert <joerg@debian.org>

docstrings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Describe what debversion is doing

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'drkranz/master' into merge

* drkranz/master:
  Adjust filename passed to get_poolfile_like_name

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust filename passed to get_poolfile_like_name

get_poolfile_like_name is pickier when parsing file names, so
adhere to the new schema to avoid wrong matches.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

drop unused function, fix a docstring

Signed-off-by: Joerg Jaspert <joerg@debian.org>

docstrings

fix up a few wrong docstrings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add a few docstrings. If someone could complete that, it would be great

Signed-off-by: Joerg Jaspert <joerg@debian.org>

queue, check_source

only bail out if we have a non-source upload.
do not bail out if self.pkg.orig_files is empty.
We either have a bug filling orig_files where we only set this when the files
already have been in the archive, or we intended to use orig_files to show
us files already in the archive. Currently it looks like the latter, and then
it is wrong to check on that in check_source, as that would mean we skip one
check (and also extraction of .debinfo information for the BTS!) for every
upload that comes with totally new files. (Imagine a native package).

Signed-off-by: Joerg Jaspert <joerg@debian.org>

queue

partly back out the previous commit,
keep the conditional on source, we only extract the info on source
uploads.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/queue

drop the condition on bts-changelog and source upload.
bts -> old old comment says it should have been done years ago
source -> don says bts has no problem with it getting the files
always.

maybe this "fixes" the bug where we not write .versions for all
uploads, just some. seemingly random.
maybe it just gets is to backtrace lots.
lets see, a surprise for the new year.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'twerner/msfl' into merge

* twerner/msfl:
  generate-filelist: add irc quote
  generate-filelist: improve arch all handling
  generate-filelist: improve formatting of help

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate-filelist: add irc quote

Signed-off-by: Torsten Werner <twerner@debian.org>

generate-filelist: improve arch all handling

include only the 'right' version of arch all packages

Signed-off-by: Torsten Werner <twerner@debian.org>

generate-filelist: improve formatting of help

Signed-off-by: Torsten Werner <twerner@debian.org>

why, oh why, doesnt this fix itself when its wrong?

Signed-off-by: Joerg Jaspert <joerg@debian.org>

meh

Signed-off-by: Joerg Jaspert <joerg@debian.org>

common

archive the .versions files.
either we or don are losing some of them.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

multiple

add a mode:sh line

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Umm, tee >> report? wth, good morning, do it right

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  add_dsc_to_db: fix typo u <-> up

Merge remote branch 'twerner/process-upload' into merge

* twerner/process-upload:
  add_dsc_to_db: fix typo u <-> up

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add_dsc_to_db: fix typo u <-> up

* rename up to up_id to make it easier to distinguish

Signed-off-by: Torsten Werner <twerner@debian.org>

Ups, add an id=, thanks to Adam D. Barratt

Signed-off-by: Joerg Jaspert <joerg@debian.org>

get rid of some w h           i t spa              c e; and fix the comment in update28

Signed-off-by: Mike O'Connor <stew@vireo.org>

Mention deferred queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Name it newstage

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

move the i18n foo up before locks
lock before we do the (o-)p-u-new stuff
do a newstage run, so the running dinstall actually includes the just
accepted (o-)p-u-new files, not leaving them for one later.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-policy

reenable automated processing of (o-)p-u-new.
mail possible output to the release team.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Its dest_file and Dir. damnit

Signed-off-by: Joerg Jaspert <joerg@debian.org>

force_reject fixup

no longer try to rampage through a morgue/ directory, it has no
business there. Instead just claim the next name in the reject/ subdir
of queue/

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rejection mail, closes: #543960

we now also send a mail to the maintainer when we had trouble
verifying the signature due to key expire. closes: #543960
That is, provided we can still parse the changes file.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove wb

remove the wb daily push stuff.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

No longer trigger the wb daily run, this is now a normal mirror push

Signed-off-by: Joerg Jaspert <joerg@debian.org>