unchecked/dinstall

unchecked stuff now also in functions.
call a few functions from within dinstall, right before we run accepted.
Otherwise, with the new way of NEW, stuff from (o-)p-u-new would take
two dinstall runs before it is from there into the archive proper...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use unchecked.lock, not daily.lock

Signed-off-by: Joerg Jaspert <joerg@debian.org>

examine_package

also extract and show README.source, so it exists.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

suite_id

if suite doesnt exist dont try to convert a None to int, python doesnt
like this.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

NEW

modified process-new and all related stuff so NEW can now also be processed
during (most of) dinstall. The lock where NEW is forbidden is then down to
some 15 til 20 minutes, instead of 2 hours.

For that process-new moves files into a "staging" directory, from which
cron.unchecked will move them into the accepted queue. As c.u only runs when
it is safe to do so this is fine.

The small part where we still are forbidden to do NEW is between the point where
we run process-accepted and right before we start generating Packages files. As
that is exactly the area daily.lock exists for, process-new now locks on that and
simply refuses to do work then.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cron.unchecked

whitespace foo

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'buxy/bugfixes' into merge

* commit 'buxy/bugfixes':
  dak update-db: fixes to make it work on a fresh install
  dak init-db: properly initialize suite_architectures

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  HAHA

HAHA

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-u

check for the existance of Description: in a binary package.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove an unexisting package

Signed-off-by: Joerg Jaspert <joerg@debian.org>

which_apt_conf_file

do the same for the apt.conf files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

which_conf_file

we should not return the path, but just set the Cnf values to whatever is
in that local config file, so that can point to the right dak.conf then.
and, as that will be different from default "/etc/dak/dak.conf" then let
the usual process read in our different config files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

which_conf_file

if local config files are allowed, return the path for them, in case
one exists.
if not just behave as usual.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak.conf-etc

add new file which really is etc/dak/dak.conf

Signed-off-by: Joerg Jaspert <joerg@debian.org>

eeks

Signed-off-by: Joerg Jaspert <joerg@debian.org>

also tell flotow, not only merkel

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  skip arches we should skip
  i think contents are actually working on separate thread now?
  possibly working multithread contents writer that has udebs disabled
  change reject email template to solicit a reply if new files are uploaded
  convert binaries.type to a enum
  some tweaking to the contents generation queries
  strip ./ from front of paths during contents.bootstrap

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  skip arches we should skip
  i think contents are actually working on separate thread now?
  possibly working multithread contents writer that has udebs disabled
  change reject email template to solicit a reply if new files are uploaded
  convert binaries.type to a enum
  some tweaking to the contents generation queries
  strip ./ from front of paths during contents.bootstrap

Signed-off-by: Joerg Jaspert <joerg@debian.org>

automatically clean transitions

Signed-off-by: Mark Hymers <mhy@debian.org>

allow us to kill apt-ftparchive clean without rerunning from there

Signed-off-by: Mark Hymers <mhy@debian.org>

:

Signed-off-by: Mark Hymers <mhy@debian.org>

fix variable name and send email before removing transition

Signed-off-by: Mark Hymers <mhy@debian.org>

merge transitions work

Signed-off-by: Mark Hymers <mhy@debian.org>

optionally send emails on completed transitions

Signed-off-by: Mark Hymers <mhy@debian.org>

add automatic mode for cleanups

Signed-off-by: Mark Hymers <mhy@debian.org>

change print_info to get_info so we can use it for emailing later

Signed-off-by: Mark Hymers <mhy@debian.org>

disallow deletion of notes for trainees

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Also tell who locked something

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Lets import the future

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-new

do a source-package based locking in NEW processing.
This means multiple people should be able to work in NEW at the same
time (SHOCKING NEWS).

Signed-off-by: Joerg Jaspert <joerg@debian.org>

And this should get rid of suddenly empty prod editors. I hope.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

*sigh*

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Why oh why doesnt this code just read my mind and adapt how i want it to be?

Signed-off-by: Joerg Jaspert <joerg@debian.org>

prod_maintainer wants to take arguments now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Oh my, all for well tested patches

Signed-off-by: Joerg Jaspert <joerg@debian.org>

not only does this want correct syntax, but also correct indexes for our tuples. bah.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Lets try it with correct syntax

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-new

notes now have a timestamp column.
do not allow to edit old notes, only add new ones
hand over existing notes (if any) to the reject message (unless we get called with -m)
hand over existing notes (if any) to the prod message

Signed-off-by: Joerg Jaspert <joerg@debian.org>

pn

do not try to close the log in trainee mode

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n

yay, we want a string here

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-new

add a trainee mode which forbids certain actions to be taken.
This is turned on by the -t option or (more likely) by just being unable
to open the dak logfile.
In trainee mode one can edit and remove notes, "Check" a package and skip or quit
the tool, nothing else. Every other menu option just rewrites the menu.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

pn

nicer display of existing notes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Spelling

yesyes python, you want them spelled correctly

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fixes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

schema 11

Signed-off-by: Joerg Jaspert <joerg@debian.org>

NEW

stop storing NEW comments in .dak files and instead put them into the
database

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-unchecked

move files to NEW using 0640 (changes 0644) mode, not default 0660/0664

Signed-off-by: Joerg Jaspert <joerg@debian.org>

skip arches we should skip

Merge branch 'master' into content_generation

i think contents are actually working on separate thread now?

Merge commit 'djpig/djpig' into merge

* commit 'djpig/djpig':
  cruft_report: Split NBS command by source package

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cruft_report: Split NBS command by source package

This makes the commands easier to check if there are a lot of
them or if some source packages lost a lot of binary packages-

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

merge with master

possibly working multithread contents writer that has udebs disabled

etch-m68k

disable uploads to m68k etch.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

apt.conf

remove etch-m68k from apt.conf. No need to always regenerate its files.
There hasnt been an upload to it for months.
And starting today, etch-m68k is also untouchable. We should reject uploads for it

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'mhy/master' into merge

Merge update10 changes

Signed-off-by: Mark Hymers <mhy@debian.org>

src_uploaders deletions now cascade from source

Signed-off-by: Mark Hymers <mhy@debian.org>

fix update script

Signed-off-by: Mark Hymers <mhy@debian.org>

add update to fix up src_uploaders

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhyftpmaster/master'

todo

fixed an item.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-accepted

fix the mess in stable-install.
Its still not optimal, but it should no longer need manual changes just to do
an oldstable point release.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Various

Fix a number of epydoc errors we had.
Make dakdb/ have a much nicer looking api doc :)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak:
  fix undefined cursor
  Fix the is_dm check to deal with the fact we have typing in our DB layer

TODO

add p-a oldstable mess

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix undefined cursor

Signed-off-by: Mark Hymers <mhy@debian.org>

Revert "add suite wrapper class"

This reverts commit a26b794c1190cacae572e4c416fd8b2450e4bd33.

Conflicts:

daklib/dbconn.py

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhyftpmaster/merge'

Merge commit 'ftpmaster/master'

Fix the is_dm check to deal with the fact we have typing in our DB layer

This code is still fundamentally wrong (assuming unknown UIDs are DDs is
idiotic; of course we know that the keys have had to pass the sig check
against the keyring so it's not a security issue thankfully; it just
might give a one shot limited window for DMs to upload non-DM packages)

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge branch 'master' into merge

Merge commit 'origin/master' into merge

Merge commit 'origin/master'

Merge commit 'djpig/djpig' into merge

* commit 'djpig/djpig':
  cruft_report: Hack: skip debian-installer on kfreebsd
  cruft_report: Fix syntax error

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cruft_report: Hack: skip debian-installer on kfreebsd

Doesn't exist yet.

cruft_report: Fix syntax error

Merge branch 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak:
  set STAMP variable during dinstall (mhy)

dinstall

also generate the arch-space/pkg-nums stats here

Signed-off-by: Joerg Jaspert <joerg@debian.org>

set STAMP variable during dinstall (mhy)

Merge branch 'master' into bugfixes

Conflicts:
dak/init_db.py

signed buildd incoming dir

moved all the code creating this into the common file, new function
cron.unchecked now just calls this function (and so sources the common file)
cron.dinstall also calls this function, immediately after process-accepted did run.
This should get the times where buildds get 403 on files down to at max. the runtime
of process-accepted.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

tell merkel that it should sync the dd accessible parts.
do that after the long run of apt-ftparchive clean, so we have a large
delay between the earlier "sync projectb" and this, so to not overload
merkel too much.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

name the pre dumps differently.
delete predumps after 2 days.
also compress the dumpall files
hardlink same files.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

expire_dumps

really tell the full rules

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into merge

dinstall

move pgdakdev way later where it doesnt matter that it takes long to run

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

actually call the stage function...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

kfreebsd

add kfreebsd-[i386|amd64]

Signed-off-by: Joerg Jaspert <joerg@debian.org>

examine_package

Signed-off-by: Joerg Jaspert <joerg@debian.org>

examine_package

docstring
"clearup" relations variable after output.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

examine_package

docstring
"clearup" relations variable after output.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-new

and also call output_package_relations from process-new

Signed-off-by: Joerg Jaspert <joerg@debian.org>

examine_package

output a list of package relations at the very end of our run.
should make it easier to compare them for packages that split into MANY

Signed-off-by: Joerg Jaspert <joerg@debian.org>

examine_package

one more parameter to output_deb_info, the packagename.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

examine_package

a little docstring foo and "one import per line"

Signed-off-by: Joerg Jaspert <joerg@debian.org>

utils.create_hash()

if we cant open the file, don't try to parse it, but continue with the next

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate-releases

also generate release files for the debian-installer directories.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate-releases

move the actual writing of the "sub"-release files into a function.

Signed-off-by: Joerg Jaspert <joerg@debian.org>