add basic mapper classes for new tables

Signed-off-by: Mark Hymers <mhy@debian.org>

add acls to database schema

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'ftpmaster/master'

Merge branch 'merge'

* merge:
  Port check_dsc_files to use get_format_from_string.
  Make build_file_list to use get_format_from_string and friends.
  Add get_format_from_string utility method
  Attach validate_format(...) to each SourceFormat that can reject formats.
  Split out parse_format to module-level and test it explicitly.
  Split parsing of "Format:" string and validation of it.
  Compare None with object identity, not equality
  "Format: 0.0" is now invalid
  Add regression tests for parse_format.
  Move "Format:" field parsing into srcformats.py

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Port check_dsc_files to use get_format_from_string.
  Make build_file_list to use get_format_from_string and friends.
  Add get_format_from_string utility method
  Attach validate_format(...) to each SourceFormat that can reject formats.
  Split out parse_format to module-level and test it explicitly.
  Split parsing of "Format:" string and validation of it.
  Compare None with object identity, not equality
  "Format: 0.0" is now invalid
  Add regression tests for parse_format.
  Move "Format:" field parsing into srcformats.py

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Port check_dsc_files to use get_format_from_string.

Signed-off-by: Chris Lamb <lamby@debian.org>

Make build_file_list to use get_format_from_string and friends.

Signed-off-by: Chris Lamb <lamby@debian.org>

Add get_format_from_string utility method

Signed-off-by: Chris Lamb <lamby@debian.org>

Attach validate_format(...) to each SourceFormat that can reject formats.

Signed-off-by: Chris Lamb <lamby@debian.org>

Split out parse_format to module-level and test it explicitly.

Signed-off-by: Chris Lamb <lamby@debian.org>

Split parsing of "Format:" string and validation of it.

Signed-off-by: Chris Lamb <lamby@debian.org>

Compare None with object identity, not equality

Signed-off-by: Chris Lamb <lamby@debian.org>

"Format: 0.0" is now invalid

Signed-off-by: Chris Lamb <lamby@debian.org>

Add regression tests for parse_format.

Signed-off-by: Chris Lamb <lamby@debian.org>

Move "Format:" field parsing into srcformats.py

Signed-off-by: Chris Lamb <lamby@debian.org>

Remove X-Katie: headers

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'ftpmaster/master'

fix indentation

Signed-off-by: Mark Hymers <mhy@debian.org>

Updated

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  Improve logging in clean_empty_directories.
  Clean empty directories from the pool.

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Improve logging in clean_empty_directories.
  Clean empty directories from the pool.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Improve logging in clean_empty_directories.

Signed-off-by: Chris Lamb <lamby@debian.org>

Clean empty directories from the pool.

Signed-off-by: Chris Lamb <lamby@debian.org>

dinstall

remove the runparts, that dir no longer exist.
move the one and only function of it directly into dinstall, where it belongs.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Background half of dinstall

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Dont do work without a tagfile

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  If lintian returns 2 warn FTPMasters but try and continue anyway.
  cmd -> command

Signed-off-by: Joerg Jaspert <joerg@debian.org>

If lintian returns 2 warn FTPMasters but try and continue anyway.

Signed-off-by: Chris Lamb <lamby@debian.org>

cmd -> command

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Use new Config api.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use new Config api.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Fix lintian regex.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix lintian regex.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master'

Re-enable check_lintian

Signed-off-by: Chris Lamb <lamby@debian.org>

Add doc why we are monkeypatching commands.getstatusoutput

Signed-off-by: Chris Lamb <lamby@debian.org>

I really think this'l just cause arguments and I can't be bothered

Signed-off-by: Mark Hymers <mhy@debian.org>

remove alpha from testing

Signed-off-by: Mark Hymers <mhy@debian.org>

clean-suites: Log totals as well

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

"Fully" ported to SQLAlchemy-based daklib.dbconn; remove database.py

Signed-off-by: Chris Lamb <lamby@debian.org>

Port new_security_install to DBConn and friends.

Signed-off-by: Chris Lamb <lamby@debian.org>

Move get_queue => get_or_set_queue

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Fix log messages
  PASS

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix log messages

Merge branch 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak:
  PASS

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Add fixes for broken prefix_multi_line_string calls.
  Remove unused imports from daklib.
  Use more Pythonic "".join over str.join

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add fixes for broken prefix_multi_line_string calls.

Signed-off-by: Chris Lamb <lamby@debian.org>

PASS

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge branch 'master' of ries.debian.org:/srv/ftp.debian.org/git/dak

* 'master' of ries.debian.org:/srv/ftp.debian.org/git/dak:
  Disable check_lintian for now.
  clean-queues: Add proper logging
  Only lintian reject uploads to unstable or experimental
  Fix use of "wayout" name.
  dict[k] raises IndexError if does not exist - check with infix 'in' instead.
  Actually add a seperator to our --tags-from-file input.
  lintian YAML has a "lintian" root element.
  Close sourcefile.
  Dedent again by returning if lintian doesn't return any content.
  Return all the lintian-related rejections, not just the first one.
  It's called 'next', not 'continue'. =)
  Dedent again by using continue.
  Remove one level of indentation by using continue
  Simple check for lintian regex
  Use set() instead of Perlesque hash[key] = 1
  autoreject
  Add lintian tags file

Merge branch 'master' into merge

* master:
  let's not reset last_used every time...
  old

Merge commit 'djpig/djpig' into merge

* commit 'djpig/djpig':
  clean-queues: Add proper logging
  use the id, not the object
  add regex import
  file -> f
  we're already in the changes object
  use isinstance
  fixup

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak:
  let's not reset last_used every time...

Merge branch 'merge'

* merge:
  Disable check_lintian for now.
  Only lintian reject uploads to unstable or experimental
  Fix use of "wayout" name.
  dict[k] raises IndexError if does not exist - check with infix 'in' instead.
  Actually add a seperator to our --tags-from-file input.
  lintian YAML has a "lintian" root element.
  Close sourcefile.
  Dedent again by returning if lintian doesn't return any content.
  Return all the lintian-related rejections, not just the first one.
  It's called 'next', not 'continue'. =)
  Dedent again by using continue.
  Remove one level of indentation by using continue
  Simple check for lintian regex
  Use set() instead of Perlesque hash[key] = 1
  autoreject
  Add lintian tags file

Merge commit 'lamby/lintian_autoreject' into merge

* commit 'lamby/lintian_autoreject':
  Disable check_lintian for now.
  Only lintian reject uploads to unstable or experimental
  Fix use of "wayout" name.
  dict[k] raises IndexError if does not exist - check with infix 'in' instead.
  Actually add a seperator to our --tags-from-file input.
  lintian YAML has a "lintian" root element.
  Close sourcefile.
  Dedent again by returning if lintian doesn't return any content.
  Return all the lintian-related rejections, not just the first one.
  It's called 'next', not 'continue'. =)
  Dedent again by using continue.
  Remove one level of indentation by using continue
  Simple check for lintian regex
  Use set() instead of Perlesque hash[key] = 1
  autoreject
  Add lintian tags file

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Disable check_lintian for now.

Signed-off-by: Chris Lamb <lamby@debian.org>

clean-queues: Add proper logging

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Merge branch 'master' of ries.debian.org:/srv/ftp.debian.org/git/dak

* 'master' of ries.debian.org:/srv/ftp.debian.org/git/dak:
  let's not reset last_used every time...
  old
  use the id, not the object
  add regex import
  clean-suites: Remove trailing whitespace
  file -> f
  we're already in the changes object
  use isinstance
  fixup
  clean-suites: Fix logic error in during source cleaning
  clean-suites: Fix SQLA usage
  Fix SQL syntax errors
  clean-suites: Use utils.warn for warnings about orphaned files
  clean-suites: Add proper logging
  daklog: Add username in every log line

let's not reset last_used every time...

Signed-off-by: Mark Hymers <mhy@debian.org>

Only lintian reject uploads to unstable or experimental

Signed-off-by: Chris Lamb <lamby@debian.org>

Fix use of "wayout" name.

Signed-off-by: Chris Lamb <lamby@debian.org>

dict[k] raises IndexError if does not exist - check with infix 'in' instead.

Signed-off-by: Chris Lamb <lamby@debian.org>

Actually add a seperator to our --tags-from-file input.

Signed-off-by: Chris Lamb <lamby@debian.org>

lintian YAML has a "lintian" root element.

Signed-off-by: Chris Lamb <lamby@debian.org>

old

removing a check against an AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAANCIENT dpkg version

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Close sourcefile.

Signed-off-by: Chris Lamb <lamby@debian.org>

Dedent again by returning if lintian doesn't return any content.

Signed-off-by: Chris Lamb <lamby@debian.org>

Return all the lintian-related rejections, not just the first one.

Signed-off-by: Chris Lamb <lamby@debian.org>

It's called 'next', not 'continue'. =)

Signed-off-by: Chris Lamb <lamby@debian.org>

Dedent again by using continue.

Signed-off-by: Chris Lamb <lamby@debian.org>

Remove one level of indentation by using continue

Signed-off-by: Chris Lamb <lamby@debian.org>

Simple check for lintian regex

use the id, not the object

Signed-off-by: Mark Hymers <mhy@debian.org>

Use set() instead of Perlesque hash[key] = 1

Signed-off-by: Chris Lamb <lamby@debian.org>

add regex import

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge branch 'merge'

* merge:
  clean-suites: Remove trailing whitespace
  clean-suites: Fix logic error in during source cleaning
  clean-suites: Fix SQLA usage
  Fix SQL syntax errors
  clean-suites: Use utils.warn for warnings about orphaned files
  clean-suites: Add proper logging
  daklog: Add username in every log line

Merge commit 'djpig/djpig' into merge

* commit 'djpig/djpig':
  clean-suites: Remove trailing whitespace
  clean-suites: Fix logic error in during source cleaning
  clean-suites: Fix SQLA usage
  Fix SQL syntax errors
  clean-suites: Use utils.warn for warnings about orphaned files
  clean-suites: Add proper logging
  daklog: Add username in every log line

Signed-off-by: Joerg Jaspert <joerg@debian.org>

clean-suites: Remove trailing whitespace

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Remove unused imports from daklib.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge branch 'merge'

* merge:
  Monkeypatch commands.getstatusoutput to work around Python Popen issue.
  drop unused imports

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Monkeypatch commands.getstatusoutput to work around Python Popen issue.
  drop unused imports

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use more Pythonic "".join over str.join

Monkeypatch commands.getstatusoutput to work around Python Popen issue.

Signed-off-by: Chris Lamb <lamby@debian.org>

drop unused imports

Signed-off-by: Chris Lamb <lamby@debian.org>

file -> f

Signed-off-by: Mark Hymers <mhy@debian.org>

we're already in the changes object

Signed-off-by: Mark Hymers <mhy@debian.org>

use isinstance

Signed-off-by: Mark Hymers <mhy@debian.org>

fixup

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  If positional argument is None, modify it.s

Signed-off-by: Joerg Jaspert <joerg@debian.org>

If positional argument is None, modify it.s

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  If None is passed in.
  let there be referential integrity

Signed-off-by: Joerg Jaspert <joerg@debian.org>

If None is passed in.

Signed-off-by: Chris Lamb <lamby@debian.org>

let there be referential integrity

Signed-off-by: Mark Hymers <mhy@debian.org>

clean-suites: Fix logic error in during source cleaning

We need to remove all the entries in dsc_files(sic) for a given
source before we can remove the source.

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla':
  Add missing for loop.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add missing for loop.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla':
  This is SQL, not Python.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

This is SQL, not Python.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla':
  Use the format id. not its name.
  Interpolate values properly.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use the format id. not its name.

Signed-off-by: Chris Lamb <lamby@debian.org>

Interpolate values properly.

Signed-off-by: Chris Lamb <lamby@debian.org>