Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  dont fail on every p-a .deb rescan
  more verbose logging

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dont fail on every p-a .deb rescan

Signed-off-by: Mike O'Connor <stew@vireo.org>

more verbose logging

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  OOPS rollback, not commit, dummy
  handle unable to scan contents with a dak exception

Signed-off-by: Joerg Jaspert <joerg@debian.org>

OOPS rollback, not commit, dummy

Signed-off-by: Mike O'Connor <stew@vireo.org>

handle unable to scan contents with a dak exception

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  result unassigned
  print error immediately

Signed-off-by: Joerg Jaspert <joerg@debian.org>

result unassigned

Signed-off-by: Mike O'Connor <stew@vireo.org>

print error immediately

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  fail on first error in scan_package

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fail on first error in scan_package

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  fail on first error in valid_deb
  full path to deb to copy_pending_contents

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fail on first error in valid_deb

Signed-off-by: Mike O'Connor <stew@vireo.org>

full path to deb to copy_pending_contents

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  oops reject still broken

Signed-off-by: Joerg Jaspert <joerg@debian.org>

oops reject still broken

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  fix database.py to use Binary.scan_package() when contents are missing

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix database.py to use Binary.scan_package() when contents are missing

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  add import dbconn to database.py

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add import dbconn to database.py

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  Subst->subst
  import utils
  add import utils to top of database.py

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into content_generation

Subst->subst

Signed-off-by: Mike O'Connor <stew@vireo.org>

import utils

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add import utils to top of database.py

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  wait, some of those weren't prepare
  prepare statements only once

Signed-off-by: Joerg Jaspert <joerg@debian.org>

wait, some of those weren't prepare

Signed-off-by: Mike O'Connor <stew@vireo.org>

prepare statements only once

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  fix for python-debian deb822 generator wierdness

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix for python-debian deb822 generator wierdness

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge branch 'merge'

* merge:
  fix utils.temp_directory

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  fix utils.temp_directory

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix utils.temp_directory

Signed-off-by: Mike O'Connor <stew@vireo.org>

dak.conf

for now the output goes to a different directory

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  new arch specific contents files; get override type id from database instead of hardcoded
  make p-u use the new utils.temp_dirname() method
  don't import tempfile in contents.py
  move mkdtmp to utils.temp_directory
  Revert "Revert "Merge commit 'stew/content_generation' into merge""
  fixing Binary.reject.  adding better logging when we get an error in contents insertion
  back to ./ for tarballs
  get contents branch working with etch era pacakges

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  new arch specific contents files; get override type id from database instead of hardcoded
  make p-u use the new utils.temp_dirname() method
  don't import tempfile in contents.py
  move mkdtmp to utils.temp_directory
  Revert "Revert "Merge commit 'stew/content_generation' into merge""
  fixing Binary.reject.  adding better logging when we get an error in contents insertion
  back to ./ for tarballs
  get contents branch working with etch era pacakges

Signed-off-by: Joerg Jaspert <joerg@debian.org>

new arch specific contents files; get override type id from database instead of hardcoded

Signed-off-by: Mike O'Connor <stew@vireo.org>

stew stew

is all stews fault! :)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make p-u use the new utils.temp_dirname() method

Signed-off-by: Mike O'Connor <stew@vireo.org>

don't import tempfile in contents.py

Signed-off-by: Mike O'Connor <stew@vireo.org>

move mkdtmp to utils.temp_directory

Signed-off-by: Mike O'Connor <stew@vireo.org>

merge from master

Signed-off-by: Mike O'Connor <stew@vireo.org>

Revert "Revert "Merge commit 'stew/content_generation' into merge""

reverting the reverting of the merge of content_generation so we can merge again

This reverts commit aa63ea6814c83460abc4417f52ffdf5232431dd6.

Merge commit 'stew/master' into merge

* commit 'stew/master':
  stew is a bad speller.  fixing 'retrieve'

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fixing Binary.reject.  adding better logging when we get an error in contents insertion

Signed-off-by: Mike O'Connor <stew@vireo.org>

back to ./ for tarballs

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge branch 'master' of https://ftp-master.debian.org/git/dak

dinstall

merkel switches from katie to dak. finally.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

http://ftp-master.debian.org/rss/removals.rss - Fix quoting problem with <pre>

Using qq[&lt;pre&gt;$body&lt;/pre&gt;] produces "&#x26;lt;pre&#x26;gt;"
which seems to broken inside RSS readers. If the result looks like
"&lt;pre&gt;" then it seems to work fine.

Signed-off-by: Michael Prokop <mika@grml.org>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

use an own onerror function sending a mail about the failure of dinstall.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

remove some more tabs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

remove old logfile mailing

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

use maillogfile
(and remove tabs)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

new function maillogfile

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

ignore bts errors

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

add testingsourcelist, a list thats used by bpo for version checks.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

stew is a bad speller.  fixing 'retrieve'

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'stew/master' into merge

* commit 'stew/master':
  trap error from python-btsutils

Signed-off-by: Joerg Jaspert <joerg@debian.org>

trap error from python-btsutils

dak-dev

dont cat the current db dump

Signed-off-by: Joerg Jaspert <joerg@debian.org>

metapackage

add a start of a metapackage to give to DSA, so they can easily keep things we
need installed.

Two things:

 - this could be splitted in a "ftpmaster-common" (meaning "that is needed at least to
   get a dak running") and "ftpmaster-$release" (meaning "all we also need before we
   do any work) package
 - This is not yet checked for completness, but its a good start.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

db

also export roles.
daily dump the dak-dev projectb and recreate it from the postdump.
also sync the global stuff from dak to dakdev.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  temporarily remove p-u from version checking

Signed-off-by: Joerg Jaspert <joerg@debian.org>

this sucks

we do need the postgres connection. THIS OLD CODE SUCKS BIG TIME.
WHO THE FUCK CREATES A DATABASE "MODUL" AND THEN STILL DOES ALL
THE DATABASE LOGIC (INCL CONNECTING) IN ALL THOSE TONS OF OTHER
FILES? PLEASE DIE.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

pdiff

use the architectures from the database

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'ftpmaster/master'

p-u-new/o-p-u-new

dont read in all changes files for (o-)p-u-new

Signed-off-by: Joerg Jaspert <joerg@debian.org>

syck -> yaml

remove the syck module, use yaml instead

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n

a few docstrings.

Also use utils.get_changes_files if none are given at commandline.
Which also cd's to the right directory.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

release files

also list the Contents files.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

get contents branch working with etch era pacakges

* old tarfile doens't know that ./contents is the same as contents
* add parameter types to PREPARE statements (needed for pg 8.1)

Signed-off-by: Mike O'Connor <stew@vireo.org>

dak.conf

use a special envelope@ address for all mail generated from us.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'origin/master'

Revert "Merge commit 'stew/content_generation' into merge"

This reverts commit 2ae7b715431fed62b6a619e6d1b027d919da1070.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "for the time we test, modify the path to a non-world-visible one"

This reverts commit c1941b0e15102d43a286c7b634b275f32259130d.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "Merge branch 'merge'"

This reverts commit a1e87687d8e78a910fedf1e90830d7882a22a555.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "Merge branch 'merge'"

This reverts commit 16f020f22ddc10b88ee076f2ac86d33cbc7769e5.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  get rid of finally:

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  get rid of finally:

Signed-off-by: Joerg Jaspert <joerg@debian.org>

get rid of finally:

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge branch 'merge'

* merge:
  replace Config DBConn module names with lowercase

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation':
  replace Config DBConn module names with lowercase

Signed-off-by: Joerg Jaspert <joerg@debian.org>

replace Config DBConn module names with lowercase

Signed-off-by: Mike O'Connor <stew@vireo.org>

for the time we test, modify the path to a non-world-visible one

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation': (35 commits)
  spalling fix, get rid of extra import in utils.py
  allow contents files to be written to an alternate location
  another fix to bootstrap, and get rid of 'fetchall'
  get bootstrap working again
  stop setting the db connection to latin1
  insert files, not dirs
  cant delete it after i set it to null, dummy
  use get_suite_architectures from dbconn.py instead of database.py
  fix misspelling cleanup() -> _cleanup()
  forgot to update config, get rid of incorrect warning
  stupid bad merge syntax error
  better cleanup of temporary files, consolidate some repeated code
  adding back our schema migration as update6
  update header - we always ship compressed contents files
  temp_content_associations -> pending_content_associations
  typo fix
  some spelling changes
  oops, forgot some changes to contents.py
  missing ; in dak.conf
  undoing incorrect changes in dak.conf
  ...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

spalling fix, get rid of extra import in utils.py

Signed-off-by: Mike O'Connor <stew@vireo.org>

temporarily remove p-u from version checking

Signed-off-by: Mark Hymers <mhy@debian.org>

allow contents files to be written to an alternate location

Signed-off-by: Mike O'Connor <stew@vireo.org>

another fix to bootstrap, and get rid of 'fetchall'

Signed-off-by: Mike O'Connor <stew@vireo.org>

get bootstrap working again

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge branch 'master' into content_generation

clean-suites

actually run the prepared query...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

clean-suites

its delete_date, not delete_data

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate-releases

call database.init

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  use database to generate suite_architectures list
  remove debug output
  allow --maximum argument to clean_suites

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use database to generate suite_architectures list

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'ftpmaster/master'

dinstall / reboot

add a first pass of a script intended to restart dinstall after a reboot,
in case it was running right before.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

stop setting the db connection to latin1

Signed-off-by: Mike O'Connor <stew@vireo.org>

insert files, not dirs

Signed-off-by: Mike O'Connor <stew@vireo.org>