retry backend open, log diagnostics

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@299 d4fa192b-c00b-0410-8231-f00ffab90ce4

load VCL earlier

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@298 d4fa192b-c00b-0410-8231-f00ffab90ce4

Lock with a mutex

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@297 d4fa192b-c00b-0410-8231-f00ffab90ce4

Shorter sleeps:  1s -> 50msec

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@296 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix off by one error during wraparound.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@295 d4fa192b-c00b-0410-8231-f00ffab90ce4

Correct the Connection header, and add ability to perform HEAD requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@294 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add some comments.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@293 d4fa192b-c00b-0410-8231-f00ffab90ce4

Stuff we use for testing.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@292 d4fa192b-c00b-0410-8231-f00ffab90ce4

Close non HTTP/1.1 request connections

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@291 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add missing '%'

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@290 d4fa192b-c00b-0410-8231-f00ffab90ce4

My workaround for the missing OFF_T_MAX definition was not safe,
use a hardcoded "1<<30" which is.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@289 d4fa192b-c00b-0410-8231-f00ffab90ce4

I have grumbled about the evilness of "current_base" before, and this just
proves the point:  If two threads call event_init() at the same time,
they will both stomp on the same memory via current_base, and in all
likelyhood, neither of them will manage to get the job done properly.

Instead work on a local variable and don't assign to current_base
until the setup is complete.

This should be submitted to Niels Provos

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@288 d4fa192b-c00b-0410-8231-f00ffab90ce4

Handle IPv6 address -> string conversion too

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@287 d4fa192b-c00b-0410-8231-f00ffab90ce4

Close race condition

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@286 d4fa192b-c00b-0410-8231-f00ffab90ce4

Better arg checking

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@285 d4fa192b-c00b-0410-8231-f00ffab90ce4

more asserts

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@284 d4fa192b-c00b-0410-8231-f00ffab90ce4

avoid const poison

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@283 d4fa192b-c00b-0410-8231-f00ffab90ce4

Include pthread.h

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@282 d4fa192b-c00b-0410-8231-f00ffab90ce4

s/unsigned/size_t/

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@281 d4fa192b-c00b-0410-8231-f00ffab90ce4

s/init/start/

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@280 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add another hash-method with better real-world survival chances: A classic
bucketed hash table of lists.  Hash is MD5.  Number of buckets and number
of mutexes can be configured at command line.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@279 d4fa192b-c00b-0410-8231-f00ffab90ce4

Replace --enable-wall and --enable-pedantic with --enable-developer-warnings,
which is roughly equivalent to FreeBSD's WARNS level 5 or 6.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@278 d4fa192b-c00b-0410-8231-f00ffab90ce4

Mark more headers as not end-to-end

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@277 d4fa192b-c00b-0410-8231-f00ffab90ce4

Forgot to add shmlog.c (reminded by des@)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@276 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add TAILQ_FOREACH_SAFE()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@275 d4fa192b-c00b-0410-8231-f00ffab90ce4

move all policy to rfc2616.c

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@274 d4fa192b-c00b-0410-8231-f00ffab90ce4

Consistently use our own copy of queue.h.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@273 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix object length double accounting in chunked fetch

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@272 d4fa192b-c00b-0410-8231-f00ffab90ce4

Delete compiled VCL file after we tried to load it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@271 d4fa192b-c00b-0410-8231-f00ffab90ce4

Log objects banned to shmlog

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@270 d4fa192b-c00b-0410-8231-f00ffab90ce4

Track objects heap-position

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@269 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add the ability to instantly ban/purge all cached objects matching
a given regexp.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@268 d4fa192b-c00b-0410-8231-f00ffab90ce4

Improve shm-logging of VCL activity

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@267 d4fa192b-c00b-0410-8231-f00ffab90ce4

Tag objects with their origin session xid and log it when we clean up.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@266 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a unique transaction-ID to each request, and register it in the
shmlog so we can match backend transactions with client transactions.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@265 d4fa192b-c00b-0410-8231-f00ffab90ce4

Convince flexelint that we know what we do with some asserts

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@264 d4fa192b-c00b-0410-8231-f00ffab90ce4

Put a mutex around the shmlog writes, I've seen my first race.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@263 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a -o argument which sorts the log into transactions before output,
this is a fair bit easier to chew through than the raw log (the default)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@262 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use shmlog api from libvarnishapi

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@261 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use SHMLOG api in libvarnishapi

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@260 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add SHMLOG opening and walking functions to libvarnishapi

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@259 d4fa192b-c00b-0410-8231-f00ffab90ce4

Be more consistent about which headers we send back.

Start 5 threads in the worker pool.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@258 d4fa192b-c00b-0410-8231-f00ffab90ce4

Construct our own Content-length header, no matter which of the
three (straight, chunked, eof) modes we used to fetch the object.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@257 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't finish the sbuf in mode 3

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@256 d4fa192b-c00b-0410-8231-f00ffab90ce4

Assert that the lengths of the storage for the object add up.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@255 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't pass Content-Lenght through, we build it ourselves

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@254 d4fa192b-c00b-0410-8231-f00ffab90ce4

Pass fd to shmemlog

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@253 d4fa192b-c00b-0410-8231-f00ffab90ce4

add tag for generated headers

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@252 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't pass If-* headers to backend

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@251 d4fa192b-c00b-0410-8231-f00ffab90ce4

Apply correct fd in Shmemlog

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@250 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix buglets, include test-driver.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@249 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give varnishstat a "-c" option to use curses to continously refresh

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@248 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add varnishstat program

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@247 d4fa192b-c00b-0410-8231-f00ffab90ce4

304's don't have a body

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@246 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement ->trim()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@245 d4fa192b-c00b-0410-8231-f00ffab90ce4

More stats counters

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@244 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add statistics counter support.

stat_field.h defines the counter fields with name, type, (printf)format
and description.

stats.h defines a structure with these fields.

shmlog.h makes the structure  part of the shared memory logs header.

Implent the "stats" CLI word in the management process.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@243 d4fa192b-c00b-0410-8231-f00ffab90ce4

Call VCL to decide discard/prefetch for near-expiry objects.

Put discard objects on deathrow where they will be culled from
in sequence.

(prefetch not implemented yet)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@242 d4fa192b-c00b-0410-8231-f00ffab90ce4

A temporary hack to deal with very old Date: headers until we figure
out what's going on.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@241 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement HTTP/1.0 style fetching.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@240 d4fa192b-c00b-0410-8231-f00ffab90ce4

Another little tweak

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@239 d4fa192b-c00b-0410-8231-f00ffab90ce4

Dump numeric handling also, until we figure out trouble.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@238 d4fa192b-c00b-0410-8231-f00ffab90ce4

typo

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@237 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make this work again: record the stevedore in the storage object.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@236 d4fa192b-c00b-0410-8231-f00ffab90ce4

Start releasing objects when they expire

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@235 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move a bit more responsibility into the hash-slinger to get a cleaner
interface.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@234 d4fa192b-c00b-0410-8231-f00ffab90ce4

Now that we approach the time where objects have to be destroyed again,
we need to move the data structures into the right shape.

Push hashing into cache_hash.c

Add objhead structure to hold the various hits for "Vary:" headers.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@233 d4fa192b-c00b-0410-8231-f00ffab90ce4

A little bit more work on the expiry/prefetch thing.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@232 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use ttl=0 as a "invalid TTL" flag.

Mark objects with ttl=0 uncachable.

Add cacheable objects to the expiry heap

Start an expiry thread which polls the root element once per second

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@231 d4fa192b-c00b-0410-8231-f00ffab90ce4

Truncate TTLs in the past to now.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@230 d4fa192b-c00b-0410-8231-f00ffab90ce4

Autogenerate prototypes for method calling functions

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@229 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a "timeout" method to VCL, it can return "fetch" or "discard".

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@228 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a token type "METHOD", we use it for reference counting.

Add a reference to the first backend {} we encounter, it is the default.
Add a reference to all backends assigned explicitly.
Add a reference to all methods.

Enable reference check, complain if: backend, function or acl is defined
but not used, or used but not defined.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@227 d4fa192b-c00b-0410-8231-f00ffab90ce4

Collapse multiline Fc and Fh calls where they fit

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@226 d4fa192b-c00b-0410-8231-f00ffab90ce4

More printf sanitation:  Create to convenience functions for output to the
fh and fc sbufs.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@225 d4fa192b-c00b-0410-8231-f00ffab90ce4

Cave in and use printf format extensions for printing tokens.
Both Linux and FreeBSD supports them anyway.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@224 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add more shmemlog tags:
one for each VCL method to record the return
one for errors
one for linking a client session to a backend connection
Use them sensibly.
Put VCL name of backend into struct backend to improve log messages

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@223 d4fa192b-c00b-0410-8231-f00ffab90ce4

Improve the VCL compiler in various ways:

Generate the methods and their legal returns with the tcl script.

Add consistency checks to make sure methods don't use illegal returns,
and also check called subrourtines.

Add consistency check to complain about recursive subroutine calls.

Add consistency check to complain about unused or undefined subroutines.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@222 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add (empty) source file for expiry/pretech code

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@221 d4fa192b-c00b-0410-8231-f00ffab90ce4

Start to respect TTL

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@220 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add "-t default_ttl" option.  120 seconds by default.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@219 d4fa192b-c00b-0410-8231-f00ffab90ce4

Quench some debugging

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@218 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a binary heap implementation for keeping track of objects expiry time.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@217 d4fa192b-c00b-0410-8231-f00ffab90ce4

typo

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@216 d4fa192b-c00b-0410-8231-f00ffab90ce4

FlexeLint files

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@215 d4fa192b-c00b-0410-8231-f00ffab90ce4

FlexeLint cleanups

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@214 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish things to silence FlexeLint a bit

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@213 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename vcl_lang.h to vcl.h and include practically nowhere.

Remove #include bogohandling in vcl_gen_fixed_token.tcl

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@212 d4fa192b-c00b-0410-8231-f00ffab90ce4

At the expense of some complexity and a small runtime overhead,
isolate the compiled code from the internal structures of the cache
process through of VRT functions.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@211 d4fa192b-c00b-0410-8231-f00ffab90ce4

Work towards making struct sess opaque to the generated code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@210 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename the VCL compilers public functions to VCC prefix

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@209 d4fa192b-c00b-0410-8231-f00ffab90ce4

Get rid of VCL_FARGS and VCL_PASS_ARGS macros.

Generate VGC prefixes instead of VCL.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@208 d4fa192b-c00b-0410-8231-f00ffab90ce4

Start putting some structure in the sources relating to VCL handling:

Split the runtime support for compiled varnish programs out and give it the
prefix "VRT".

Start using the prefix "VGC" for generated code.

Prefix "VCC" will be for the compiler and "VCL" for calling the compiled and
loaded functions.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@207 d4fa192b-c00b-0410-8231-f00ffab90ce4

Output line+pos for counts.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@206 d4fa192b-c00b-0410-8231-f00ffab90ce4

Insert a count-point after each conditional.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@205 d4fa192b-c00b-0410-8231-f00ffab90ce4

Get the sense of string compares right.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@204 d4fa192b-c00b-0410-8231-f00ffab90ce4

debug printf for max-age

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@203 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement req.request properly

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@202 d4fa192b-c00b-0410-8231-f00ffab90ce4

Pass if we spot an Authenticate or Cookie header

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@201 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add VCL function for getting HTTP header

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@200 d4fa192b-c00b-0410-8231-f00ffab90ce4