Pass a txt instead of the raw storage into the esi_parser

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2274 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the incmt and remflg persistent across the parse chunks

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2273 d4fa192b-c00b-0410-8231-f00ffab90ce4

Many of our assertions have side effects, so the condition needs to be
evaluated even if we don't bother to check the result.  We should trust
the compiler to eliminate code that has no effect.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2272 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix some style issues, and harmonize with varnishncsa(1).

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2271 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make SIGHUP work: VSL_Dispatch() will not return as long as it has data
to feed to h_ncsa(), so it is up to h_ncsa() to interrupt it if reopen
is non-zero.

Also remove a superfluous call to VSL_Arg() as was previously done in
varnishlog(1).

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2270 d4fa192b-c00b-0410-8231-f00ffab90ce4

Also accept deferred EBADF errors.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2269 d4fa192b-c00b-0410-8231-f00ffab90ce4

Handle that the sessions may be killed the worker thread before
we get around to delete the kevent.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2268 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use a bitmap to check if we own a given file handle, before we
do anything about the associated session.

May be relevant relative to: #162

(Bitmap functions slightly general, for possible later reuse)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2267 d4fa192b-c00b-0410-8231-f00ffab90ce4

Simplify the generation of error responses.

Don't take a detour around cache_response.c, go directly to
cache_synthetic.c.

Don't wast time and energy mucking about with pseudo-objects,
just synthesize the error body directly in the workspace and
send it from there.

Close the session after sending error response, freeing up
resources sounds like a good strategy. (XXX: for futher study).

This might be related to #167

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2266 d4fa192b-c00b-0410-8231-f00ffab90ce4

We should never have an object when we hit the error state.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2265 d4fa192b-c00b-0410-8231-f00ffab90ce4

When closing a backend connection, we can run into a ECONNRESET which
given circumstances is fair game.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2264 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add some asserts to the plumbing around the C-compiler invocation.

Collect any messages from the C-compiler and pass them on to the
user, but do not take them as evidence of a failed compilation,
check the returnvalue for that.

To avoid confusion, explicitly say when the VCL program was compiled.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2263 d4fa192b-c00b-0410-8231-f00ffab90ce4

Change the assert() that triggers in #167 to spassert().

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2255 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bigger hammer: panic() is similar to lbv_assert() but takes a struct sess *
from which it tries to extract as much useful information as possible before
it croaks.  The corresponding macro is spassert(), which assumes you have
a struct sess *sp in scope.  This should help a lot with bugs like #167
where important information is not available post-mortem (because sp->obj
points into the cache, which is not included in the core dump)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2254 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a VALID_OBJ() predicate macro.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2253 d4fa192b-c00b-0410-8231-f00ffab90ce4

Whitespace cleanup

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2252 d4fa192b-c00b-0410-8231-f00ffab90ce4

Forgot to commit this when vtmpfile.c was added.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2251 d4fa192b-c00b-0410-8231-f00ffab90ce4

Clean up the code a bit, and warn the user when changing a parameter that
requires the child to be restarted or the VCL script to be reloaded.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2250 d4fa192b-c00b-0410-8231-f00ffab90ce4

Significant rewrite of the code used to invoke the C compiler.  The most
important functional change is that the source is no longer piped to the
compiler; instead, the source file name (which now ends in .c) is passed
on the command line.  This makes it *much* easier to support non-GNU
compilers.

The cc_command parameter processed by a custom function instead of sprintf;
"%s" is replaced with the source file name, "%o" is replaced with the output
file name, and "%%" is replaced with a single "%".

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2249 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add our own mkstemp(3) clone which allows the template to contain non-
placeholder characters after the placeholders.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2248 d4fa192b-c00b-0410-8231-f00ffab90ce4

Whitespace cleanup.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2247 d4fa192b-c00b-0410-8231-f00ffab90ce4

When diagnostics are enabled, log every kevent that has a session associated
with it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2246 d4fa192b-c00b-0410-8231-f00ffab90ce4

Ignore config.cache.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2243 d4fa192b-c00b-0410-8231-f00ffab90ce4

Nit

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2242 d4fa192b-c00b-0410-8231-f00ffab90ce4

Minimal intervention fix for #162: we can delay arming a kevent, but we
can't delay disarming it, or we will have a race between the acceptor and
a worker thread.  This will need revisiting at some later date.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2232 d4fa192b-c00b-0410-8231-f00ffab90ce4

Pressing 0-9 will change the delay to the corresponding power of two (e.g.
press 3 for 2^3 = 8 seconds)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2231 d4fa192b-c00b-0410-8231-f00ffab90ce4

Copy&paste -D (daemonize) from varnishlog.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2230 d4fa192b-c00b-0410-8231-f00ffab90ce4

Pick some nits.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2229 d4fa192b-c00b-0410-8231-f00ffab90ce4

Typo in previous commit.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2228 d4fa192b-c00b-0410-8231-f00ffab90ce4

Test whether SO_{RCV,SND}TIMEO work (they are defined but unimplemented
on Solaris, so simply checking for their presence is not enough)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2227 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix the struct statvfs issue.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2226 d4fa192b-c00b-0410-8231-f00ffab90ce4

Header cleanup.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2225 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't rely on non-portable <paths.h>

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2224 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add missing <strings.h>

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2223 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add Solaris support.  Avoid kshisms.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2222 d4fa192b-c00b-0410-8231-f00ffab90ce4

Refine the debugging string: we don't really need the XID, but we do need
the thread ID in order to locate the correct thread in gdb.  Furthermore,
we must use VSL rather than WSL since the session might actually not have
a worker at that point; but if it does, make sure to flush the log first.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2220 d4fa192b-c00b-0410-8231-f00ffab90ce4

When DIAGNOSTICS is defined, log every step that each session goes through,
along with some vital statistics, and flush the log regularly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2215 d4fa192b-c00b-0410-8231-f00ffab90ce4

r2208 was correct but incomplete.  It is possible for a session to reach
cnt_done() without a VCL reference, if we never got a request on that
connection.  However, a session that reaches cnt_again() will never have
a VCL reference, so the assertion there is incorrect.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2214 d4fa192b-c00b-0410-8231-f00ffab90ce4

Simplify WS_DEBUG(), and make it conditional on DIAGNOSTICS.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2213 d4fa192b-c00b-0410-8231-f00ffab90ce4

Enable diagnostics

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2212 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add an --enable-diagnostics option which causes DIAGNOSTICS to be defined.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2211 d4fa192b-c00b-0410-8231-f00ffab90ce4

Revert r2208, I believe the assert is correct.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2210 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use pdiff()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2209 d4fa192b-c00b-0410-8231-f00ffab90ce4

AFAICT, it is perfectly valid for sp->vcl to be NULL here.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2208 d4fa192b-c00b-0410-8231-f00ffab90ce4

Incomplete change log for 1.1.2

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2207 d4fa192b-c00b-0410-8231-f00ffab90ce4

Comment tweak

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2206 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use a cast to prevent sign extension instead of masking it off after the fact.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2193 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add more paranoia

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2190 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give struct ws the mini_obj treatment, not sure why I didn't before.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2189 d4fa192b-c00b-0410-8231-f00ffab90ce4

Typo in previous commit.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2188 d4fa192b-c00b-0410-8231-f00ffab90ce4

More checks, trying to find pointer tango

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2187 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make bereq. available from vcl_fetch()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2186 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement relative URL for esi:include.  Use the bereq.url as
starting point, since req.url may have been rewritten underway.
Store result in objects workspace.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2185 d4fa192b-c00b-0410-8231-f00ffab90ce4

Postpone freeing the bereq until after VCL_fetch() has been called

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2184 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give workspaces an identifying string to aid debugging.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2183 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add compile-time selectable SHMlogging of WS-activity

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2182 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remember to reset te bereq's workspace after use.

NB: This should be merged back to 1.1

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2181 d4fa192b-c00b-0410-8231-f00ffab90ce4

Mask negative characters to 8 bit before formatting.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2180 d4fa192b-c00b-0410-8231-f00ffab90ce4

If we find no ESI elements of an object, don't penalize it with ESI's
chunked delivery.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2179 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't complain about unrecognized <! sequences, just treat them like
any other <...>

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2178 d4fa192b-c00b-0410-8231-f00ffab90ce4

Issue an VCL_error if 'esi' is not used from vcl_fetch.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2177 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give VRT code a chance to see which method we are in.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2176 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a VCL_error shmtag

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2175 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix file list.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2173 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't mess up the chunked encoding for nested esi:include

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2172 d4fa192b-c00b-0410-8231-f00ffab90ce4

More ESI work, now full URL srcs (http://...) work in addition to
absolute src ("/...").  Relative src's coming up next, once I find
out where to store the edited string.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2171 d4fa192b-c00b-0410-8231-f00ffab90ce4

Push hole through the esi:include path, making a very trivial example
work fully, leaving a trail of XXX and other devastation:

Add an esi nesting counter to the session.

Teach RES_WriteObj() to send an object as a chunk in chunked encoding.

Bail cnt_done() early for nested ESI transactions.

Catch the src="" attribute in esi:include and store it in the esibit.

In ESI_Deliver(), recurse into CNT_Session(STP_RECV) in order to handle
the include element of an esibit.

Recursion is probably not the ideal solution here, but it might quite
conceiveably be the best one, since it is quite cheap and very trivial.

Outstanding issues: too many to list still.

The following example worked for me:

<html>
<body>
<pre>
<esi:include src="/esi.txt"/>
</pre>
</body>
</html>

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2170 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add attribute parsing

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2169 d4fa192b-c00b-0410-8231-f00ffab90ce4

Split STP_RECV in two:

STP_START is the initial setup of a viable workerthread:  Dissecting
HTTP, getting vcl reference etc.

STP_RECV is invoking vcl_recv() and following orders.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2168 d4fa192b-c00b-0410-8231-f00ffab90ce4

Gently shuffle closer to being able to restart a esi:include on the next
element:

Add two checkpoints for the sessions workspace.

The first checkpoint is after the session fixed data, and move the
client address and port to workspace to see that this works.

The second checkpoint is after the, as received unadultered by VCL
http request.  Grab a copy of the http request matching this.

Implement rollback as an optional feature of restart in VCL.

Move various workspace initialization and resetting operations to more
suitable locations in the program flow.

I don't know if this is really usable, but now it's possible to do:

backend b1 {
set backend.host = "backend1";
set backend.port = "80";
}

backend b2 {
set backend.host = "backend2";
set backend.port = "80";
}

sub vcl_recv {
set req.backend = b1;
remove req.http.cookie;

if (req.restarts == 0) {
set req.url = "foobar.html";
} else {
set req.backend = b2;
}
}

sub vcl_fetch {
if (obj.status != 200) {
restart rollback;
}
}

And have it first look for "foobar.html" on one backend, and failing
that, try to give the user what they asked for from the other backend.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2167 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a WS_Dup() function

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2166 d4fa192b-c00b-0410-8231-f00ffab90ce4

Check for a negative return from HTC_Rx().  Probably needs revisiting.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2162 d4fa192b-c00b-0410-8231-f00ffab90ce4

Supply reasonable defaults for error code / reason.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2161 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a test case for the root cause of #164, which is that the backend sends
a garbled response (or no response at all).

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2160 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a test case for the root cause of #164, which is that the backend sends
a garbled response (or no response at all).

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2159 d4fa192b-c00b-0410-8231-f00ffab90ce4

Quench a pointless sigchild warning

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2157 d4fa192b-c00b-0410-8231-f00ffab90ce4

Evaluate ${localstatedir} later.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2154 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't assert that close() returns 0, it won't when the remote end closes
the connection first.  This fixes #168.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2153 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't try to interpret the status code when we know the response is invalid.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2151 d4fa192b-c00b-0410-8231-f00ffab90ce4

Re-add Solaris support which was removed in r1465.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2133 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add error message.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2131 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use an 8 kB stack buffer instead of a heap buffer.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2130 d4fa192b-c00b-0410-8231-f00ffab90ce4

When testing pipelined POST requests, send enough data to actually exercise
request copying loop.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2129 d4fa192b-c00b-0410-8231-f00ffab90ce4

The framework bugs which used to affect this test case have long since
been fixed, so remove the workarounds.  Also stop testing things which
are not intended to work.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2128 d4fa192b-c00b-0410-8231-f00ffab90ce4

Also test pipelining of POST requests (in pass mode)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2127 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move malloc() / free() out of the loop, and plug a leak.  Ideally, we
shouldn't need to malloc() / free() at all, but I don't have time to
figure out how to avoid it right now.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2126 d4fa192b-c00b-0410-8231-f00ffab90ce4

Simplify

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2125 d4fa192b-c00b-0410-8231-f00ffab90ce4

Style & whitespace

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2124 d4fa192b-c00b-0410-8231-f00ffab90ce4

Improved handling of pass for POST requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2123 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix pipelining: don't expect the fd to become readable before we
look for complete requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2122 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make ESI processing actually work.

So far we support only the <esi:remove> element.

All other <esi:...> elements are ignored.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2121 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a regression test for pipelining, which is currently broken in trunk.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2120 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a missing wait().

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2119 d4fa192b-c00b-0410-8231-f00ffab90ce4

Separate the act of sending a request from that of receiving a response.
This (along with earlier changes to the client code) allows us to send
multiple requests, then receive the responses in order.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2118 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make VARNISH_STATE_DIR work correctly when using the default prefix.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2116 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make pass mode work for POST requests. Solves ticket #47.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2115 d4fa192b-c00b-0410-8231-f00ffab90ce4

Revert previous change and fix the comment that explains why it has to be
the way it is.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2114 d4fa192b-c00b-0410-8231-f00ffab90ce4

Run the passPOST test first.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2113 d4fa192b-c00b-0410-8231-f00ffab90ce4

I like code that compiles

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2111 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add error messages from the XML/ESI parser

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2110 d4fa192b-c00b-0410-8231-f00ffab90ce4