1*b1cdbd2cSJim Jagielski /**************************************************************
2*b1cdbd2cSJim Jagielski *
3*b1cdbd2cSJim Jagielski * Licensed to the Apache Software Foundation (ASF) under one
4*b1cdbd2cSJim Jagielski * or more contributor license agreements. See the NOTICE file
5*b1cdbd2cSJim Jagielski * distributed with this work for additional information
6*b1cdbd2cSJim Jagielski * regarding copyright ownership. The ASF licenses this file
7*b1cdbd2cSJim Jagielski * to you under the Apache License, Version 2.0 (the
8*b1cdbd2cSJim Jagielski * "License"); you may not use this file except in compliance
9*b1cdbd2cSJim Jagielski * with the License. You may obtain a copy of the License at
10*b1cdbd2cSJim Jagielski *
11*b1cdbd2cSJim Jagielski * http://www.apache.org/licenses/LICENSE-2.0
12*b1cdbd2cSJim Jagielski *
13*b1cdbd2cSJim Jagielski * Unless required by applicable law or agreed to in writing,
14*b1cdbd2cSJim Jagielski * software distributed under the License is distributed on an
15*b1cdbd2cSJim Jagielski * "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
16*b1cdbd2cSJim Jagielski * KIND, either express or implied. See the License for the
17*b1cdbd2cSJim Jagielski * specific language governing permissions and limitations
18*b1cdbd2cSJim Jagielski * under the License.
19*b1cdbd2cSJim Jagielski *
20*b1cdbd2cSJim Jagielski *************************************************************/
21*b1cdbd2cSJim Jagielski
22*b1cdbd2cSJim Jagielski
23*b1cdbd2cSJim Jagielski
24*b1cdbd2cSJim Jagielski #include "gstframegrabber.hxx"
25*b1cdbd2cSJim Jagielski #include "gstplayer.hxx"
26*b1cdbd2cSJim Jagielski
27*b1cdbd2cSJim Jagielski #include <vcl/graph.hxx>
28*b1cdbd2cSJim Jagielski #include <vcl/bmpacc.hxx>
29*b1cdbd2cSJim Jagielski
30*b1cdbd2cSJim Jagielski #include <string>
31*b1cdbd2cSJim Jagielski
32*b1cdbd2cSJim Jagielski
33*b1cdbd2cSJim Jagielski using namespace ::com::sun::star;
34*b1cdbd2cSJim Jagielski
35*b1cdbd2cSJim Jagielski namespace avmedia { namespace gst {
36*b1cdbd2cSJim Jagielski
37*b1cdbd2cSJim Jagielski const gulong GRAB_TIMEOUT = 10000000;
38*b1cdbd2cSJim Jagielski
39*b1cdbd2cSJim Jagielski // ----------------
40*b1cdbd2cSJim Jagielski // - FrameGrabber -
41*b1cdbd2cSJim Jagielski // ----------------
42*b1cdbd2cSJim Jagielski
FrameGrabber(GString * pURI)43*b1cdbd2cSJim Jagielski FrameGrabber::FrameGrabber( GString* pURI ) :
44*b1cdbd2cSJim Jagielski FrameGrabber_BASE(pURI),
45*b1cdbd2cSJim Jagielski mpFrameMutex( g_mutex_new() ),
46*b1cdbd2cSJim Jagielski mpFrameCond( g_cond_new() ),
47*b1cdbd2cSJim Jagielski mpLastPixbuf( NULL ),
48*b1cdbd2cSJim Jagielski mbIsInGrabMode( false )
49*b1cdbd2cSJim Jagielski {
50*b1cdbd2cSJim Jagielski }
51*b1cdbd2cSJim Jagielski
52*b1cdbd2cSJim Jagielski // ------------------------------------------------------------------------------
53*b1cdbd2cSJim Jagielski
~FrameGrabber()54*b1cdbd2cSJim Jagielski FrameGrabber::~FrameGrabber()
55*b1cdbd2cSJim Jagielski {
56*b1cdbd2cSJim Jagielski if( g_atomic_pointer_get( &mpPlayer ) )
57*b1cdbd2cSJim Jagielski {
58*b1cdbd2cSJim Jagielski implQuitThread();
59*b1cdbd2cSJim Jagielski }
60*b1cdbd2cSJim Jagielski
61*b1cdbd2cSJim Jagielski // thread has ended, so that no more synchronization is necessary
62*b1cdbd2cSJim Jagielski if( mpLastPixbuf )
63*b1cdbd2cSJim Jagielski {
64*b1cdbd2cSJim Jagielski g_object_unref( mpLastPixbuf );
65*b1cdbd2cSJim Jagielski mpLastPixbuf = NULL;
66*b1cdbd2cSJim Jagielski }
67*b1cdbd2cSJim Jagielski
68*b1cdbd2cSJim Jagielski g_cond_free( mpFrameCond );
69*b1cdbd2cSJim Jagielski g_mutex_free( mpFrameMutex );
70*b1cdbd2cSJim Jagielski }
71*b1cdbd2cSJim Jagielski
72*b1cdbd2cSJim Jagielski // ------------------------------------------------------------------------------
73*b1cdbd2cSJim Jagielski
create(const GString * pURI)74*b1cdbd2cSJim Jagielski FrameGrabber* FrameGrabber::create( const GString* pURI )
75*b1cdbd2cSJim Jagielski {
76*b1cdbd2cSJim Jagielski FrameGrabber* pFrameGrabber = NULL;
77*b1cdbd2cSJim Jagielski
78*b1cdbd2cSJim Jagielski if( pURI && pURI->len )
79*b1cdbd2cSJim Jagielski {
80*b1cdbd2cSJim Jagielski // safely initialize GLib threading framework
81*b1cdbd2cSJim Jagielski try
82*b1cdbd2cSJim Jagielski {
83*b1cdbd2cSJim Jagielski if( !g_thread_supported() )
84*b1cdbd2cSJim Jagielski {
85*b1cdbd2cSJim Jagielski g_thread_init( NULL );
86*b1cdbd2cSJim Jagielski }
87*b1cdbd2cSJim Jagielski }
88*b1cdbd2cSJim Jagielski catch( ... )
89*b1cdbd2cSJim Jagielski {}
90*b1cdbd2cSJim Jagielski
91*b1cdbd2cSJim Jagielski if( g_thread_supported() )
92*b1cdbd2cSJim Jagielski {
93*b1cdbd2cSJim Jagielski pFrameGrabber = new FrameGrabber( g_string_new( pURI->str ) );
94*b1cdbd2cSJim Jagielski
95*b1cdbd2cSJim Jagielski // wait until thread signals that it has finished initialization
96*b1cdbd2cSJim Jagielski if( pFrameGrabber->mpThread )
97*b1cdbd2cSJim Jagielski {
98*b1cdbd2cSJim Jagielski g_mutex_lock( pFrameGrabber->mpMutex );
99*b1cdbd2cSJim Jagielski
100*b1cdbd2cSJim Jagielski while( !pFrameGrabber->implIsInitialized() )
101*b1cdbd2cSJim Jagielski {
102*b1cdbd2cSJim Jagielski g_cond_wait( pFrameGrabber->mpCond, pFrameGrabber->mpMutex );
103*b1cdbd2cSJim Jagielski }
104*b1cdbd2cSJim Jagielski
105*b1cdbd2cSJim Jagielski g_mutex_unlock( pFrameGrabber->mpMutex );
106*b1cdbd2cSJim Jagielski }
107*b1cdbd2cSJim Jagielski
108*b1cdbd2cSJim Jagielski GstElement* pPixbufSink = gst_element_factory_make( "gdkpixbufsink", NULL );
109*b1cdbd2cSJim Jagielski
110*b1cdbd2cSJim Jagielski // check if player pipeline and GdkPixbufSink could be initialized
111*b1cdbd2cSJim Jagielski if( !pFrameGrabber->mpPlayer || !pPixbufSink )
112*b1cdbd2cSJim Jagielski {
113*b1cdbd2cSJim Jagielski delete pFrameGrabber;
114*b1cdbd2cSJim Jagielski pFrameGrabber = NULL;
115*b1cdbd2cSJim Jagielski }
116*b1cdbd2cSJim Jagielski else
117*b1cdbd2cSJim Jagielski {
118*b1cdbd2cSJim Jagielski g_object_set( pFrameGrabber->mpPlayer, "audio-sink", gst_element_factory_make( "fakesink", NULL ), NULL );
119*b1cdbd2cSJim Jagielski g_object_set( pFrameGrabber->mpPlayer, "video-sink", pPixbufSink, NULL );
120*b1cdbd2cSJim Jagielski }
121*b1cdbd2cSJim Jagielski }
122*b1cdbd2cSJim Jagielski }
123*b1cdbd2cSJim Jagielski
124*b1cdbd2cSJim Jagielski return( pFrameGrabber );
125*b1cdbd2cSJim Jagielski }
126*b1cdbd2cSJim Jagielski
127*b1cdbd2cSJim Jagielski // ------------------------------------------------------------------------------
128*b1cdbd2cSJim Jagielski
busCallback(GstBus * pBus,GstMessage * pMsg)129*b1cdbd2cSJim Jagielski gboolean FrameGrabber::busCallback( GstBus* pBus, GstMessage* pMsg )
130*b1cdbd2cSJim Jagielski {
131*b1cdbd2cSJim Jagielski bool bDone = false;
132*b1cdbd2cSJim Jagielski
133*b1cdbd2cSJim Jagielski if( pMsg && pMsg->structure )
134*b1cdbd2cSJim Jagielski {
135*b1cdbd2cSJim Jagielski GstStructure* pStruct = pMsg->structure;
136*b1cdbd2cSJim Jagielski const gchar* pStructName = gst_structure_get_name( pStruct );
137*b1cdbd2cSJim Jagielski
138*b1cdbd2cSJim Jagielski if( ( ::std::string( pStructName ).find( "pixbuf" ) != ::std::string::npos ) &&
139*b1cdbd2cSJim Jagielski gst_structure_has_field ( pStruct, "pixbuf") )
140*b1cdbd2cSJim Jagielski {
141*b1cdbd2cSJim Jagielski bool bFrameGrabbed = false;
142*b1cdbd2cSJim Jagielski
143*b1cdbd2cSJim Jagielski g_mutex_lock( mpFrameMutex );
144*b1cdbd2cSJim Jagielski
145*b1cdbd2cSJim Jagielski if( mbIsInGrabMode && ( getMediaTime() >= mfGrabTime ) )
146*b1cdbd2cSJim Jagielski {
147*b1cdbd2cSJim Jagielski OSL_TRACE( "Grabbing frame at %fs", getMediaTime() );
148*b1cdbd2cSJim Jagielski
149*b1cdbd2cSJim Jagielski if( mpLastPixbuf )
150*b1cdbd2cSJim Jagielski {
151*b1cdbd2cSJim Jagielski g_object_unref( mpLastPixbuf );
152*b1cdbd2cSJim Jagielski mpLastPixbuf = NULL;
153*b1cdbd2cSJim Jagielski }
154*b1cdbd2cSJim Jagielski
155*b1cdbd2cSJim Jagielski mpLastPixbuf = GDK_PIXBUF( g_value_dup_object( gst_structure_get_value( pStruct, "pixbuf" ) ) );
156*b1cdbd2cSJim Jagielski bFrameGrabbed = true;
157*b1cdbd2cSJim Jagielski }
158*b1cdbd2cSJim Jagielski
159*b1cdbd2cSJim Jagielski g_mutex_unlock( mpFrameMutex );
160*b1cdbd2cSJim Jagielski
161*b1cdbd2cSJim Jagielski if( bFrameGrabbed )
162*b1cdbd2cSJim Jagielski {
163*b1cdbd2cSJim Jagielski g_cond_signal( mpFrameCond );
164*b1cdbd2cSJim Jagielski }
165*b1cdbd2cSJim Jagielski
166*b1cdbd2cSJim Jagielski bDone = true;
167*b1cdbd2cSJim Jagielski }
168*b1cdbd2cSJim Jagielski }
169*b1cdbd2cSJim Jagielski
170*b1cdbd2cSJim Jagielski return( bDone || Player::busCallback( pBus, pMsg ) );
171*b1cdbd2cSJim Jagielski }
172*b1cdbd2cSJim Jagielski
173*b1cdbd2cSJim Jagielski // ------------------------------------------------------------------------------
174*b1cdbd2cSJim Jagielski
grabFrame(double fMediaTime)175*b1cdbd2cSJim Jagielski uno::Reference< graphic::XGraphic > SAL_CALL FrameGrabber::grabFrame( double fMediaTime )
176*b1cdbd2cSJim Jagielski throw (uno::RuntimeException)
177*b1cdbd2cSJim Jagielski {
178*b1cdbd2cSJim Jagielski uno::Reference< graphic::XGraphic > xRet;
179*b1cdbd2cSJim Jagielski
180*b1cdbd2cSJim Jagielski if( implInitPlayer() )
181*b1cdbd2cSJim Jagielski {
182*b1cdbd2cSJim Jagielski OSL_TRACE( "Trying to grab frame at %fs", fMediaTime );
183*b1cdbd2cSJim Jagielski
184*b1cdbd2cSJim Jagielski GTimeVal aTimeoutTime;
185*b1cdbd2cSJim Jagielski
186*b1cdbd2cSJim Jagielski g_get_current_time( &aTimeoutTime );
187*b1cdbd2cSJim Jagielski g_time_val_add( &aTimeoutTime, GRAB_TIMEOUT );
188*b1cdbd2cSJim Jagielski setMediaTime( fMediaTime );
189*b1cdbd2cSJim Jagielski start();
190*b1cdbd2cSJim Jagielski
191*b1cdbd2cSJim Jagielski if( isPlaying() )
192*b1cdbd2cSJim Jagielski {
193*b1cdbd2cSJim Jagielski g_mutex_lock( mpFrameMutex );
194*b1cdbd2cSJim Jagielski
195*b1cdbd2cSJim Jagielski mbIsInGrabMode = true;
196*b1cdbd2cSJim Jagielski mfGrabTime = fMediaTime;
197*b1cdbd2cSJim Jagielski g_cond_timed_wait( mpFrameCond, mpFrameMutex, &aTimeoutTime );
198*b1cdbd2cSJim Jagielski mbIsInGrabMode = false;
199*b1cdbd2cSJim Jagielski
200*b1cdbd2cSJim Jagielski g_mutex_unlock( mpFrameMutex );
201*b1cdbd2cSJim Jagielski
202*b1cdbd2cSJim Jagielski stop();
203*b1cdbd2cSJim Jagielski }
204*b1cdbd2cSJim Jagielski
205*b1cdbd2cSJim Jagielski OSL_ENSURE( g_atomic_pointer_get( &mpLastPixbuf ), "FrameGrabber timed out without receiving a Pixbuf" );
206*b1cdbd2cSJim Jagielski
207*b1cdbd2cSJim Jagielski if( g_atomic_pointer_get( &mpLastPixbuf ) )
208*b1cdbd2cSJim Jagielski {
209*b1cdbd2cSJim Jagielski OSL_TRACE( "FrameGrabber received a GdkPixbuf");
210*b1cdbd2cSJim Jagielski
211*b1cdbd2cSJim Jagielski g_mutex_lock( mpFrameMutex );
212*b1cdbd2cSJim Jagielski
213*b1cdbd2cSJim Jagielski const int nWidth = gdk_pixbuf_get_width( mpLastPixbuf );
214*b1cdbd2cSJim Jagielski const int nHeight = gdk_pixbuf_get_height( mpLastPixbuf );
215*b1cdbd2cSJim Jagielski const int nChannels = gdk_pixbuf_get_n_channels( mpLastPixbuf );
216*b1cdbd2cSJim Jagielski const guchar* pBuffer = gdk_pixbuf_get_pixels( mpLastPixbuf );
217*b1cdbd2cSJim Jagielski
218*b1cdbd2cSJim Jagielski if( pBuffer && ( nWidth > 0 ) && ( nHeight > 0 ) )
219*b1cdbd2cSJim Jagielski {
220*b1cdbd2cSJim Jagielski Bitmap aFrame( Size( nWidth, nHeight), 24 );
221*b1cdbd2cSJim Jagielski bool bInit = false;
222*b1cdbd2cSJim Jagielski
223*b1cdbd2cSJim Jagielski if( ( gdk_pixbuf_get_colorspace( mpLastPixbuf ) == GDK_COLORSPACE_RGB ) &&
224*b1cdbd2cSJim Jagielski ( nChannels >= 3 ) && ( nChannels <= 4 ) &&
225*b1cdbd2cSJim Jagielski ( gdk_pixbuf_get_bits_per_sample( mpLastPixbuf ) == 8 ) )
226*b1cdbd2cSJim Jagielski {
227*b1cdbd2cSJim Jagielski BitmapWriteAccess* pAcc = aFrame.AcquireWriteAccess();
228*b1cdbd2cSJim Jagielski
229*b1cdbd2cSJim Jagielski if( pAcc )
230*b1cdbd2cSJim Jagielski {
231*b1cdbd2cSJim Jagielski BitmapColor aPixel( 0, 0, 0 );
232*b1cdbd2cSJim Jagielski const int nRowStride = gdk_pixbuf_get_rowstride( mpLastPixbuf );
233*b1cdbd2cSJim Jagielski const bool bAlpha = ( nChannels == 4 );
234*b1cdbd2cSJim Jagielski
235*b1cdbd2cSJim Jagielski for( int nRow = 0; nRow < nHeight; ++nRow )
236*b1cdbd2cSJim Jagielski {
237*b1cdbd2cSJim Jagielski guchar* pCur = const_cast< guchar* >( pBuffer + nRow * nRowStride );
238*b1cdbd2cSJim Jagielski
239*b1cdbd2cSJim Jagielski for( int nCol = 0; nCol < nWidth; ++nCol )
240*b1cdbd2cSJim Jagielski {
241*b1cdbd2cSJim Jagielski aPixel.SetRed( *pCur++ );
242*b1cdbd2cSJim Jagielski aPixel.SetGreen( *pCur++ );
243*b1cdbd2cSJim Jagielski aPixel.SetBlue( *pCur++ );
244*b1cdbd2cSJim Jagielski
245*b1cdbd2cSJim Jagielski // ignore alpha channel
246*b1cdbd2cSJim Jagielski if( bAlpha )
247*b1cdbd2cSJim Jagielski {
248*b1cdbd2cSJim Jagielski ++pCur;
249*b1cdbd2cSJim Jagielski }
250*b1cdbd2cSJim Jagielski
251*b1cdbd2cSJim Jagielski pAcc->SetPixel( nRow, nCol, aPixel );
252*b1cdbd2cSJim Jagielski }
253*b1cdbd2cSJim Jagielski }
254*b1cdbd2cSJim Jagielski
255*b1cdbd2cSJim Jagielski aFrame.ReleaseAccess( pAcc );
256*b1cdbd2cSJim Jagielski bInit = true;
257*b1cdbd2cSJim Jagielski }
258*b1cdbd2cSJim Jagielski }
259*b1cdbd2cSJim Jagielski
260*b1cdbd2cSJim Jagielski if( !bInit )
261*b1cdbd2cSJim Jagielski {
262*b1cdbd2cSJim Jagielski aFrame.Erase( Color( COL_BLACK ) );
263*b1cdbd2cSJim Jagielski }
264*b1cdbd2cSJim Jagielski
265*b1cdbd2cSJim Jagielski xRet = Graphic( aFrame ).GetXGraphic();
266*b1cdbd2cSJim Jagielski }
267*b1cdbd2cSJim Jagielski
268*b1cdbd2cSJim Jagielski g_object_unref( mpLastPixbuf );
269*b1cdbd2cSJim Jagielski mpLastPixbuf = NULL;
270*b1cdbd2cSJim Jagielski
271*b1cdbd2cSJim Jagielski g_mutex_unlock( mpFrameMutex );
272*b1cdbd2cSJim Jagielski }
273*b1cdbd2cSJim Jagielski }
274*b1cdbd2cSJim Jagielski
275*b1cdbd2cSJim Jagielski return xRet;
276*b1cdbd2cSJim Jagielski }
277*b1cdbd2cSJim Jagielski
278*b1cdbd2cSJim Jagielski // ------------------------------------------------------------------------------
279*b1cdbd2cSJim Jagielski
getImplementationName()280*b1cdbd2cSJim Jagielski ::rtl::OUString SAL_CALL FrameGrabber::getImplementationName( )
281*b1cdbd2cSJim Jagielski throw (uno::RuntimeException)
282*b1cdbd2cSJim Jagielski {
283*b1cdbd2cSJim Jagielski return ::rtl::OUString( RTL_CONSTASCII_USTRINGPARAM( AVMEDIA_GSTREAMER_FRAMEGRABBER_IMPLEMENTATIONNAME ) );
284*b1cdbd2cSJim Jagielski }
285*b1cdbd2cSJim Jagielski
286*b1cdbd2cSJim Jagielski // ------------------------------------------------------------------------------
287*b1cdbd2cSJim Jagielski
supportsService(const::rtl::OUString & ServiceName)288*b1cdbd2cSJim Jagielski sal_Bool SAL_CALL FrameGrabber::supportsService( const ::rtl::OUString& ServiceName )
289*b1cdbd2cSJim Jagielski throw (uno::RuntimeException)
290*b1cdbd2cSJim Jagielski {
291*b1cdbd2cSJim Jagielski return ServiceName.equalsAsciiL( RTL_CONSTASCII_STRINGPARAM ( AVMEDIA_GSTREAMER_FRAMEGRABBER_SERVICENAME ) );
292*b1cdbd2cSJim Jagielski }
293*b1cdbd2cSJim Jagielski
294*b1cdbd2cSJim Jagielski // ------------------------------------------------------------------------------
295*b1cdbd2cSJim Jagielski
getSupportedServiceNames()296*b1cdbd2cSJim Jagielski uno::Sequence< ::rtl::OUString > SAL_CALL FrameGrabber::getSupportedServiceNames( )
297*b1cdbd2cSJim Jagielski throw (uno::RuntimeException)
298*b1cdbd2cSJim Jagielski {
299*b1cdbd2cSJim Jagielski uno::Sequence< ::rtl::OUString > aRet(1);
300*b1cdbd2cSJim Jagielski aRet[0] = ::rtl::OUString( RTL_CONSTASCII_USTRINGPARAM ( AVMEDIA_GSTREAMER_FRAMEGRABBER_SERVICENAME ) );
301*b1cdbd2cSJim Jagielski
302*b1cdbd2cSJim Jagielski return aRet;
303*b1cdbd2cSJim Jagielski }
304*b1cdbd2cSJim Jagielski
305*b1cdbd2cSJim Jagielski } // namespace win
306*b1cdbd2cSJim Jagielski } // namespace avmedia
307