You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-16 - 20:46

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Tue Jun 16, 2026 12:43:30)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2221971996753,11cyclictest2283414-21aten_r2power_fr09:50:160
2221971996753,11cyclictest2283414-21aten_r2power_fr09:50:160
222197199619,40cyclictest2371195-21ssh12:10:350
222197399596,38cyclictest2262225-21ssh09:15:312
2221971995931,18cyclictest151ktimers/008:50:300
2221971995931,18cyclictest151ktimers/008:50:300
2221972995329,20cyclictest2342291-21latency_hist11:25:031
2221971995222,26cyclictest2358712-21sh11:50:290
2221972995041,5cyclictest1003-21mta-sts-daemon10:00:321
2221973994940,5cyclictest2236958-21idleruntime-cro08:00:012
2221973994940,5cyclictest2236958-21idleruntime-cro08:00:012
2221973994916,24cyclictest2374345-21ssh12:15:352
2221971994942,4cyclictest2268533-21ssh09:25:320
2221971994932,13cyclictest151ktimers/011:40:280
2221972994826,19cyclictest0-21swapper/110:45:011
2221971994823,15cyclictest151ktimers/007:30:260
2221972994620,23cyclictest2382343-21ssh12:30:011
222197199463,35cyclictest2374303-21sh12:15:330
2221972994537,5cyclictest2293215-21grep10:05:251
222197299453,31cyclictest2299651-21ssh10:15:281
222197199456,7cyclictest171rcu_preempt11:15:260
2221971994536,7cyclictest2279882-21ssh09:45:000
2221971994536,7cyclictest2279882-21ssh09:45:000
2221973994434,5cyclictest0-21swapper/211:20:302
2221973994414,8cyclictest428-21mta-sts-daemon11:51:192
2221972994335,5cyclictest2312603-21unixbench_singl10:35:391
222197299432,14cyclictest2309036-21ntpq10:30:351
2221972994321,19cyclictest0-21swapper/110:20:391
222197299431,10cyclictest2245382-21ntpq08:25:281
2221971994334,5cyclictest2342454-21aten_r2power_cu11:25:150
2221971994333,6cyclictest420-21avahi-daemon09:00:290
222197199433,31cyclictest2364928-21ssh12:00:270
222197399423,31cyclictest2377382-21ssh12:20:332
2221972994224,14cyclictest265-21systemd-journal07:36:421
222197299422,18cyclictest2305764-21ssh10:25:251
2221972994218,21cyclictest2351428-21cron11:40:011
222197299421,12cyclictest2346217-21ntpq11:30:261
2221972994210,3cyclictest0-21swapper/109:15:311
2221971994229,10cyclictest2257954-21diskmemload12:05:200
2221973994132,4cyclictest0-21swapper/209:30:292
2221973994110,12cyclictest2258989-21ssh09:10:282
2221972994133,5cyclictest2339046-21latency_hist11:20:021
222197299412,31cyclictest2321550-21awk10:50:341
222197299412,16cyclictest2383474-21ntpq12:30:311
222197299411,14cyclictest2281031-21ntpq09:45:311
222197299411,11cyclictest2233421-21ntpq07:45:331
2221972994110,7cyclictest2286502-21basename09:55:161
2221972994110,7cyclictest2286502-21basename09:55:161
222197299410,14cyclictest2279132-21ssh09:42:451
222197299410,14cyclictest2279132-21ssh09:42:451
2221971994119,18cyclictest151ktimers/011:00:320
2221973994032,5cyclictest0-21swapper/212:00:012
222197399402,33cyclictest2324412-21ssh10:55:272
222197399402,31cyclictest2302810-21ssh10:20:312
2221973994016,5cyclictest2257419-21ntpq09:05:352
2221973994013,10cyclictest2237264-21telnet08:00:162
2221973994013,10cyclictest2237264-21telnet08:00:162
222197399401,27cyclictest2321437-21ssh10:50:322
2221973994011,8cyclictest2312078-21ntpq10:35:312
222197299403,5cyclictest2386545-21ntpq12:35:321
222197299402,16cyclictest2330734-21ntpq11:05:291
222197299402,13cyclictest2271725-21ps09:30:331
2221972994015,21cyclictest0-21swapper/111:25:171
2221972994012,2cyclictest0-21swapper/109:00:001
2221972994012,2cyclictest0-21swapper/109:00:001
222197299401,13cyclictest2361884-21ntpq11:55:311
222197299401,11cyclictest2228901-21ntpq07:30:291
222197299401,10cyclictest2236363-21ntpq07:55:281
222197299401,10cyclictest2236363-21ntpq07:55:281
2221973993931,5cyclictest2346846-21unixbench_singl11:30:382
2221973993919,14cyclictest2268397-21ssh09:25:262
2221973993912,8cyclictest2300244-21ssh10:15:432
2221973993911,7cyclictest2287092-21ntpq09:55:252
2221973993911,7cyclictest2287092-21ntpq09:55:252
222197299392,5cyclictest2257373-21ntpq09:05:321
222197299391,7cyclictest2225870-21ntpq07:20:281
2221972993917,20cyclictest2221970-21cyclictest11:40:231
222197299391,17cyclictest2259097-21ssh09:10:331
222197299391,13cyclictest2368193-21ps12:05:331
2221972993911,3cyclictest0-21swapper/111:00:331
2221972993911,24cyclictest0-21swapper/112:00:341
222197299391,11cyclictest2333777-21ntpq11:10:261
222197299391,10cyclictest2374329-21ntpq12:15:341
222197299391,10cyclictest2243822-21ntpq08:20:261
222197299390,10cyclictest2252876-21ntpq08:50:391
222197299390,10cyclictest2252876-21ntpq08:50:391
2221971993930,6cyclictest2247966-21fschecks_count08:35:210
222197199392,26cyclictest2293332-21ssh10:05:270
2221971993917,14cyclictest2330799-21ssh11:05:320
2221973993831,4cyclictest2279897-21grep09:45:002
2221973993831,4cyclictest2279897-21grep09:45:002
2221973993829,6cyclictest2250488-21systemd-run08:45:012
2221973993814,7cyclictest2385043-21sh12:33:532
2221973993811,10cyclictest2282445-21rm09:48:222
222197299383,6cyclictest2224338-21ntpq07:15:281
222197299382,6cyclictest2237814-21ntpq08:00:251
222197299382,6cyclictest2237814-21ntpq08:00:251
2221972993820,15cyclictest2359315-21users11:50:401
222197299381,9cyclictest2255529-21/usr/sbin/munin09:00:211
2221972993816,18cyclictest0-21swapper/112:20:241
222197299381,12cyclictest2326336-21ssh10:59:261
222197299381,12cyclictest2296574-21ssh10:10:321
222197299380,11cyclictest2274379-21ssh09:35:221
222197299380,11cyclictest2274379-21ssh09:35:221
222197299380,10cyclictest2240850-21ntpq08:10:271
2221971993830,5cyclictest421-21dbus-daemon11:15:010
2221971993827,7cyclictest2314682-21cpuspeed10:40:190
2221971993825,9cyclictest2271840-21switchtime09:30:360
2221973993729,5cyclictest2373229-21systemd-run12:15:012
2221973993729,5cyclictest2351476-21systemd-run11:40:012
2221973993727,6cyclictest2308237-21aten_r2power_cu10:30:162
2221973993714,14cyclictest2243156-21date08:20:032
2221973993712,8cyclictest2248401-21ld08:35:312
2221973993711,7cyclictest2315548-21/usr/sbin/munin10:40:382
2221973993711,11cyclictest2241565-21cat08:15:032
2221973993711,10cyclictest2327993-21wc11:00:382
222197299373,6cyclictest2251423-21ntpq08:45:311
222197299372,8cyclictest2249838-21ntpq08:40:271
222197299372,7cyclictest2227327-21ntpq07:25:261
2221972993712,19cyclictest1427483-21cups-browsed10:45:271
222197299371,12cyclictest2268510-21ntp_states09:25:311
222197299371,10cyclictest2239370-21ntpq08:05:291
222197299371,10cyclictest2222855-21ntpq07:10:271
2221971993729,5cyclictest421-21dbus-daemon10:22:190
2221971993727,7cyclictest2259040-21ntp_offset09:10:310
2221971993717,11cyclictest151ktimers/009:15:300
222197399366,14cyclictest2247521-21date08:35:022
2221973993631,2cyclictest0-21swapper/207:20:002
2221973993627,6cyclictest567-21gdbus10:04:152
2221973993613,10cyclictest2255590-21irqstats09:00:222
2221973993612,8cyclictest2222094-21cut07:10:022
2221973993612,8cyclictest2222094-21cut07:10:022
2221973993612,7cyclictest2245530-21sendmail_mailst08:25:332
2221973993612,7cyclictest2231943-21ld07:40:312
2221973993611,7cyclictest2336475-21/usr/sbin/munin11:15:192
2221973993611,7cyclictest2285190-21sh09:52:162
2221973993611,7cyclictest2285190-21sh09:52:162
2221973993610,10cyclictest2333223-21hostname11:10:162
222197299362,13cyclictest2234903-21ntp_states07:50:321
222197299361,12cyclictest2283980-21ntpq09:50:251
222197299361,12cyclictest2283980-21ntpq09:50:251
222197299361,11cyclictest2242306-21awk08:15:251
222197299361,10cyclictest2371112-21ntpq12:10:311
222197299361,10cyclictest2356863-21ssh11:47:371
222197299361,10cyclictest2231846-21ntpq07:40:271
2221971993627,6cyclictest1427483-21cups-browsed10:36:150
222197199362,31cyclictest0-21swapper/010:25:300
2221971993621,5cyclictest2326543-21cut11:00:010
2221971993620,10cyclictest12650irq/32-eth010:00:310
222197399358,11cyclictest2228176-21date07:30:032
2221973993526,6cyclictest439-21systemd-logind08:25:012
2221973993512,7cyclictest2355625-21ntpq11:45:292
2221973993511,9cyclictest2266178-21sh09:21:272
2221973993511,9cyclictest2266178-21sh09:21:272
2221973993511,8cyclictest2368151-21ntpq12:05:322
2221973993511,7cyclictest2354344-21ssh11:44:242
222197299352,6cyclictest2246937-21ntpq08:30:321
222197299352,12cyclictest2265001-21/usr/sbin/munin09:20:231
222197299352,12cyclictest2265001-21/usr/sbin/munin09:20:231
222197299351,11cyclictest2248368-21ntpq08:35:301
2221971993529,4cyclictest2298561-21munin-run10:15:010
2221971993527,5cyclictest2222033-21latency_hist07:10:010
2221971993527,5cyclictest2222033-21latency_hist07:10:010
2221971993526,6cyclictest439-21systemd-logind09:10:010
2221971993525,7cyclictest420-21avahi-daemon12:34:510
2221971993522,10cyclictest0-21swapper/011:40:010
2221971993514,14cyclictest151ktimers/009:35:260
2221971993514,14cyclictest151ktimers/009:35:260
2221973993426,5cyclictest2233979-21systemd-run07:50:012
2221973993426,5cyclictest1-21systemd09:00:012
2221973993426,5cyclictest1-21systemd09:00:012
2221973993412,7cyclictest2330000-21aten2.4-expect11:05:152
2221973993412,15cyclictest1003-21mta-sts-daemon12:35:182
2221973993411,8cyclictest2228277-21cut07:30:162
2221973993411,7cyclictest2229680-21/usr/sbin/munin07:35:212
2221971993428,4cyclictest0-21swapper/008:10:260
2221971993418,11cyclictest12650irq/32-eth009:55:280
2221971993418,11cyclictest12650irq/32-eth009:55:280
2221971993411,16cyclictest421-21dbus-daemon07:40:020
222197399339,8cyclictest2319534-21ssh10:47:392
222197399336,11cyclictest2293084-21modprobe10:05:232
2221973993320,9cyclictest2252759-21needreboot08:50:282
2221973993320,9cyclictest2252759-21needreboot08:50:282
2221973993320,8cyclictest2234812-21ntpq07:50:262
2221973993320,7cyclictest2222455-21diskstats07:10:192
2221973993310,7cyclictest2307288-21ssh10:28:102
222197299331,9cyclictest2221980-21systemd-run07:10:011
222197299331,9cyclictest2221980-21systemd-run07:10:011
2221971993327,3cyclictest0-21swapper/008:00:280
2221971993327,3cyclictest0-21swapper/008:00:280
2221971993327,2cyclictest0-21swapper/011:20:340
2221971993325,5cyclictest1427483-21cups-browsed10:45:380
2221971993319,10cyclictest12650irq/32-eth010:15:240
222197399329,7cyclictest2275254-21awk09:35:402
222197399329,7cyclictest2275254-21awk09:35:402
222197399328,8cyclictest2343835-21ssh11:25:492
2221973993210,7cyclictest2239185-21cat08:05:232
222197199323,15cyclictest151ktimers/008:30:270
2221971993225,5cyclictest2363886-21munin-run12:00:010
2221971993222,5cyclictest0-21swapper/009:20:300
2221971993222,5cyclictest0-21swapper/009:20:300
2221971993215,11cyclictest12650irq/32-eth007:45:320
2221973993120,7cyclictest2251935-21sshd08:48:432
2221973993118,10cyclictest2381191-21ssh12:26:272
222197199313,23cyclictest2321330-21ntpq10:50:270
2221971993124,5cyclictest2226987-21fschecks_count07:25:200
222197199312,24cyclictest2386367-21ssh12:35:260
222197199312,22cyclictest2280990-21ssh09:45:290
2221971993121,7cyclictest0-21swapper/012:25:280
2221973993015,9cyclictest2298553-21latency_hist10:15:022
222197199303,19cyclictest1427483-21cups-browsed07:10:280
2221971993025,3cyclictest2251904-21unixbench_singl08:45:380
2221971993015,8cyclictest12650irq/32-eth012:20:250
2221973992919,6cyclictest2225313-21aten_r2power_po07:20:182
2221973992917,7cyclictest2364179-21ssh12:00:112
222197199292,17cyclictest2355600-21ssh11:45:270
2221971992918,5cyclictest2246034-21latency_hist08:30:020
222197199291,24cyclictest2309066-21ssh10:30:360
222197199283,21cyclictest958-21sendmail-mta08:05:320
2221971992816,9cyclictest151ktimers/007:50:330
2221971992812,12cyclictest0-21swapper/008:15:370
2221971992722,2cyclictest0-21swapper/008:00:010
2221971992722,2cyclictest0-21swapper/008:00:010
222197199271,4cyclictest567-21gdbus08:55:310
222197199271,4cyclictest567-21gdbus08:55:310
2221971992710,10cyclictest12650irq/32-eth011:30:270
222197499261,7cyclictest0-21swapper/307:20:293
2221971992616,6cyclictest12750irq/33-eth007:15:290
222197199259,13cyclictest0-21swapper/007:20:370
2221971992516,7cyclictest2249808-21ntp_kernel_err08:40:250
222197499232,7cyclictest0-21swapper/310:40:343
222197499232,5cyclictest0-21swapper/311:45:333
222197499232,5cyclictest0-21swapper/309:45:273
222197499222,7cyclictest0-21swapper/312:10:333
222197499221,7cyclictest0-21swapper/312:00:293
222197499221,7cyclictest0-21swapper/311:00:213
222197499221,6cyclictest0-21swapper/310:15:273
222197199222,15cyclictest2243932-21ntpq08:20:310
2221971992215,5cyclictest439-21systemd-logind07:45:010
222197499213,6cyclictest0-21swapper/310:45:273
222197499211,6cyclictest0-21swapper/310:25:253
222197499211,6cyclictest0-21swapper/309:50:303
222197499211,6cyclictest0-21swapper/309:50:303
222197499211,5cyclictest0-21swapper/311:20:323
222197499211,10cyclictest0-21swapper/308:30:303
222197499203,3cyclictest0-21swapper/310:10:343
222197499202,6cyclictest0-21swapper/309:25:213
222197499202,4cyclictest0-21swapper/311:30:293
222197499201,7cyclictest0-21swapper/310:00:323
222197499201,5cyclictest0-21swapper/312:25:303
222197499193,6cyclictest0-21swapper/308:10:283
222197499193,4cyclictest0-21swapper/309:40:233
222197499193,4cyclictest0-21swapper/309:40:233
222197499191,7cyclictest0-21swapper/309:05:313
222197499183,3cyclictest0-21swapper/312:20:283
222197499182,7cyclictest0-21swapper/310:55:273
222197499181,8cyclictest0-21swapper/312:35:303
222197499181,10cyclictest0-21swapper/309:35:323
222197499181,10cyclictest0-21swapper/309:35:323
222197499174,11cyclictest0-21swapper/307:15:263
222197499173,3cyclictest0-21swapper/308:20:293
222197499172,7cyclictest0-21swapper/309:10:273
222197499172,7cyclictest0-21swapper/307:45:343
222197499171,8cyclictest0-21swapper/312:30:243
222197499171,8cyclictest0-21swapper/310:50:273
222197499171,8cyclictest0-21swapper/309:15:303
222197499152,7cyclictest0-21swapper/311:15:283
222197499152,6cyclictest0-21swapper/311:40:033
222197499151,8cyclictest0-21swapper/310:30:213
222197499145,5cyclictest0-21swapper/307:30:313
222197499142,7cyclictest0-21swapper/310:35:273
222197499132,7cyclictest0-21swapper/307:15:003
222197499132,6cyclictest0-21swapper/311:40:353
222197499132,6cyclictest0-21swapper/311:10:203
222197499131,7cyclictest0-21swapper/311:50:283
222197499123,5cyclictest0-21swapper/311:05:203
222197499122,7cyclictest0-21swapper/309:20:173
222197499122,7cyclictest0-21swapper/309:20:173
222197499114,5cyclictest0-21swapper/308:45:273
222197499114,4cyclictest0-21swapper/308:05:273
222197499112,7cyclictest0-21swapper/312:15:363
222197499112,6cyclictest0-21swapper/309:30:213
222197499112,5cyclictest0-21swapper/311:25:253
222197499111,7cyclictest0-21swapper/308:50:303
222197499111,7cyclictest0-21swapper/308:50:303
222197499111,6cyclictest0-21swapper/312:05:253
222197499103,5cyclictest0-21swapper/307:50:273
222197499102,6cyclictest0-21swapper/310:05:323
222197499102,6cyclictest0-21swapper/309:55:273
222197499102,6cyclictest0-21swapper/309:55:273
222197499101,7cyclictest0-21swapper/310:20:283
222197499101,4cyclictest0-21swapper/308:25:313
22219749993,5cyclictest0-21swapper/308:55:263
22219749993,5cyclictest0-21swapper/308:55:263
22219749992,5cyclictest0-21swapper/311:55:173
22219749992,5cyclictest0-21swapper/307:35:323
22219749991,7cyclictest0-21swapper/307:55:263
22219749991,7cyclictest0-21swapper/307:55:263
22219749991,6cyclictest0-21swapper/308:35:283
22219749991,6cyclictest0-21swapper/307:25:263
22219749991,5cyclictest0-21swapper/308:40:263
22219749991,4cyclictest0-21swapper/309:00:273
22219749990,3cyclictest0-21swapper/308:15:033
22219749981,5cyclictest0-21swapper/308:00:263
22219749981,5cyclictest0-21swapper/308:00:263
22219749981,5cyclictest0-21swapper/307:40:263
22219749971,3cyclictest0-21swapper/307:10:013
22219749971,3cyclictest0-21swapper/307:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional