You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-08 - 22:35

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #5, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  Intel
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: ondemand
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack5slot4s.osadl.org (updated Sat Nov 08, 2025 12:44:17)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
241511421790,1sleep30-21swapper/309:11:283
2292828996051,6cyclictest2608013-21latency_hist12:25:011
2292828995852,4cyclictest2240746-21kworker/u8:4+events_unbound07:10:001
2292828995852,4cyclictest2240746-21kworker/u8:4+events_unbound07:10:001
2292823995852,4cyclictest2471625-21kworker/u8:2+flush-8:010:36:390
2292828995745,9cyclictest2458796-21latency_hist09:55:011
2292823995547,5cyclictest2339138-21latency_hist07:55:010
2292828995441,5cyclictest2384384-21kworker/u8:1+events_unbound09:41:401
2292828995441,5cyclictest2384384-21kworker/u8:1+events_unbound09:41:401
2292828995349,3cyclictest2542761-21kworker/u8:1+events_unbound11:26:311
2292828995349,3cyclictest2240746-21kworker/u8:4+flush-8:008:20:001
2292828995348,3cyclictest2319148-21kworker/u8:2+flush-8:007:36:281
2292828995244,6cyclictest2373406-21ntpq08:26:361
2292828995043,4cyclictest2364549-21kworker/u8:0+flush-8:008:51:391
2292828994942,5cyclictest2384384-21kworker/u8:1+flush-8:009:06:291
2292828994941,5cyclictest2364549-21kworker/u8:0+events_unbound09:26:321
23434972480,6sleep30-21swapper/307:56:353
2292828994842,4cyclictest2408909-21latency_hist09:05:011
2292828994841,5cyclictest2364549-21kworker/u8:0+events_unbound09:16:331
2292828994838,7cyclictest282-21systemd-journal07:25:011
24800952470,5sleep20-21swapper/210:16:282
2292828994741,4cyclictest2240746-21kworker/u8:4+events_unbound07:16:281
2292828994736,8cyclictest2442889-21ntpq09:36:361
2292828994736,8cyclictest2442889-21ntpq09:36:361
2292832994641,4cyclictest2240746-21kworker/u8:4+flush-8:008:16:252
2292828994638,6cyclictest2481331-21kworker/u8:0+flush-8:010:41:351
2292823994639,5cyclictest2469263-21/usr/sbin/munin10:06:370
2292823994636,8cyclictest282-21systemd-journal07:45:010
2292828994539,5cyclictest2240746-21kworker/u8:4+events_unbound07:56:421
2292828994538,5cyclictest2522771-21kworker/u8:3+flush-8:012:06:381
2292828994538,4cyclictest2481331-21kworker/u8:0+events_unbound11:16:331
2292832994438,5cyclictest2364549-21kworker/u8:0+flush-8:008:46:242
2292832994438,4cyclictest2542761-21kworker/u8:1+flush-8:011:56:262
2292832994438,4cyclictest2542761-21kworker/u8:1+flush-8:011:56:262
2292828994438,4cyclictest2240746-21kworker/u8:4+events_unbound08:06:241
2292828994437,5cyclictest2459283-21kworker/u8:3+flush-8:010:21:401
25129402430,7sleep20-21swapper/210:46:542
2292828994336,5cyclictest2459283-21kworker/u8:3+events_unbound10:35:011
2292823994335,6cyclictest2558384-21latency_hist11:35:010
2292832994236,4cyclictest2240746-21kworker/u8:4+flush-8:008:06:252
2292828994235,5cyclictest2240746-21kworker/u8:4+flush-8:007:11:341
2292828994235,5cyclictest2240746-21kworker/u8:4+flush-8:007:11:341
2292828994234,6cyclictest2364549-21kworker/u8:0+flush-8:009:31:331
2292828994234,6cyclictest2364549-21kworker/u8:0+flush-8:009:31:331
2292828994232,8cyclictest2532600-21ntpq11:06:321
2292828994228,10cyclictest282-21systemd-journal11:04:471
2292823994238,3cyclictest2240746-21kworker/u8:4+flush-8:007:21:270
2292823994233,7cyclictest282-21systemd-journal07:40:000
2292823994233,6cyclictest2334226-21latency_hist07:50:010
2292828994135,4cyclictest2522771-21kworker/u8:3+flush-8:011:31:341
2292828994135,4cyclictest2471625-21kworker/u8:2+flush-8:010:56:371
2292828994134,5cyclictest2364549-21kworker/u8:0+flush-8:008:46:331
2292828994133,6cyclictest2534032-21apt-get11:11:201
2292828994131,8cyclictest2617071-21ntpq12:31:331
2292828994034,5cyclictest2364549-21kworker/u8:0+events_unbound09:11:341
2292828994033,5cyclictest2459283-21kworker/u8:3+flush-8:010:11:401
2292828994033,5cyclictest2364549-21kworker/u8:0+flush-8:008:21:341
2292828994033,5cyclictest2319148-21kworker/u8:2+events_unbound08:01:331
2292828994026,10cyclictest2518350-21apt-get10:55:001
2292823994034,4cyclictest2542761-21kworker/u8:1+flush-8:011:21:260
2292823994031,6cyclictest2483731-21latency_hist10:20:010
2292828993934,3cyclictest2542761-21kworker/u8:1+events_unbound12:26:281
2292828993933,4cyclictest2240746-21kworker/u8:4+events_unbound07:46:281
2292828993932,5cyclictest2542761-21kworker/u8:1+events_unbound11:51:251
2292828993930,7cyclictest282-21systemd-journal10:38:471
2292828993832,4cyclictest2522771-21kworker/u8:3+events_unbound12:16:371
2292828993731,4cyclictest2522771-21kworker/u8:3+flush-8:011:36:391
2292828993731,4cyclictest2384405-21kworker/u8:3+flush-8:008:42:181
2292828993730,5cyclictest2542761-21kworker/u8:1+events_unbound11:21:341
2292828993729,6cyclictest2489027-21apt-get10:26:211
2292823993727,7cyclictest282-21systemd-journal11:55:470
2292823993727,7cyclictest282-21systemd-journal11:55:470
2292828993631,4cyclictest2542761-21kworker/u8:1+events_unbound12:01:361
2292828993631,4cyclictest2319148-21kworker/u8:2+flush-8:007:41:381
2292828993631,3cyclictest2437977-21kworker/u8:2+flush-8:009:46:281
2292828993630,4cyclictest2522771-21kworker/u8:3+events_unbound12:11:351
2292828993626,7cyclictest2582225-21ntpq11:56:331
2292828993626,7cyclictest2582225-21ntpq11:56:331
2292832993530,4cyclictest1462190-21kworker/u8:1+events_unbound07:31:452
2292828993531,3cyclictest2364549-21kworker/u8:0+events_unbound09:56:361
2292828993526,6cyclictest2364549-21kworker/u8:0+flush-8:009:21:341
2292823993528,5cyclictest2459378-21apt-get09:56:190
2292823993526,7cyclictest2399013-21kworker/u8:3+flush-8:009:26:190
2292823993526,6cyclictest2612968-21latency_hist12:30:010
2292823993525,7cyclictest2339143-21apt-get07:55:010
23383372340,3sleep1281rcuc/107:51:361
2292828993428,5cyclictest2471625-21kworker/u8:2+flush-8:012:36:351
2292828993428,4cyclictest2364549-21kworker/u8:0+events_unbound08:56:251
2292823993430,3cyclictest2399013-21kworker/u8:3+flush-8:009:01:560
2292823993428,4cyclictest2240746-21kworker/u8:4+flush-8:007:16:230
2292823993427,5cyclictest2428764-21base6409:25:000
2292832993328,4cyclictest2437977-21kworker/u8:2+flush-8:009:36:422
2292832993328,4cyclictest2437977-21kworker/u8:2+flush-8:009:36:422
2292828993327,4cyclictest1467866-21kworker/u8:0+events_unbound07:31:291
2292828993325,6cyclictest282-21systemd-journal10:19:471
2292828993321,8cyclictest282-21systemd-journal07:26:481
2292823993327,4cyclictest2522771-21kworker/u8:3+flush-8:011:41:430
2292823993322,9cyclictest2358268-21ntpq08:11:350
26110962320,2sleep3481ktimers/312:26:313
2292832993227,4cyclictest2384118-21idleruntime-cro08:40:002
2292832993225,5cyclictest282-21systemd-journal09:15:002
2292832993222,8cyclictest282-21systemd-journal11:15:002
2292828993226,4cyclictest2364549-21kworker/u8:0+flush-8:010:01:401
2292823993228,3cyclictest2364549-21kworker/u8:0+events_unbound09:16:270
2292823993228,2cyclictest0-21swapper/009:55:010
2292823993227,3cyclictest2608032-21kworker/u8:0+flush-8:012:31:390
2292823993225,4cyclictest2513397-21latency_hist10:50:010
2292828993126,4cyclictest2512663-21kworker/u8:1+flush-8:010:46:541
2292828993125,4cyclictest2567408-21ntpq11:41:331
2292828993123,6cyclictest2364549-21kworker/u8:0+flush-8:008:31:281
2292832993026,2cyclictest2478471-21unixbench_singl10:11:422
2292832993024,4cyclictest2465279-21kthreadcore10:01:282
2292832993022,5cyclictest282-21systemd-journal11:10:002
2292832993019,9cyclictest2329383-21cat07:45:012
2292828993024,4cyclictest1462190-21kworker/u8:1+events_unbound08:11:351
2292828993022,6cyclictest2364549-21kworker/u8:0+flush-8:008:36:401
2292823993025,4cyclictest2481331-21kworker/u8:0+events_unbound10:45:010
2292823993024,4cyclictest2471625-21kworker/u8:2+events_unbound12:40:000
2292832992925,3cyclictest2583773-21fschecks_time12:01:242
2292832992924,3cyclictest2329959-21fschecks_time07:46:262
2292823992924,3cyclictest1-21systemd10:25:010
2292823992923,4cyclictest2364557-21kworker/u8:5+flush-8:008:26:420
2292823992920,7cyclictest282-21systemd-journal12:20:010
2292823992919,7cyclictest2418781-21latency_hist09:15:010
25882292280,2sleep3471rcuc/312:05:003
2292832992824,2cyclictest2429564-21fschecks_time09:26:232
2292832992822,4cyclictest2592606-21unixbench_multi12:06:392
2292832992820,6cyclictest282-21systemd-journal10:00:012
229282399282,25cyclictest2384431-21kworker/0:2+events10:59:330
2292832992723,3cyclictest2539053-21aten2_r5power_p11:16:222
2292832992718,7cyclictest2489378-21fschecks_time10:26:262
229283299271,24cyclictest1-21systemd10:55:002
2292823992723,2cyclictest0-21swapper/008:06:280
2292823992722,4cyclictest1467866-21kworker/u8:0+flush-8:007:31:280
2292823992722,3cyclictest2345618-21kthreadcore08:01:280
2292823992719,6cyclictest2364549-21kworker/u8:0+flush-8:008:51:340
2292823992719,5cyclictest2384124-21latency_hist08:40:010
2292823992718,7cyclictest2363191-21ntpq08:16:330
25622962260,2sleep3471rcuc/311:36:313
2292832992623,2cyclictest2508122-21unixbench_singl10:41:412
2292823992622,2cyclictest2443799-21systemd-run09:40:000
2292823992622,2cyclictest2443799-21systemd-run09:40:000
229282399262,22cyclictest2384431-21kworker/0:2+events09:06:340
2292823992622,2cyclictest0-21swapper/008:45:000
2292823992621,4cyclictest2384384-21kworker/u8:1+events_unbound09:45:000
2292823992621,4cyclictest2384384-21kworker/u8:1+events_unbound09:45:000
2292823992621,3cyclictest2597768-21unixbench_multi12:11:400
2292823992621,3cyclictest2569341-21tr11:46:270
2292823992619,5cyclictest2471625-21kworker/u8:2+flush-8:010:26:360
229282399261,22cyclictest610-21sshd10:31:470
2292832992520,4cyclictest2542761-21kworker/u8:1+events_unbound12:26:432
2292832992520,3cyclictest2448560-21unixbench_multi09:41:412
2292832992520,3cyclictest2448560-21unixbench_multi09:41:412
2292832992518,5cyclictest2522771-21kworker/u8:3+flush-8:011:36:402
2292823992521,3cyclictest2524443-21sort11:01:290
2292823992521,3cyclictest2438753-21cron09:35:000
2292823992521,3cyclictest2438753-21cron09:34:590
2292823992520,4cyclictest2384384-21kworker/u8:1+flush-8:010:12:180
2292823992519,4cyclictest2481331-21kworker/u8:0+events_unbound11:11:420
2292823992516,7cyclictest2374853-21diskstats08:31:240
2292823992515,8cyclictest282-21systemd-journal11:07:470
2292832992420,3cyclictest2597758-21unixbench_multi12:11:402
2292832992420,3cyclictest2522771-21kworker/u8:3+flush-8:011:46:342
229283299241,12cyclictest2339145-21munin-run07:55:002
2292828992420,3cyclictest2364549-21kworker/u8:0+flush-8:010:06:231
229282399246,17cyclictest2384431-21kworker/0:2+events11:16:340
2292823992419,4cyclictest2310754-21kthreadcore07:26:290
2292832992318,3cyclictest2523173-21unixbench_multi10:56:422
2292832992318,3cyclictest2310054-21cpuspeed_turbos07:26:242
2292828992315,6cyclictest2570609-21kthreadcore11:46:291
229282399232,17cyclictest2384431-21kworker/0:2+events12:10:020
2292823992319,2cyclictest0-21swapper/010:55:000
2292823992319,2cyclictest0-21swapper/007:10:000
2292823992319,2cyclictest0-21swapper/007:10:000
2292823992318,4cyclictest2364549-21kworker/u8:0+events_unbound10:01:390
2292823992315,6cyclictest2394059-21latency_hist08:50:010
2292823992315,6cyclictest2364913-21diskstats08:21:240
2292823992312,9cyclictest0-21swapper/012:01:220
2292832992217,3cyclictest2494095-21aten2_r5power_v10:31:232
2292832992217,3cyclictest2424395-21fschecks_count09:21:232
2292832992216,4cyclictest2557473-21needreboot11:31:312
2292832992216,4cyclictest2373940-21unixbench_singl08:26:432
2292832992214,6cyclictest2295564-21tr07:11:292
2292832992214,6cyclictest2295564-21tr07:11:292
229282399229,4cyclictest0-21swapper/009:49:240
229282399225,16cyclictest2384431-21kworker/0:2+events11:52:450
2292823992216,4cyclictest2240746-21kworker/u8:4+flush-8:007:11:280
2292823992216,4cyclictest2240746-21kworker/u8:4+flush-8:007:11:280
2292823992215,5cyclictest2542761-21kworker/u8:1+flush-8:011:26:360
2292823992212,7cyclictest2603449-21apt-get12:21:210
229282399221,13cyclictest25622972cat11:36:310
229283299212,8cyclictest0-21swapper/209:49:172
229283299212,13cyclictest2409253-21apt-get09:06:212
2292832992117,3cyclictest2364978-21fschecks_time08:21:242
2292832992117,2cyclictest0-21swapper/207:15:052
2292832992112,7cyclictest2422861-21awk09:16:312
2292823992117,3cyclictest2403617-21unixbench_multi08:56:410
23685692200,2chrt481ktimers/308:21:353
2292832992017,2cyclictest2339752-21aten2_r5power_c07:56:242
2292832992016,3cyclictest2471625-21kworker/u8:2+flush-8:010:06:332
2292832992016,3cyclictest2319148-21kworker/u8:2+flush-8:007:37:202
2292832992016,2cyclictest0-21swapper/208:11:422
2292832992015,3cyclictest0-21swapper/209:55:012
2292832992014,4cyclictest18912-21cron07:25:012
2292832992011,7cyclictest2577176-21grep11:51:322
229283299192,12cyclictest2486246-21ps10:21:312
2292832991915,2cyclictest0-21swapper/209:31:322
2292832991915,2cyclictest0-21swapper/209:31:322
2292832991913,4cyclictest282-21systemd-journal10:40:002
2292832991913,4cyclictest2404378-21aten2_r5power_e09:01:242
22888392191,12sleep22289272-21cut07:06:272
22888392191,12sleep22289272-21cut07:06:272
229283299189,7cyclictest2375020-21awk08:31:262
2292832991814,2cyclictest0-21swapper/211:30:002
2292832991814,2cyclictest0-21swapper/208:01:242
2292832991810,6cyclictest2601992-21tr12:16:292
2292832991810,6cyclictest2567784-21sed11:41:402
22925562183,9sleep30-21swapper/307:08:573
22925562183,9sleep30-21swapper/307:08:573
229283299179,6cyclictest2546224-21cut11:21:312
229283299179,6cyclictest2394627-21tr08:51:222
229283299173,8cyclictest2618256-21apt-get12:36:202
2292832991712,3cyclictest0-21swapper/212:31:222
2292832991712,3cyclictest0-21swapper/208:42:102
2292832991710,5cyclictest2606416-21cut12:21:302
2292832991710,5cyclictest2403504-21sed08:56:412
2292832991613,2cyclictest0-21swapper/211:00:492
25089902150,2sleep3481ktimers/310:46:233
24926432142,8sleep30-21swapper/310:26:333
24092272142,8sleep30-21swapper/309:06:183
26039372132,7sleep30-21swapper/312:21:273
25981352132,6sleep30-21swapper/312:15:013
25731872132,6sleep30-21swapper/311:50:013
25539052134,5sleep30-21swapper/311:31:223
25386332132,6sleep30-21swapper/311:15:013
25235272132,7sleep30-21swapper/311:00:003
24447192132,7sleep30-21swapper/309:41:273
24447192132,7sleep30-21swapper/309:41:273
24250112132,7sleep30-21swapper/309:21:283
24031302132,7sleep30-21swapper/308:56:363
23886222133,7sleep30-21swapper/308:42:313
23618772133,6sleep30-21swapper/308:16:303
23443642132,6sleep30-21swapper/308:00:013
23102062133,5sleep30-21swapper/307:26:263
23067382132,7sleep30-21swapper/307:21:293
25784872122,6sleep30-21swapper/311:56:233
25784872122,6sleep30-21swapper/311:56:233
25636852122,6sleep30-21swapper/311:41:223
25504582122,6sleep30-21swapper/311:26:333
25439302122,6sleep30-21swapper/311:21:233
25293652122,6sleep30-21swapper/311:06:263
25276972122,7sleep30-21swapper/311:01:373
25137442122,6sleep30-21swapper/310:51:213
24994072122,6sleep30-21swapper/310:36:293
24540472122,6sleep30-21swapper/309:50:013
24537032122,6sleep30-21swapper/309:47:493
24433542122,6sleep30-21swapper/309:36:453
24433542122,6sleep30-21swapper/309:36:453
24341812122,6sleep30-21swapper/309:31:193
24341812122,6sleep30-21swapper/309:31:193
24039872122,6sleep30-21swapper/309:00:013
23797932123,5sleep30-21swapper/308:36:253
23697582122,6sleep30-21swapper/308:26:263
23246582122,6sleep30-21swapper/307:41:193
23234702123,5sleep30-21swapper/307:36:343
23042402122,6sleep30-21swapper/307:16:393
26184172112,5sleep30-21swapper/312:36:243
26133232112,5sleep30-21swapper/312:31:223
25934962112,6sleep30-21swapper/312:10:513
25882292112,5sleep30-21swapper/312:05:013
25735462112,5sleep30-21swapper/311:51:213
25340662112,5sleep30-21swapper/311:11:243
25038532112,5sleep30-21swapper/310:41:223
24939552112,6sleep30-21swapper/310:31:193
24839672112,6sleep30-21swapper/310:20:033
24791382112,5sleep30-21swapper/310:16:223
24692622112,5sleep30-21swapper/310:06:193
24643592112,5sleep30-21swapper/310:01:213
24592532112,5sleep30-21swapper/309:55:033
24287912110,6sleep30-21swapper/309:25:013
24196262112,5sleep30-21swapper/309:16:263
23944242112,5sleep30-21swapper/308:51:223
23894502113,5sleep30-21swapper/308:46:213
23786072112,5sleep30-21swapper/308:31:403
23585052112,5sleep30-21swapper/308:11:413
23495782112,5sleep30-21swapper/308:06:203
23382702112,5sleep30-21swapper/307:51:353
23296112113,5sleep30-21swapper/307:46:173
23189212112,5sleep30-21swapper/307:31:443
22926902112,5sleep30-21swapper/307:10:013
22926902112,5sleep30-21swapper/307:10:013
24743382101,5sleep30-21swapper/310:11:243
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional