You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-30 - 02:09

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Tue Jun 30, 2026 00:43:23)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2538752996854,11cyclictest2679222-21munin-run00:00:010
2538752996854,11cyclictest2679222-21munin-run00:00:010
2538753995630,3cyclictest0-21swapper/120:20:011
2538753995528,23cyclictest2653255-21unixbench_multi23:15:471
253875299521,45cyclictest2628101-21ssh22:35:320
2538753995142,6cyclictest1000-21mta-sts-daemon22:12:461
2538753994837,6cyclictest2555257-21munin-plugin-st20:05:011
2538753994738,5cyclictest2584062-21systemd-run21:25:011
2538753994738,5cyclictest2584062-21systemd-run21:25:011
2538752994737,7cyclictest814995-21cups-browsed23:43:450
2538754994537,5cyclictest2673123-21systemd-run23:50:012
2538754994535,6cyclictest2613028-21mailstats22:10:422
2538752994534,8cyclictest12650irq/32-eth000:10:420
2538752994534,8cyclictest12650irq/32-eth000:10:420
2538753994434,6cyclictest2577925-21latency_hist21:15:021
2538753994336,4cyclictest2703806-21sendmail00:40:011
2538753994334,4cyclictest0-21swapper/122:20:311
2538752994326,12cyclictest0-21swapper/023:50:020
2538752994320,16cyclictest12650irq/32-eth022:55:350
2538752994320,16cyclictest12650irq/32-eth022:55:350
253875399424,16cyclictest428-21mta-sts-daemon23:50:391
2538754994133,5cyclictest2694666-21latency_hist00:25:022
2538754994133,5cyclictest2547754-21idleruntime-cro19:40:012
2538753994131,7cyclictest2580953-21grep21:20:011
2538753994131,6cyclictest2627097-21ssh22:35:011
2538753994031,5cyclictest2679294-21ssh00:00:021
2538753994031,5cyclictest2679294-21ssh00:00:021
2538753994030,7cyclictest2692536-21needreboot00:20:331
2538752994034,4cyclictest2697713-21systemd-run00:30:010
253875299402,29cyclictest2600483-21ssh21:50:330
253875499393,27cyclictest665-21snmpd22:05:352
2538754993930,6cyclictest2659336-21unixbench-2d23:25:462
2538754993929,6cyclictest2561284-21systemd-run20:25:022
2538754993927,9cyclictest2702280-21timerwakeupswit00:35:492
2538754993927,9cyclictest2597289-21missed_timers21:45:302
2538753993931,5cyclictest421-21dbus-daemon00:20:011
2538753993931,5cyclictest2611726-21cut22:10:011
2538752993927,9cyclictest2588628-21timerwakeupswit21:30:450
2538752993925,11cyclictest0-21swapper/022:00:010
253875299392,29cyclictest2625164-21ssh22:30:370
253875499383,30cyclictest2698733-21ssh00:30:342
2538754993830,5cyclictest2602538-21munin-plugin-st21:55:012
2538753993831,4cyclictest1000-21mta-sts-daemon00:05:391
2538753993831,4cyclictest1000-21mta-sts-daemon00:05:391
2538753993830,5cyclictest2645536-21systemd-run23:05:011
2538753993830,5cyclictest2645536-21systemd-run23:05:011
2538752993825,9cyclictest2643592-21ntpq23:00:380
2538752993825,9cyclictest2643592-21ntpq23:00:380
2538752993824,10cyclictest0-21swapper/020:35:440
2538752993821,8cyclictest151ktimers/000:00:330
2538754993729,5cyclictest2631819-21sed22:40:462
2538754993729,4cyclictest0-21swapper/223:25:012
2538754993728,4cyclictest0-21swapper/223:30:332
2538754993727,7cyclictest0-21swapper/223:00:412
2538754993727,7cyclictest0-21swapper/223:00:412
253875499372,26cyclictest2677359-21ssh23:55:392
253875499372,26cyclictest2677359-21ssh23:55:392
253875399372,29cyclictest2646542-21ssh23:05:331
2538752993730,4cyclictest1003-21mta-sts-daemon22:25:390
2538752993726,5cyclictest0-21swapper/023:15:330
2538752993724,9cyclictest2585364-21mailstats21:25:450
2538754993628,5cyclictest2634152-21wc22:45:282
2538754993627,6cyclictest814995-21cups-browsed22:17:212
2538754993627,5cyclictest2581630-21sh21:20:272
2538754993627,5cyclictest2581630-21sh21:20:272
2538754993625,7cyclictest2552235-21debian-sa119:55:012
2538754993617,13cyclictest421-21dbus-daemon20:55:402
253875499361,28cyclictest2578857-21ssh21:15:332
2538753993629,3cyclictest2577876-21kworker/u8:12-xprtiod21:55:301
2538753993628,5cyclictest2571770-21systemd-run21:00:011
2538753993627,6cyclictest421-21dbus-daemon20:50:011
2538753993627,6cyclictest421-21dbus-daemon20:50:011
2538752993629,3cyclictest0-21swapper/021:35:340
2538752993628,5cyclictest2682882-21aten_r2power_vo00:05:300
2538752993628,5cyclictest2682882-21aten_r2power_vo00:05:300
2538752993627,6cyclictest2612769-21ssh22:10:340
2538752993623,10cyclictest0-21swapper/020:20:010
2538752993617,14cyclictest2665077-21ssh23:35:410
253875499354,24cyclictest2594383-21ssh21:40:352
253875499353,25cyclictest2668052-21ssh23:40:352
2538754993529,4cyclictest2617207-21kworker/u8:3-rpciod22:25:012
2538754993529,3cyclictest0-21swapper/222:35:272
2538754993527,4cyclictest0-21swapper/221:30:442
2538754993521,11cyclictest2605008-21sh21:58:162
2538753993527,5cyclictest2634825-21unixbench_multi22:45:441
2538753993527,5cyclictest2594371-21ntp_kernel_pll_21:40:341
2538752993528,4cyclictest2638735-21sshd22:53:030
2538752993527,5cyclictest421-21dbus-daemon23:31:060
2538752993526,4cyclictest0-21swapper/000:35:370
2538752993517,4cyclictest171rcu_preempt19:40:370
253875499346,23cyclictest2652697-21ssh23:15:352
2538754993426,6cyclictest0-21swapper/222:55:352
2538754993426,6cyclictest0-21swapper/222:55:352
2538754993426,5cyclictest2593303-21sendmail21:40:012
2538754993426,5cyclictest2548264-21fschecks_count19:40:272
2538754993426,4cyclictest2555279-21kworker/u8:16-xprtiod20:15:012
2538754993426,4cyclictest0-21swapper/221:10:012
2538753993428,3cyclictest0-21swapper/123:40:291
2538753993426,5cyclictest2602538-21munin-plugin-st21:55:011
2538753993426,5cyclictest2560277-21fschecks_count20:20:281
2538753993426,4cyclictest1003-21mta-sts-daemon23:29:081
2538753993425,6cyclictest265-21systemd-journal19:30:011
2538752993426,5cyclictest2655236-21aten_r2power_vo23:20:240
2538752993425,6cyclictest2673473-21aten_r2power_cu23:50:230
2538752993422,9cyclictest2631730-21timerwakeupswit22:40:450
2538754993326,4cyclictest1002-21mta-sts-daemon00:03:422
2538754993326,3cyclictest0-21swapper/223:10:012
2538754993324,6cyclictest2545281-21gltestperf19:30:272
253875499332,25cyclictest2637408-21ssh22:50:372
253875499332,24cyclictest2649598-21rm23:10:312
253875499332,24cyclictest2649598-21rm23:10:312
2538753993325,5cyclictest2557883-21/usr/sbin/munin20:10:421
2538753993325,4cyclictest1001-21mta-sts-daemon23:35:011
2538753993323,7cyclictest2597299-21missed_timers21:45:301
253875399332,27cyclictest2680353-21ssh00:00:351
2538753993322,7cyclictest0-21swapper/123:10:391
2538753993322,7cyclictest0-21swapper/123:10:391
253875299333,22cyclictest2609853-21ssh22:05:400
2538752993327,4cyclictest2650223-21unixbench_singl23:10:450
2538752993327,4cyclictest2650223-21unixbench_singl23:10:450
2538752993327,4cyclictest2562760-21cut20:30:010
2538752993326,4cyclictest0-21swapper/000:30:260
2538752993315,14cyclictest0-21swapper/021:10:030
2538754993226,3cyclictest0-21swapper/220:35:012
2538754993225,4cyclictest1002-21mta-sts-daemon22:03:262
2538754993224,4cyclictest1000-21mta-sts-daemon21:27:492
2538754993223,6cyclictest814995-21cups-browsed20:00:032
253875499322,24cyclictest2686562-21ssh00:10:402
253875499322,24cyclictest2686562-21ssh00:10:402
2538754993221,8cyclictest2562098-21ntp_kernel_err20:25:332
2538754993220,9cyclictest2664714-21kernelversion23:35:312
2538754993219,7cyclictest2574751-21diskmemload21:10:342
2538753993227,2cyclictest0-21swapper/120:40:011
2538753993226,3cyclictest0-21swapper/122:37:521
2538753993225,4cyclictest2590194-21cron21:35:001
2538753993225,4cyclictest2574743-21cron21:10:011
2538753993225,4cyclictest0-21swapper/123:00:011
2538753993225,4cyclictest0-21swapper/123:00:011
2538753993225,3cyclictest0-21swapper/121:35:341
2538753993224,5cyclictest2700751-21munin-plugin-st00:35:001
2538753993224,5cyclictest2636963-21fschecks_count22:50:281
2538753993222,8cyclictest2572560-21needreboot21:00:311
2538752993226,4cyclictest2634671-21timerandwakeup22:45:430
2538752993225,4cyclictest2578502-21fschecks_count21:15:270
2538752993223,6cyclictest0-21swapper/021:40:290
2538752993222,7cyclictest2689417-21needreboot00:15:280
2538752993220,10cyclictest1000-21mta-sts-daemon21:10:040
2538752993216,3cyclictest171rcu_preempt19:20:390
2538752993213,6cyclictest171rcu_preempt19:45:380
253875499315,15cyclictest428-21mta-sts-daemon20:15:332
2538754993124,4cyclictest2565746-21munin-run20:40:012
2538754993124,3cyclictest0-21swapper/200:25:452
2538753993125,3cyclictest0-21swapper/120:10:011
2538753993124,3cyclictest0-21swapper/123:20:281
2538753993122,6cyclictest0-21swapper/119:55:011
2538753993121,7cyclictest2615684-21missed_timers22:15:291
2538752993124,5cyclictest57-21kcompactd020:10:320
2538752993123,4cyclictest665-21snmpd22:15:370
2538752993122,6cyclictest814995-21cups-browsed23:07:260
2538754993024,3cyclictest0-21swapper/222:30:242
2538754993022,5cyclictest814992-21cupsd22:26:512
2538754993021,7cyclictest2550756-21sh19:50:012
2538754993020,6cyclictest567-21gdbus23:54:232
2538753993023,5cyclictest0-21swapper/119:40:011
2538753993023,4cyclictest2567250-21cron20:45:011
2538753993023,3cyclictest0-21swapper/123:40:011
2538753993022,5cyclictest814992-21cupsd23:49:591
253875399302,24cyclictest2631209-21ssh22:40:331
2538753993020,7cyclictest2570069-21timerwakeupswit20:50:451
2538752993024,4cyclictest2573274-21systemd-run21:05:010
2538752993019,7cyclictest0-21swapper/000:23:280
2538753992924,2cyclictest0-21swapper/120:00:011
253875399292,20cyclictest2695749-21ssh00:25:361
253875399291,22cyclictest2606603-21ssh22:00:331
253875299292,19cyclictest428-21mta-sts-daemon20:00:390
2538752992921,4cyclictest0-21swapper/021:24:300
2538752992921,4cyclictest0-21swapper/021:24:300
2538752992920,6cyclictest2658157-21aten_r2power_cu23:25:230
2538752992919,8cyclictest0-21swapper/021:45:420
2538752992917,6cyclictest0-21swapper/020:20:370
2538752992916,7cyclictest171rcu_preempt19:55:340
253875299290,4cyclictest0-21swapper/019:10:000
253875299290,4cyclictest0-21swapper/019:10:000
253875499285,15cyclictest428-21mta-sts-daemon21:00:342
253875499285,12cyclictest428-21mta-sts-daemon20:05:332
2538754992822,3cyclictest0-21swapper/200:05:292
2538754992822,3cyclictest0-21swapper/200:05:292
2538754992820,5cyclictest2541741-21munin-plugin-st19:20:002
253875399287,11cyclictest428-21mta-sts-daemon19:48:511
2538753992820,4cyclictest2622101-21ntpq22:25:381
2538752992819,4cyclictest0-21swapper/022:24:410
2538754992720,4cyclictest0-21swapper/219:15:012
2538754992718,5cyclictest2543195-21unixbench_singl19:21:122
253875499271,6cyclictest0-21swapper/220:00:352
253875399273,20cyclictest2574751-21diskmemload21:25:401
2538753992720,4cyclictest1001-21mta-sts-daemon00:10:371
2538753992720,4cyclictest1001-21mta-sts-daemon00:10:371
2538753992718,6cyclictest421-21dbus-daemon20:35:011
2538753992718,6cyclictest420-21avahi-daemon20:25:231
253875299278,3cyclictest171rcu_preempt20:45:340
253875299278,3cyclictest171rcu_preempt20:45:340
2538752992721,4cyclictest2541660-21head19:15:460
2538752992721,4cyclictest1-21systemd19:55:020
2538752992720,5cyclictest0-21swapper/020:45:010
2538752992718,6cyclictest151ktimers/020:05:370
2538752992712,7cyclictest171rcu_preempt19:13:460
253875299271,20cyclictest2606640-21ssh22:00:340
253875299271,20cyclictest14-21ksoftirqd/020:30:360
253875499263,16cyclictest958-21sendmail-mta20:40:392
253875399262,7cyclictest2539638-21ntpq19:10:361
2538753992619,4cyclictest0-21swapper/119:20:001
2538753992618,5cyclictest2549263-21systemd-run19:45:011
2538752992611,3cyclictest171rcu_preempt20:50:410
2538754992518,3cyclictest0-21swapper/200:15:272
2538754992415,6cyclictest2538776-21latency_hist19:10:012
2538754992415,6cyclictest2538776-21latency_hist19:10:012
2538754992410,10cyclictest341rcuc/220:50:342
2538753992418,3cyclictest1001-21mta-sts-daemon19:34:421
2538753992417,4cyclictest2542276-21fschecks_count19:20:301
253875299244,12cyclictest914116-21munin-node19:35:330
2538752992416,5cyclictest439-21systemd-logind21:00:010
2538752992416,3cyclictest171rcu_preempt19:25:290
2538754992315,4cyclictest0-21swapper/219:25:402
2538752992215,5cyclictest2545385-21kernelversion19:30:290
253875499212,14cyclictest2568136-21ntpq20:45:322
253875499212,14cyclictest2568136-21ntpq20:45:322
253875599202,8cyclictest0-21swapper/322:55:343
253875599202,8cyclictest0-21swapper/322:55:343
253875599175,8cyclictest0-21swapper/321:50:373
253875599173,7cyclictest0-21swapper/300:10:383
253875599173,7cyclictest0-21swapper/300:10:383
253875599172,7cyclictest0-21swapper/300:35:443
253875599163,7cyclictest0-21swapper/323:20:363
253875599162,7cyclictest0-21swapper/323:50:383
253875599162,7cyclictest0-21swapper/322:55:033
253875599162,5cyclictest0-21swapper/319:50:373
253875599162,5cyclictest0-21swapper/319:45:343
253875599161,7cyclictest0-21swapper/322:30:343
253875599153,7cyclictest0-21swapper/322:20:383
253875599153,6cyclictest0-21swapper/321:35:323
253875599152,8cyclictest0-21swapper/321:45:323
253875599152,7cyclictest0-21swapper/300:05:383
253875599152,7cyclictest0-21swapper/300:05:383
253875599151,8cyclictest0-21swapper/323:00:333
253875599151,8cyclictest0-21swapper/323:00:333
253875599151,8cyclictest0-21swapper/322:25:353
253875599151,8cyclictest0-21swapper/321:20:383
253875599151,8cyclictest0-21swapper/321:20:383
253875399151,10cyclictest2538707-21munin-run19:10:011
253875399151,10cyclictest2538707-21munin-run19:10:011
253875599146,6cyclictest0-21swapper/322:05:353
253875599144,8cyclictest0-21swapper/323:25:363
253875599143,8cyclictest0-21swapper/300:30:333
253875599143,5cyclictest0-21swapper/322:45:333
253875599142,8cyclictest0-21swapper/321:30:333
253875599142,7cyclictest0-21swapper/323:45:373
253875599142,7cyclictest0-21swapper/323:10:313
253875599142,7cyclictest0-21swapper/323:10:313
253875599142,7cyclictest0-21swapper/322:10:323
253875599142,7cyclictest0-21swapper/321:57:573
253875599142,7cyclictest0-21swapper/300:20:393
253875599142,7cyclictest0-21swapper/300:00:373
253875599142,6cyclictest0-21swapper/320:40:333
253875599142,6cyclictest0-21swapper/320:05:383
253875599142,5cyclictest0-21swapper/319:25:343
253875599141,8cyclictest0-21swapper/300:25:373
253875599141,7cyclictest0-21swapper/320:10:313
253875599141,7cyclictest0-21swapper/319:35:353
253875599141,5cyclictest0-21swapper/320:30:313
253875599133,6cyclictest0-21swapper/323:30:223
253875599133,6cyclictest0-21swapper/322:40:333
253875599133,6cyclictest0-21swapper/300:00:013
253875599133,6cyclictest0-21swapper/300:00:013
253875599132,8cyclictest0-21swapper/322:15:323
253875599132,7cyclictest0-21swapper/321:25:403
253875599132,6cyclictest0-21swapper/320:55:403
253875599132,6cyclictest0-21swapper/319:15:343
253875599131,8cyclictest0-21swapper/323:40:403
253875599131,7cyclictest0-21swapper/322:00:273
253875599131,7cyclictest0-21swapper/321:40:293
253875599131,6cyclictest0-21swapper/321:00:323
253875599131,6cyclictest0-21swapper/320:50:403
253875599131,6cyclictest0-21swapper/320:35:343
253875599131,6cyclictest0-21swapper/320:20:373
253875599131,6cyclictest0-21swapper/320:00:353
253875599131,6cyclictest0-21swapper/319:40:393
253875599130,5cyclictest0-21swapper/320:15:293
253875599123,5cyclictest0-21swapper/320:00:013
253875599122,7cyclictest0-21swapper/319:15:013
253875599122,5cyclictest0-21swapper/323:15:243
253875599121,8cyclictest0-21swapper/321:10:243
253875599121,7cyclictest0-21swapper/321:15:333
253875599121,7cyclictest0-21swapper/300:15:303
253875599121,6cyclictest0-21swapper/322:35:253
253875599121,6cyclictest0-21swapper/321:05:353
253875599121,6cyclictest0-21swapper/319:30:333
253875599111,6cyclictest0-21swapper/323:35:233
253875599111,6cyclictest0-21swapper/320:45:253
253875599111,6cyclictest0-21swapper/320:45:253
253875599102,5cyclictest0-21swapper/323:05:293
253875599102,5cyclictest0-21swapper/319:20:363
25387559992,5cyclictest0-21swapper/320:25:253
25387559980,4cyclictest0-21swapper/319:10:023
25387559980,4cyclictest0-21swapper/319:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional