You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-04-18 - 18:54

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Thu Apr 18, 2024 12:45:12)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
604299524,35cyclictest10451-21ssh12:30:151
604299522,41cyclictest18417-21ssh11:35:161
605399493,24cyclictest18376-21ssh12:35:162
605399491,38cyclictest26703-21ssh11:40:132
604299444,36cyclictest23700-21diskmemload11:20:141
606399411,23cyclictest26866irq/58-eth010:45:133
6053994120,16cyclictest0-21swapper/212:30:152
605399392,18cyclictest20410-21usage_EthcTask10:10:352
605399372,23cyclictest10618-21sh11:50:132
605399372,18cyclictest14117-21ssh10:07:422
6053993716,15cyclictest3552-21apt-get08:15:122
605399362,20cyclictest17207-21ssh09:50:152
603399362,29cyclictest24813-21ssh09:55:140
603399362,26cyclictest12885-21ssh10:50:120
605399351,26cyclictest18931-21ssh11:55:152
603399357,21cyclictest12-21ksoftirqd/010:35:170
603399354,22cyclictest10619-21rm11:50:130
6033993523,3cyclictest12-21ksoftirqd/012:35:160
605399343,18cyclictest22046irq/40-dwc2_hso09:05:162
6053993411,3cyclictest2426-21ssh11:45:142
605399340,7cyclictest29225-21apt-config10:40:012
603399343,25cyclictest2446-21ssh11:45:160
603399341,26cyclictest12035-21ssh11:10:130
6033993312,17cyclictest12-21ksoftirqd/012:25:120
6042993212,10cyclictest21-21ksoftirqd/108:15:111
603399324,18cyclictest12-21ksoftirqd/012:20:160
603399322,26cyclictest15856-21ssh10:10:160
605399315,15cyclictest27214-21ssh12:00:132
605399314,17cyclictest22046irq/40-dwc2_hso08:05:142
605399312,22cyclictest28635-21sh11:00:152
605399312,15cyclictest22046irq/40-dwc2_hso10:20:132
6042993114,11cyclictest0-21swapper/109:25:141
603399312,23cyclictest20758-21ssh10:55:160
605399301,22cyclictest0-21swapper/211:15:162
603399304,11cyclictest0-21swapper/009:05:150
603399303,18cyclictest630-21Async19:56:240
603399303,18cyclictest630-21Async19:56:240
603399301,23cyclictest27218-21ssh12:00:130
606399292,16cyclictest26866irq/58-eth011:35:153
6063992913,9cyclictest26866irq/58-eth009:55:283
605399293,19cyclictest0-21swapper/210:25:522
605399293,19cyclictest0-21swapper/210:25:522
605399293,17cyclictest22046irq/40-dwc2_hso10:30:152
605399292,20cyclictest18418-21ssh11:35:162
605399292,19cyclictest22046irq/40-dwc2_hso08:00:142
605399292,13cyclictest27141-21ssh11:20:152
604299292,21cyclictest3443-21sh10:20:421
604299291,23cyclictest23550-21ssh10:15:141
603399294,18cyclictest28634-21ssh11:00:150
605399286,18cyclictest0-21swapper/208:40:132
605399282,4cyclictest27-21ksoftirqd/210:02:392
605399282,19cyclictest0-21swapper/207:20:052
604299282,19cyclictest4614-21usage_Anybus10:00:341
603399282,20cyclictest8022-21ssh10:05:120
605399274,16cyclictest9720-21ssh09:45:132
605399273,17cyclictest22046irq/40-dwc2_hso10:45:132
605399273,15cyclictest22046irq/40-dwc2_hso07:45:132
605399273,14cyclictest22046irq/40-dwc2_hso08:10:132
605399272,19cyclictest0-21swapper/209:30:172
6053992718,7cyclictest261rcuc/209:59:362
6053992718,7cyclictest261rcuc/209:19:012
6053992716,9cyclictest261rcuc/209:35:532
6053992716,9cyclictest261rcuc/209:35:532
605399271,11cyclictest15419-21ssh11:30:472
604299272,18cyclictest12039-21ssh11:10:131
603399271,20cyclictest6305-21ssh10:25:150
603399271,20cyclictest6305-21ssh10:25:150
603399271,20cyclictest30290-21ssh11:40:260
606399266,11cyclictest0-21swapper/310:50:123
605399263,17cyclictest22046irq/40-dwc2_hso12:05:142
605399263,17cyclictest22046irq/40-dwc2_hso12:05:142
605399263,12cyclictest22046irq/40-dwc2_hso07:55:132
605399262,9cyclictest0-21swapper/208:50:152
605399262,18cyclictest0-21swapper/208:30:142
605399262,12cyclictest20757-21sh10:55:162
6053992616,6cyclictest9437-21apt-get08:55:132
6053992615,8cyclictest261rcuc/209:42:402
6053992611,12cyclictest27-21ksoftirqd/209:11:162
6042992615,8cyclictest1-21systemd12:05:581
6042992615,8cyclictest1-21systemd12:05:581
604299261,19cyclictest4246-21ssh11:05:121
603399262,18cyclictest4493-21usage_Anybus10:00:340
6033992614,4cyclictest0-21swapper/007:30:120
6033992614,4cyclictest0-21swapper/007:30:120
603399261,20cyclictest29638-21rm10:40:150
605399257,8cyclictest27-21ksoftirqd/212:20:502
605399257,11cyclictest27-21ksoftirqd/209:27:252
605399253,19cyclictest22046irq/40-dwc2_hso07:10:132
605399252,9cyclictest0-21swapper/208:45:172
605399251,10cyclictest4378-21cut11:05:172
603399257,7cyclictest0-21swapper/007:40:140
603399251,3cyclictest131rcu_preempt08:15:120
606399241,13cyclictest26866irq/58-eth011:10:123
605399246,11cyclictest22046irq/40-dwc2_hso07:25:132
605399242,15cyclictest0-21swapper/207:50:132
605399241,6cyclictest29879-21ls10:40:182
605399241,13cyclictest2235-21sh12:25:132
604299245,11cyclictest0-21swapper/107:50:121
603399246,3cyclictest131rcu_preempt10:20:360
603399242,18cyclictest26442-21ls12:20:020
603399241,2cyclictest131rcu_preempt11:20:140
603399241,19cyclictest24060-21ssh09:10:130
605399233,15cyclictest22046irq/40-dwc2_hso09:20:142
605399233,13cyclictest22046irq/40-dwc2_hso08:35:162
605399232,6cyclictest0-21swapper/211:27:532
605399232,13cyclictest27-21ksoftirqd/209:00:232
6053992310,9cyclictest0-21swapper/212:10:142
604299237,5cyclictest131rcu_preempt11:00:231
604299233,14cyclictest31298-21ssh09:15:151
603399232,15cyclictest10524-21ssh11:30:140
606399223,13cyclictest0-21swapper/310:35:393
6063992217,3cyclictest26966irq/59-eth011:45:153
6063992210,5cyclictest0-21swapper/311:05:303
605399228,10cyclictest23922-21grep10:15:202
605399227,8cyclictest27-21ksoftirqd/212:16:012
605399222,4cyclictest27-21ksoftirqd/210:50:212
6053992216,4cyclictest261rcuc/211:12:522
604299229,3cyclictest131rcu_preempt09:05:011
6042992216,4cyclictest23700-21diskmemload09:30:281
6042992215,4cyclictest630-21Async19:56:241
6042992214,6cyclictest3230-21ssh11:45:221
6042992212,7cyclictest31273-21ssh09:35:301
6042992212,7cyclictest31273-21ssh09:35:301
604299221,18cyclictest6303-21rm10:25:151
604299221,18cyclictest6303-21rm10:25:151
604299221,17cyclictest5337-21ls10:45:181
603399227,3cyclictest131rcu_preempt09:42:570
603399222,15cyclictest10300-21ssh12:10:150
603399221,18cyclictest5302-21latency_hist09:20:010
603399221,16cyclictest7535-21cut07:45:180
603399221,16cyclictest18923-21ls09:05:010
606399214,13cyclictest26866irq/58-eth011:50:123
606399213,14cyclictest26866irq/58-eth011:30:133
606399213,12cyclictest0-21swapper/312:20:183
606399213,12cyclictest0-21swapper/310:20:423
606399212,15cyclictest26866irq/58-eth012:35:163
6063992112,6cyclictest26866irq/58-eth011:00:153
606399211,15cyclictest26866irq/58-eth012:00:133
6063992110,9cyclictest0-21swapper/309:20:213
605399217,11cyclictest14592-21kthreadcore08:25:242
605399212,10cyclictest12977-21latency_hist08:25:012
605399211,10cyclictest6120-21latency_hist07:10:012
604299215,9cyclictest0-21swapper/107:25:131
604299212,4cyclictest52546usb-storage10:55:041
6042992113,6cyclictest22630-21ssh12:35:361
6042992112,6cyclictest10474-21/usr/sbin/munin11:30:291
6042992112,6cyclictest0-21swapper/108:00:301
604299211,16cyclictest7508-21cut07:45:181
604299211,16cyclictest19451-21ls07:20:301
604299211,15cyclictest21791-21ssh10:35:171
604299210,18cyclictest31032-21ls08:10:011
6033992111,7cyclictest26227-21cron11:40:010
606399202,15cyclictest26866irq/58-eth009:45:133
606399201,13cyclictest26866irq/58-eth012:05:133
606399201,13cyclictest26866irq/58-eth012:05:133
605399201,9cyclictest11074-21fschecks_count07:15:172
605399201,9cyclictest11074-21fschecks_count07:15:172
604299207,7cyclictest21-21ksoftirqd/107:35:171
604299207,4cyclictest131rcu_preempt12:20:391
604299202,15cyclictest22946-21ls08:35:211
604299201,9cyclictest10613-21kthreadcore09:45:191
604299201,14cyclictest5659-21ssh09:20:141
604299201,13cyclictest26725-21sh11:40:151
603399209,3cyclictest131rcu_preempt10:30:230
603399202,14cyclictest22521-21diskmemload11:55:290
603399201,13cyclictest2686-21cpuspeed11:25:150
603399201,12cyclictest13116-21ls09:45:230
6033992010,7cyclictest12-21ksoftirqd/009:35:120
6033992010,7cyclictest12-21ksoftirqd/009:35:120
606399198,5cyclictest0-21swapper/310:05:203
606399193,11cyclictest0-21swapper/310:25:393
606399193,11cyclictest0-21swapper/310:25:393
6063991912,4cyclictest0-21swapper/309:30:163
6063991911,4cyclictest0-21swapper/311:21:243
606399191,12cyclictest26866irq/58-eth010:15:133
606399191,12cyclictest0-21swapper/312:10:183
606399191,12cyclictest0-21swapper/311:30:013
606399191,11cyclictest0-21swapper/308:55:123
6063991910,6cyclictest0-21swapper/311:41:073
6063991910,6cyclictest0-21swapper/309:28:503
6063991910,6cyclictest0-21swapper/309:18:303
605399196,6cyclictest27-21ksoftirqd/207:36:432
605399193,4cyclictest27-21ksoftirqd/207:30:152
605399193,4cyclictest27-21ksoftirqd/207:30:152
604299193,14cyclictest14021-21apt-key09:00:011
604299193,10cyclictest0-21swapper/109:10:131
604299191,5cyclictest26721-21apt-get12:00:021
6042991912,5cyclictest7492-21ssh11:25:431
6042991912,4cyclictest0-21swapper/110:10:191
6042991911,6cyclictest24432-21ssh11:56:371
604299191,15cyclictest15483-21latency_hist10:10:011
6042991911,5cyclictest12935-21idleruntime-cro08:25:011
603399192,13cyclictest9819-21users10:45:360
603399191,15cyclictest4256-21ssh11:05:130
603399191,14cyclictest12819-21ssh09:25:130
603399190,16cyclictest6022-21cyclictest07:10:010
606399189,6cyclictest26866irq/58-eth010:10:163
606399189,6cyclictest0-21swapper/310:57:363
606399189,6cyclictest0-21swapper/310:40:443
606399183,9cyclictest26866irq/58-eth010:00:153
606399182,9cyclictest0-21swapper/311:55:153
606399182,10cyclictest0-21swapper/309:05:043
606399182,10cyclictest0-21swapper/308:45:173
606399182,10cyclictest0-21swapper/307:25:133
6063991812,4cyclictest26866irq/58-eth012:25:133
6063991811,5cyclictest0-21swapper/310:35:023
606399181,13cyclictest26866irq/58-eth009:35:123
606399181,13cyclictest26866irq/58-eth009:35:123
6063991810,6cyclictest0-21swapper/309:41:263
604299186,9cyclictest30995-21cut10:40:211
604299186,9cyclictest21414-21cron08:00:011
604299183,12cyclictest31307-21grep08:10:171
604299182,11cyclictest0-21swapper/109:40:151
6042991811,5cyclictest16147-21ssh11:51:361
604299181,13cyclictest18875-21cut08:30:211
604299181,13cyclictest13943-21ntp_states12:10:301
6042991810,6cyclictest0-21swapper/112:25:151
6042991810,5cyclictest21026-21sed09:50:321
6042991810,5cyclictest20477-21sed10:55:011
603399189,6cyclictest2286-21grep12:05:170
603399189,6cyclictest2286-21grep12:05:170
603399189,6cyclictest0-21swapper/008:35:320
603399184,11cyclictest22889-21tr08:00:220
603399183,8cyclictest0-21swapper/008:50:140
603399183,5cyclictest12-21ksoftirqd/012:30:210
603399182,13cyclictest9690-21kthreadcore08:20:220
6033991811,4cyclictest23936-21tail10:15:200
603399181,11cyclictest20117-21find09:30:150
606399179,6cyclictest0-21swapper/309:53:163
606399179,5cyclictest26866irq/58-eth012:15:263
606399174,10cyclictest26866irq/58-eth009:10:133
606399173,8cyclictest26866irq/58-eth007:55:123
606399171,12cyclictest0-21swapper/308:35:333
606399171,12cyclictest0-21swapper/307:45:323
605399172,9cyclictest0-21swapper/207:40:142
604299179,6cyclictest25975-21ssh11:18:261
604299178,6cyclictest32057-21cron08:45:011
604299177,8cyclictest25588-21fw_packets07:30:151
604299177,8cyclictest25588-21fw_packets07:30:151
604299175,9cyclictest1-21systemd08:45:241
604299172,13cyclictest20458-21kthreadcore09:05:231
604299171,13cyclictest7667-21kthreadcore08:50:241
604299171,10cyclictest15733-21latency_hist07:20:021
604299171,10cyclictest15733-21latency_hist07:20:021
6042991710,5cyclictest31778-21ssh09:59:191
6042991710,5cyclictest19997-21ssh10:32:441
603399178,7cyclictest1011-21memory07:35:270
603399177,8cyclictest9530-21diskstats08:55:160
603399174,10cyclictest32059-21cron08:45:010
603399172,9cyclictest19850-21ls11:15:200
603399172,12cyclictest19354-21kthreadcore08:30:210
603399172,10cyclictest0-21swapper/008:25:170
603399171,4cyclictest0-21swapper/008:05:290
603399171,12cyclictest9020-21sort09:20:240
603399171,12cyclictest15855-21ls07:50:310
6033991710,4cyclictest0-21swapper/009:50:140
606399169,5cyclictest26866irq/58-eth011:15:223
606399162,9cyclictest26866irq/58-eth012:30:153
606399162,9cyclictest0-21swapper/307:40:043
606399162,10cyclictest0-21swapper/308:30:143
606399161,12cyclictest0-21swapper/308:40:203
604299166,7cyclictest2581-21sendmail07:40:041
6042991610,4cyclictest0-21swapper/108:25:281
603399162,11cyclictest32448-21grep08:45:200
603399162,10cyclictest0-21swapper/008:10:150
603399162,10cyclictest0-21swapper/007:55:140
603399161,9cyclictest20659-21ls07:25:130
6033991611,3cyclictest16310-21irqrtprio07:20:200
606399153,7cyclictest0-21swapper/307:30:123
606399153,7cyclictest0-21swapper/307:30:123
606399152,9cyclictest0-21swapper/308:10:153
606399152,10cyclictest0-21swapper/308:25:173
606399152,10cyclictest0-21swapper/308:20:143
606399152,10cyclictest0-21swapper/307:20:133
604299153,9cyclictest6054-21latency_hist07:10:011
604299151,5cyclictest8050-21tr07:10:221
603399151,11cyclictest6183-21apt-get07:10:130
606399149,3cyclictest0-21swapper/308:17:093
606399142,9cyclictest0-21swapper/307:15:143
606399142,9cyclictest0-21swapper/307:15:143
606399138,3cyclictest0-21swapper/308:05:193
606399131,8cyclictest0-21swapper/307:35:283
606399127,3cyclictest0-21swapper/307:50:253
606399122,7cyclictest0-21swapper/309:05:013
606399122,5cyclictest0-21swapper/308:00:133
606399121,5cyclictest0-21swapper/308:50:203
606399121,5cyclictest0-21swapper/307:10:323
606399111,7cyclictest0-21swapper/307:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional